草庐IT

amazon-elasticsearch

全部标签

c# - 使用 Amazon Web Services 保密 key

我正在尝试在我的个人项目中使用亚马逊网络服务。我已经获取了他们的AWSSDKfor.NET并正在使用它,但我有点困惑。通过私钥/公钥对访问Web服务(在本例中为SimpleDB,但我认为这对问题来说并不重要)。用于创建客户端对象的适用于.NETAPI的AWS开发工具包需要私钥:AWSClientFactory.CreateAmazonSimpleDBClient(publicKey,privateKey);这是一个客户端应用程序,因此代码将完全在客户端上运行。建议客户端需要访问我的私钥才能访问SimpleDB。但是亚马逊一再强调,我的私钥绝不能脱离我的控制。这对我来说没有意义,所以我想

c# - 如何在进度条中显示文件上传进度 - Amazon S3 bucket

我想在将文件上传到AmazonS3时在我的网页上的进度条中显示文件上传进度......在我的网页上,我从文件输入中选择一个文件,该文件通过AjaxPOST请求调用我的Controller。在Controller中,我从发布的请求中提取文件。varhpf=Request.Files[1];然后我调用一个使用AmazonS3Client的方法..UploadVideoMultiPart(hpf.InputStream,fileName)上述方法完美地完成了到S3的上传,并在此过程中重复发送上传的字节数。publicstaticvoidUploadPartProgressEventCallb

c# - Amazon S3 中的并发

我目前正在构建一个系统,其中S3将被Internet上的许多计算机用作持久哈希集(S3URL从数据中推断出来)。如果两个节点存储相同的数据,那么它将使用相同的key存储,因此不会存储两次。当一个对象被删除时,我需要知道其他一些节点是否也在使用该数据。在那种情况下,我不会删除它。现在我已经通过添加存储节点列表作为写入S3的数据的一部分来实现它。因此,当节点存储数据时,会发生以下情况:从S3读取对象。反序列化对象。将新节点的id添加到存储节点列表中。序列化新对象(要存储的数据和节点列表)。将序列化数据写入S3。这创建了一种幂等引用计数形式。由于Internet上的请求可能非常不可靠,我不想

c# - 可以在 Azure 或 Amazon 上托管控制台应用程序吗?

我想知道是否可以编写控制台应用程序以在WindowsAzure上移植。控制台应用程序不会有界面,它只会做它的工作而不通知用户它在做什么。在这种情况下,它将是一个套接字应用程序。我不希望它成为一个网站。它不会对项目有任何补充。编辑:谢谢大家这么快回复我。现在我找到了我一直在寻找的答案。现在我的问题是:它在亚马逊上会被称为什么?这是Azure上的worker角色……现在我知道这要感谢你们所有人 最佳答案 您完全可以在WindowsAzure中以Web或辅助角色(都是WindowsServer2012或2008R2/SP2)运行控制台应用

c# - 使用 NEST Field Boosting 的 Elasticsearch

我正在使用NEST强类型客户端在C#中使用ElasticSearch。我有一个包含条目的索引:[ElasticType(Name="Entry",IdProperty="Id")]publicclassEntry{publicstringId{get;set;}publicstringTitle{get;set;}publicstringDescription{get;set;}publicstringAward{get;set;}publicintYear{get;set;}}其中Year是参赛作品的年份,例如2012,Award是参赛作品获得的奖项类型,可以为空。然后我想使用不同属

elasticsearch 之 updateByQuery

elasticsearch的updateByQuery使用script脚本完成部分字段的更新elasticsearch文档批量更新最近项目中用到了对es文档的批量更新操作,根据id单个单个进行文档更新时比较影响性能,故而使用es的script脚本对query查询出来的文档进行更新操作。{ “script”:{ “source”:“ctx._source[‘要修改的字段名’]=‘要修改为的参数’” }, “query”:{ “term”:{ “条件字段名”:“条件字段参数” } }}前置知识1、会使用es2、需要了解script3、了解painless语法案例1批量将文档中一个字段(u

在 Elasticsearch 中查找所需安全权限的简单方法

在Elasticsearch中很难找到严格安全所需的权限。在本博客中,我将通过两个示例概述我用来查找所需权限的过程。例子一让我们创建一个只能与index-*索引和以 index1别名交互的用户。他们将能够:如果不存在则创建索引将文档索引到索引中(创建和更新)从索引中删除文档我们创建如下的一个文档:PUTindex-1/_doc/1{"content":"ThisisXiaoguo,LiufromElastic"}上面的文档创建一个叫做index-1的索引。我们在Kibana中创建一个叫做index-*的indexpattern或者dataview。  我们可以参考文章“Elasticsearc

elasticsearch7.17 与minio集成,并快照备份与恢复

elasticsearch7.6以支持一、monio1、部暑miniomkdir-p/data/minio/{data,config}cat>/data/minio/start.sh'EOF'dockerrun-d\-p9000:9000\-p9001:9001\--nameminio\--restart=always\-e"MINIO_ROOT_USER=admin"\-e"MINIO_ROOT_PASSWORD=admin123456"\-e"MINIO_PROMETHEUS_AUTH_TYPE=public"\-v/data/minio/data:/data/minio/data\-v/

干货 | Elasticsearch 检索类型选型指南

之前在DSL中一次问卷调查中,收集到如下几个和搜索类型相关的问题。Q1:麻烦讲一下es常用的查询关键词,及使用场景,比如term、match、should、filter等等,谢谢老大......Q2:讲下查询term,match,match_pharse,operator,mget,multi_match等的用法和区别?Q3:term、match、phrase、boolquery等常用语法,及对不同类型数据字段的支持。在分词场景下的区别?Q4:fuzzy查询的fuzziness参数不同取值,minimumshouldmatch不同取值负数,百分比等…...Q5:希望可以通俗一点。可以有视频和文

Elasticsearch专栏-8.es读写性能及优化

es读写性能及优化写入性能服务器资源单机写入性能写入性能优化查询性能资源占用情况写入性能服务器资源资源数值服务器华为系统centos7.9cpuIntel®Core™i5-10500CPU@3.10GHz、6核12线程mem62Gdisk机械硬盘、3.6T单机写入性能将es堆内存增大到20G,其余配置不做任何修改,数据单条写入。测试结果如下线程线程延迟时间(ms)数据量(W)平均响应时间(ms)QPS30005.9338222300081369217附件一:附件二:  从上面测试结果来看,在不做优化前提下,es并发写入单条耗时约在360ms。这个性能相比大多数场景都已满足,不过如果项目对数据存