草庐IT

Spark-Core

全部标签

mongodb - mongoDb和asp.net core中的update操作

我是mongoDb的新手,尝试使用mongoDb和Asp.netCorewebapi进行CRUD操作。我的问题是整个对象总是更新。我想更新我在webapi中发送的特定字段。示例:BusinessUnitoBU=newBusinessUnit(){Id="586e262268d90b290001b46e",Name="BU_Name",Address="my_Add"};现在我只想将地址更新为“my_New_add”并创建以下对象:BusinessUnitoBU=newBusinessUnit(){Id="586e262268d90b290001b46e",Name="BU_Name",

mongodb - FHIR : Spark. 网络:使 MongoDB 存储符合 HIPAA

我正在寻找使Spark.Net使用的Mongo存储符合HIPAA标准的方法。使用MongoDBSSLTransport在线加密数据并使用Gazzang处理静态数据是否足够好?是否有其他选项可用于静态数据,同时仍允许索引JSON中的某些属性? 最佳答案 给定HIPAAcompliance有许多隐私和安全要求,我想您也会获得一些关于如何遵守的专业建议。物理和技术要求超出了数据库软件的范围,但动态和静态数据的加密会勾选一些方框。我将添加“我不是律师或HIPAA专家”的免责声明,因此您必须研究/确认您的用例的具体合规细节。动态数据加密Mon

Azure - 机器学习:使用 Apache Spark 进行交互式数据整理

目录本文内容先决条件使用ApacheSpark进行交互式数据整理Azure机器学习笔记本中的无服务器Spark计算从AzureDataLakeStorage(ADLS)Gen2导入和整理数据从AzureBlob存储导入和处理数据从Azure机器学习数据存储导入和整理数据关注TechLead,分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验,同济本复旦硕,复旦机器人智能实验室成员,阿里云认证的资深架构师,项目管理专业人士,上亿营收AI产品研发负责人。本文内容数据整理已经成为机器学习项目中最重要的步骤之一。Azure机器学习与AzureSynapseAnalyti

使用 Stratio 的 Spark-MongoDB 库的 MongoDB 查询过滤器

我正在尝试使用Stratio的Spark-MongoDB查询MongoDB集合library.我关注了this线程开始,我目前正在运行以下代码:reader=sqlContext.read.format("com.stratio.datasource.mongodb")data=reader.options(host=':27017',database='',collection='').load()这会将整个集合加载到Spark数据帧中,并且由于集合很大,因此需要花费大量时间。有什么方法可以指定查询过滤器并仅将选定的数据加载到Spark中吗? 最佳答案

mongodb - 如何使用 spark 将 scala 列表持久化到 mongodb

所以我有一个spark代码,它从mongodb中获取一些文档,进行一些转换并尝试将其存储回mongodb。当我尝试使用以下函数持久化List对象时出现问题:首先我使用这个函数生成一些元组:valusersRDD=rdd.flatMap(breakoutFileById).distinct().groupByKey().mapValues(_.toList)然后我使用自定义mapToDocument函数将元组字段转换为文档,并调用saveToMongoDB函数:usersRDD.map(mapToDocument).saveToMongoDB()我收到以下错误消息:org.bson.co

Unable to connect to Redis; nested exception is io.lettuce.core.RedisConnectionException:redis本地无法连接

场景: windows系统开发工具idea 做注册功能时利用redis储存验证码信息问题描述redis可以正常运行利用命令窗口执行存储功能都正常;但是当运行idea当中的springboot项目进行操作时出现报错信息:UnabletoconnecttoRedis;nestedexceptionisio.lettuce.core.RedisConnectException:Unabletoconnectto127.0.0.1:6379。 原因分析:因为是连接本地所以问题产生的原因要么是redis启动不成功,要么是配置文件写的不正确; 经检查redis正常启动,存取数据没有问题,配置依赖也都没问题

python - MongoDB Spark 连接器 py4j.protocol.Py4JJavaError : An error occurred while calling o50. 加载

我以前能够加载这个MongoDB数据库,但现在收到一个我无法弄清楚的错误。以下是我如何开始我的Sparksession:spark=SparkSession.builder\.master("local[*]")\.appName("collab_rec")\.config("spark.mongodb.input.uri","mongodb://127.0.0.1/example.collection")\.config("spark.mongodb.output.uri","mongodb://127.0.0.1/example.collection")\.getOrCreate(

使用Apache Spark与Scala在两个蜂巢柱之间进行模糊比较

我正在阅读来自2个蜂巢表的数据。令牌表具有需要与输入数据匹配的令牌。输入数据将具有描述列以及其他列。我需要拆分输入数据,并需要将每个分裂元素与令牌表中的所有元素进行比较。目前,我正在使用me.xdrop.fuzzywuzzy.fuzzysearch库进行模糊匹配。以下是我的代码段-valtokens=sqlContext.sql("selecttokenfromtokens")valdesc=sqlContext.sql("selectdescriptionfromdesceriptiontable")valdesc_tokens=desc.flatMap(_.toString().split

如何使用Apache Spark Java中的Hadoop Office库将数据集写入Excel文件

目前我正在使用com.crealytics.spark.excel要读取Excel文件,但是使用此库,我无法将数据集写入Excel文件。这个关联说使用HadoopOffice库(org.zuinnote.spark.office.excel)我们可以读写到Excel文件请帮助我将数据集对象写入SparkJava中的Excel文件。看答案您可以使用org.zuinnote.spark.office.excel用于读取和编写数据集的Excel文件。给出示例https://github.com/zuinnote/spark-hadoopoffice-ds/。但是,如果您在数据集中阅读Excel并尝试

.net - 使用在 Linux 上运行的 .NET Core 时连接到 MongoDB 失败

我正在使用ASP.NETCore2.0(一个月前刚刚从1.1升级)构建一个网站。MongoDB也由AWS上的MongoAtlas托管。这个MongoDB实例有3个副本集,需要SSL连接并且已经设置可以从任何IP访问。它在我的机器(Windows10x64)和AWS(WindowsServer2016)上运行良好。我尝试在Linux机器上部署它,我使用apt在UbuntuServer16.04上安装dotnet-runtime-2.0.0,然后我尝试运行我的网站,并收到以下错误(出于安全原因,我隐藏了确切的服务器域名)System.TimeoutException:Atimeoutocc