草庐IT

jazn-data

全部标签

spring - 您如何在 Spring 容器之外使用 Spring Data JPA?

我正在尝试手动连接SpringDataJPA对象,以便我可以生成DAO代理(又名存储库)-而不使用Springbean容器。不可避免地,有人会问我为什么要这样做:这是因为我们的项目已经在使用GoogleGuice(并且在UI上使用带有GWT的Gin),并且我们不想维护另一个IoC容器配置,或拉入所有生成的依赖项。我知道我们或许可以使用Guice的SpringIntegration,但这是最后的手段。似乎所有东西都可以手动连接对象,但由于没有很好的文档记录,我遇到了困难。根据SpringData用户指南,使用repositoryfactoriesstandalone是可能的。不幸的是,该

spring - 您如何在 Spring 容器之外使用 Spring Data JPA?

我正在尝试手动连接SpringDataJPA对象,以便我可以生成DAO代理(又名存储库)-而不使用Springbean容器。不可避免地,有人会问我为什么要这样做:这是因为我们的项目已经在使用GoogleGuice(并且在UI上使用带有GWT的Gin),并且我们不想维护另一个IoC容器配置,或拉入所有生成的依赖项。我知道我们或许可以使用Guice的SpringIntegration,但这是最后的手段。似乎所有东西都可以手动连接对象,但由于没有很好的文档记录,我遇到了困难。根据SpringData用户指南,使用repositoryfactoriesstandalone是可能的。不幸的是,该

java - 架构 : Data Persistency , 搜索和推荐系统

我正在计划一个涉及数据持久性、搜索功能和推荐功能(协同过滤)的项目。如图所示,我在想:1)有一组微服务来处理将持久保存在NoSQL存储(可能是MongoDb)中的实体2)对于搜索功能,我将使用Slor,来自微服务的消息将用于更新Slor索引。3)对于建议,我正在考虑使用ApacheMahout并使用消息队列来更新Mahout中使用的Slor索引我的问题是:1)这是处理此类问题的正确架构吗?2)它是否需要3个数据存储:用于数据持久化的MongoDB,用于搜索的Slor(Lucene索引)和mahout用于推荐的Solr(Lucene索引)?3)由于Slor也是一种NoSQL解决方案,那么

hadoop - 配置单元 hadoop : selecting data from table getting error

我在Hive中创建了一个外部表后,我想知道推文的数量,所以我写了下面的查询,但是我得到了这个错误,请问如何解决这个问题,这是mapred-site.xml的配置mapred.job.trackerlocalhost:8021hive>selectcount(*)fromtweet;TotalMapReducejobs=1LaunchingJob1outof1Numberofreducetasksdeterminedatcompiletime:1Inordertochangetheaverageloadforareducer(inbytes):sethive.exec.reducers.

hadoop - 将作业从 talend DI 导出到 talend big data

我是talendETL工具的新手。我已经在talendDI(数据集成)工具中创建了作业工作流,现在我想使用hadoop切换/实现相同的作业,因为我正在使用talend大数据工具。谁能解释我如何实现这一目标。TalendDI到Talend大数据集成。 最佳答案 根据我的理解,DI和大数据Talend工具的库是不同的,可能是因为这种导入是不可能的。 关于hadoop-将作业从talendDI导出到talendbigdata,我们在StackOverflow上找到一个类似的问题:

performance - Tableau 受限 Data Extract 连接速度慢

我在Tableau中设计可视化,我的数据在Hive/hadoop中,数据量很大,当我尝试设计可视化时,查询运行非常非常慢,因为每次它尝试从hadoop中提取数据。所以对于任何可视化,简单的拖放通常需要4分钟,而可视化可能需要10秒的拖放,所以我最终要花很多时间等待。我尝试使用数据提取选项,但是它永远需要数据提取(38分钟并且仍在继续)问题:有没有办法我只能提取1000条记录,这样我就可以处理这1000条记录来创建可视化,然后在设计完成后切换到实时连接。我试图查看画面社区的帮助,但到目前为止没有运气 最佳答案 复制XL中的所有数据并将

hadoop - Hadoop 2.x 系列是否弃用了 `dfs.data.dir` 属性?

dfs.data.dir属性在2.x系列中是否仍然有效?从这个hdfs-site.xmldocumentation大概版本1.2.1和这个hdfs-site.xmldocumentation是什么对于大概2.4.1来说,很明显dfs.data.dir已被弃用。我的推断是真的吗?如果是这样,现在它的等价物是什么?在生产中更改hadoop.tmp.dir并保留它? 最佳答案 请查看此链接Deprecatedproperty,由于该属性被标记为已弃用,您仍然可以利用该属性的功能行为。最好使用Deprecated属性。

hadoop - 将数据从 Hadoop(本地)加载到 Azure Data Lake 的不同方法

我需要每8小时将数据从Hadoop(这是本地Hortonworks集群)加载到AzureDataLake。你能告诉我——在实现解决方案时可以尝试哪些不同的方法吗?ADF[我们可以创建管道事件并安排它们]还要别的吗?谢谢,亚拉汶 最佳答案 我们在thislink提供了高级选项.搜索:“存储在本地或IaaSHadoop集群中的数据”。但是,需要根据以下方面进行微调:1.您要移动多少数据、文件数量、文件大小等。较小的文件将需要更长的时间来传输。2.从本地到Azure的网络连接如果您有ExpressRoute可用,您将获得更好的体验。如果您

hadoop - SAP 沃拉 : Not able to add Vora table as Virtual table via Smart Data Access in HANA Studio

我正在使用带有HANAExpress2SP01的虚拟机。在一个小型测试集群上,我安装了HortonworksDataPlatform2.6和Spark1.6.3,还添加了HANAVora1.4和SparkController2.1。我遵循了SAPVora安装和管理指南:https://help.sap.com/http.svc/rc/f09ec811fe634f588647c342cac84c38/1.4/en-US/SAP_Vora_Installation_Admin_Guide_1.4_en.pdf直到第2.9章。一切正常,但Zeppelin部分与%jdbc解释器:%jdbcse

Spring Boot Data JPA - 修改更新查询 - 刷新持久性上下文

我正在使用SpringBoot1.3.0.M4和MySQL数据库。我在使用修改查询时遇到问题,EntityManager在查询执行后包含过时的实体。原始JPA存储库:publicinterfaceEmailRepositoryextendsJpaRepository{@Transactional@Modifying@Query("updateEmailesete.active=falsewheree.active=trueande.expire假设我们在数据库中有电子邮件[id=1,active=true,expire=2015/01/01]。执行后:emailRepository.s