草庐IT

page-source

全部标签

java - 如何在 spring-data-rest 中将 Page<ObjectEntity> 映射到 Page<ObjectDTO>

当我用PagingAndSortingRepository.findAll(Pageable)访问数据库时我得到Page.但是,我想向客户端而不是实体公开DTO。我可以通过将实体注入(inject)它的构造函数来创建DTO,但是如何将Page对象中的实体映射到DTO?根据spring文档,Page提供了只读操作。另外,Page.map是不可能的,因为我们不支持java8。如何手动创建带有映射对象的新页面? 最佳答案 您仍然可以在没有lambda表达式的情况下使用Page.map:Pageentities=objectEntityRe

java - 如何在 spring-data-rest 中将 Page<ObjectEntity> 映射到 Page<ObjectDTO>

当我用PagingAndSortingRepository.findAll(Pageable)访问数据库时我得到Page.但是,我想向客户端而不是实体公开DTO。我可以通过将实体注入(inject)它的构造函数来创建DTO,但是如何将Page对象中的实体映射到DTO?根据spring文档,Page提供了只读操作。另外,Page.map是不可能的,因为我们不支持java8。如何手动创建带有映射对象的新页面? 最佳答案 您仍然可以在没有lambda表达式的情况下使用Page.map:Pageentities=objectEntityRe

eclipse - Hadoop 2 : Setting up Hadoop 2 code in eclipse to modify source code and run/test?

我想获取最新版本的Hadoop(YARN/Hadoop2)并通过更改一些底层代码来试用它。我想知道是否有人可以提供有关在eclipse上设置这样一个Hadoop开发环境的分步指南,我可以在其中更改代码、编译它然后在我的本地机器上安装/测试它?我是Hadoop方面的新手,我确实设法在网上找到了一些指南,但它们之间似乎非常不同,我不知道我应该遵循哪一个以及为什么等等,所以任何提示或资源将不胜感激。谢谢 最佳答案 看看你是否觉得这有用,我已将其添加为书签http://wiki.apache.org/hadoop/EclipseEnviro

hadoop - 使用 cloudera quickstart 的 Flume Avro Sink Source

是否可以在Cloudera-Quickstart-CDH-VM中使用AvroSink/Source设置FlumeClient-Collector-Structure?我知道没有实际用途,但是我想了解Flume如何与Avro文件一起使用以及我以后如何将它们与PIG等一起使用。它尝试了几种配置,但没有一种有效。对我来说,我似乎需要多个代理,但虚拟机中只能有一个。我最后尝试的是:agent.sources=readeravro-collection-sourceagent.channels=memoryChannelmemoryChannel2agent.sinks=avro-forward

hadoop - 水槽 :Exec source cat command is not writing on HDFS

我正在尝试使用Flume-ng将数据写入Hdfs作为exec源。但它总是以退出代码127结束。它还显示类似警告无法从VM获取maxDirectMemory:NoSuchMethodException:sun.misc.VM.maxDirectMemory(null)。这是exec.conf文件execAgent.sources=eexecAgent.channels=memchannelexecAgent.sinks=HDFSexecAgent.sources.e.type=org.apache.flume.source.ExecSourceexecAgent.sources.e.ch

java - Hadoop 映射 : attach sources howto

我使用:org.apache.avroavro-mapred1.7.4hadoop2问题:如何将源附加到该类? 最佳答案 你可以添加另一个依赖,使用sourcesclassiferorg.apache.avroavro-mapred1.7.4jarsources参见therepo.您还可以获得javadoc。 关于java-Hadoop映射:attachsourceshowto,我们在StackOverflow上找到一个类似的问题: https://stack

java - Hadoop-级联: Partial directory source tap

我的数据结构如下:+data|-2014080700_00.txt|-2014080700_01.txt|-2014080701_00.txt|-...|-2014080723_00.txt|-2014080800_00.txt|-...|-2014090800_00.txt我知道我可以通过Tap使用数据目录中的所有文件,如下所示:TapinTap=newHfs(newTextLine(),"/path/to/data");但我想要目录的特定部分,例如日期为20140807的文件。因此它将包括所有前缀为20140807的文件。有没有办法用级联来做到这一点?或者有什么方法可以烫一下吗?

hadoop - 错误配置单元(使用 Derby): Source tables cannot be empty

我刚开始使用Hive,遇到一个错误需要您的帮助。在等待一段时间后,当我尝试创建一个新数据库时,它发生了:hive>CREATEDATABASETest;(编辑:我对“SHOWTABLES”有同样的看法)我明白了:Exceptioninthread"main"java.lang.AssertionError:Sourcetablescannotbeemptyatorg.apache.hadoop.hive.ql.hooks.EnforceReadOnlyTables.(EnforceReadOnlyTables.java:46)atjava.lang.Class.forName0(Nat

linux - 异常(exception)如下。 org.apache.flume.FlumeException : Unable to load source type in flume twitter analysis 异常

我正在尝试使用Flume和Hive进行Twitter分析。为了从twitter获取推文,我在flume.conf文件中设置了所有必需的参数(consumerKey、consumerSecret、accessToken和accessTokenSecret)。TwitterAgent.sources=TwitterTwitterAgent.channels=MemChannelTwitterAgent.sinks=HDFSTwitterAgent.sources.Twitter.type=com.cloudera.flume.source.TwitterSourceTwitterAgent

hadoop - 无法查看作业历史记录 (http ://localhost:19888) page in web browser in Hadoop

我在Ubuntu14.0432位上使用Hadoop2.4.1版。当我使用hadoopjaruser_jar.jar命令运行示例作业时,我无法在http://localhost:19888上看到输出(找不到页面)可能的原因是什么?提前谢谢你。JPSoutput:3931Jps3719NodeManager3420SecondaryNameNode3593ResourceManager3246DataNode3126NameNode核心站点.xmlhadoop.tmp.dir/app/hadoop/tmpfs.default.namehdfs://localhost:54310hdfs-s