草庐IT

apache-spark-1.6

全部标签

java - Apache ant list 类路径?

我有一个java项目的标准项目布局:project/src/source_file_1.java...source_file_N.javabuild/classes/source_file_X.class...jar/MyJar.jarlib/SomeLibrary.jarSomeOtherLibrary.jar据我所知,我正在使用Ant正确构建项目。我需要在list文件中设置类路径属性,以便我的类可以使用所需的库。以下来自build.xml的相关信息任何朝着正确方向的插入都是值得赞赏的。谢谢 最佳答案 假设库在编译到执行jar文件

java - apache http 客户端 org.apache.http.NoHttpResponseException : The target server failed to respond

我正在使用apachehttp客户端来测试我的WS。我已经写了一个getWSinjersey。这个WS的URL是http://localhost:8080/mobilestore/rest/sysgestockmobilews/getinventory?xml=dataString要使用url调用此WS,我编写了如下方法publicstaticvoidgetInventory(Stringinput)throwsClientProtocolException,IOException{System.out.println(input);Stringurl=URL+"getinventor

java - org.apache.commons.codec.DecoderException : Odd number of characters

在url参数中发送十六进制字符串并尝试在服务器端将其转换为字符串。使用以下javascript编码代码转换用户输入的字符串functionencode(string){varnumber="";varlength=string.trim().length;string=string.trim();for(vari=0;i现在我正尝试在Java代码中解析十六进制字符串419以获取俄语字符Йbyte[]bytes="".getBytes();try{bytes=Hex.decodeHex(hex.toCharArray());sb.append(newString(bytes,"UTF-8

java - 使用 DataStax Spark 连接器在 Cassandra 中保存空值

我尝试使用Spark和CassandraSparkConnector将流数据保存到Cassandra。我做了类似下面的东西:创建模型类:publicclassContentModel{Stringid;Stringavailable_at;//maybenullpublicContentModel(Stringid,Stringavailable_at){this.id=id;this.available_at=available_at,}}将流媒体内容映射到模型:JavaDStreamcontentsToModel=myStream.map(newFunction(){@Overri

java - Spark Streaming Kafka 消息未被消费

我想使用Spark(1.6.2)Streaming从Kafka(代理v0.10.2.1)中的主题接收消息。我正在使用Receiver方法。代码如下:publicstaticvoidmain(String[]args)throwsException{SparkConfsparkConf=newSparkConf().setAppName("SimpleStreamingApp");JavaStreamingContextjavaStreamingContext=newJavaStreamingContext(sparkConf,newDuration(5000));//MaptopicM

合并spark structured streaming处理流式数据产生的小文件

备注:By远方时光原创,可转载,open合作微信公众号:大数据左右手背景:做流批一体,湖仓一体的大数据架构,常见的做法就是数据源->sparkStreaming->ODS(数据湖)->sparkstreaming->DWD(数据湖)->...那么数据源->sparkStreaming->ODS,以这段为例,在数据源通过sparkstructuredstreaming写入ODS在数据湖(DeltaLake)落盘时候必然会产生很多小文件目的:为了在批处理spark-sql运行更快,也避免因为小文件而导致报错影响:WARNING:Failedtoconnectto/172.16.xx.xx:9866

java - 如何使用 Apache PDFBox 将 .png 图像添加到 pdf

当我尝试使用pdfBox绘制png图像时,页面仍然空白。有什么方法可以使用pdfBox插入png图像吗?publicvoidcreatePDFFromImage(StringinputFile,Stringimage,StringoutputFile)throwsIOException,COSVisitorException{//thedocumentPDDocumentdoc=null;try{doc=PDDocument.load(inputFile);//wewilladdtheimagetothefirstpage.PDPagepage=(PDPage)doc.getDocum

java - 无法使用来自 Spark 的 GSC 连接器连接 Google 存储文件

我在我的本地机器上编写了一个spark作业,它使用谷歌hadoop连接器(如https://cloud.google.com/dataproc/docs/connectors/cloud-storage中提到的gs://storage.googleapis.com/从谷歌云存储读取文件)我已经设置了具有计算引擎和存储权限的服务帐户。我的spark配置和代码是SparkConfconf=newSparkConf();conf.setAppName("SparkAPp").setMaster("local");conf.set("google.cloud.auth.service.acco

java - 使用 Kerberos 设置 Spark SQL 连接

我有一个简单的Java应用程序,它可以使用Hive或Impala使用如下代码连接和查询我的集群importjava.sql.Connection;importjava.sql.DriverManager;importjava.sql.ResultSet;importjava.sql.SQLException;importjava.sql.Statement;...Class.forName("com.cloudera.hive.jdbc41.HS2Driver");Connectioncon=DriverManager.getConnection("jdbc:hive2://myHos

java.lang.NoClassDefFoundError : org/apache/chemistry/opencmis/client/api/SessionFactory 错误

我使用AlfrescoCommunity4.0。我使用cmis在Alfresco中更新文档。我已经在Alfresco中注册了一个文档,这是在保存方法后检索到的文档ID:b08e8bce-1b88-489e-a357-1e6385f180a1现在我想用其他内容来改变这个文件的内容。我使用了这个方法:publicvoidsaveVersioning(Filefile,Stringfilename,StringuserName,Stringpwd,StringdocId)throwsException{SessionFactoryfactory=SessionFactoryImpl.newI