草庐IT

apache-spark-2.3

全部标签

java - 使用 apache poi 读取 xlsx 时主线程中出现 NoSuchMethodError

我的代码是[...]importorg.apache.poi.poifs.filesystem.POIFSFileSystem;importorg.apache.poi.ss.usermodel.Workbook;importorg.apache.poi.xssf.usermodel.XSSFSheet;importorg.apache.poi.xssf.usermodel.XSSFWorkbook;importorg.apache.poi.hssf.usermodel.HSSFCell;importorg.apache.poi.hssf.usermodel.HSSFSheet;imp

java - 为什么我不能再从 AWS S3 in Spark 应用程序读取数据?

我已经升级到ApacheSpark1.5.1,但我不确定这是否导致了它。我在spark-submit中有我的访问key,它一直有效。Exceptioninthread"main"java.lang.NoSuchMethodError:org.jets3t.service.impl.rest.httpclient.RestS3Service.(Lorg/jets3t/service/security/AWSCredentials;)VSQLContextsqlContext=newSQLContext(sc);DataFramedf=sqlContext.read().format("c

java - 在 Spark/Jetty-server 中重新加载静态文件

我在这里描述了一些类似的问题:RefreshstaticfilesservedbySparkJava在我的应用程序中,用户可以将内容上传到一个文件夹,该文件夹也提供给用户Spark.staticFileLocation("/public");特征。我知道SparkJava在启动时只从该文件夹中读取一次“静态”内容,并且它不知道那里的变化。是否可以要求Spark(或通过Spark的Jetty)重新加载静态文件夹中的更改? 最佳答案 移动到externalStaticFileLocation("/var/www/public");

java - 我可以在 apache commons cli 中创建带有连字符的选项名称吗?

我正在尝试使用ApacheCommonsCLIjava库在其中设置带有连字符的选项名称,如“源文件”。Optionoption=newOption("source-files",true,"Listofsourcefiles")我得到这个错误,java.lang.IllegalArgumentException:optcontainsillegalcharactervalue'-'atorg.apache.commons.cli.OptionValidator.validateOption(OptionValidator.java:73)atorg.apache.commons.cli

java - 从另一个应用程序启动它时如何正确等待 apache spark 启动器作业?

当我等待我的sparkapache工作完成但没有成功时,我试图避免使用“while(true)”解决方案。我有一个spark应用程序,它假设要处理一些数据并将结果放入数据库,我确实从我的spring服务调用它,并想等到工作完成。例子:带有方法的启动器:@Overridepublicvoidrun(UUIDdocId,Stringquery)throwsException{launcher.addAppArgs(docId.toString(),query);SparkAppHandlesparkAppHandle=launcher.startApplication();sparkApp

java - Spark Driver 内存和 Executor 内存

我是Spark的初学者,我正在运行我的应用程序以从文本文件中读取14KB数据,进行一些转换和操作(收集、收集AsMap)并将数据保存到数据库我在我的macbook上本地运行它,它有16G内存,8个逻辑核心。Java最大堆设置为12G。这是我用来运行应用程序的命令。bin/spark-submit--classcom.myapp.application--masterlocal[*]--executor-memory2G--driver-memory4G/jars/application.jar我收到以下警告2017-01-1316:57:31.579[Executortasklaunc

java - org.apache.catalina.core.StandardContext.startInternal 一个或多个监听器启动失败

我在Java/Spring/ApacheCxf上工作网络应用程序,突然间,当我进行了一些明显幼稚的更改时出现错误,25-Aug-201711:48:43.036INFO[RMITCPConnection(2)-127.0.0.1]org.apache.jasper.servlet.TldScanner.scanJarsAtleastoneJARwasscannedforTLDsyetcontainednoTLDs.EnabledebugloggingforthisloggerforacompletelistofJARsthatwerescannedbutnoTLDswerefoundi

java.lang.NoClassDefFoundError : org/apache/commons/lang3/ObjectUtils 错误

我正在尝试编写一个程序来读取CSV文件,然后用它制作一些东西。我搜索了很多,终于找到了this图书馆。几天前我完成了代码,一切正常。今天把库更新到4.0v,然后跳出一大堆警告。我做了一些测试,失败的部分是:publicvoidLeerCSV(FileCSVCat,FileCSVProd){//CreounobjetodelaclaseFileReaderquemehacefaltaparalosCSVReaderCSVReaderBuilderlectorCatBuilder=null;CSVReaderBuilderlectorProdBuilder=null;CSVReaderCa

java - 如何连接 Apache Kafka 和 Amazon S3?

我想使用KafkaConnect将来自Kafka的数据存储到存储桶s3中。我已经运行了一个Kafka的主题,并且创建了一个存储桶s3。我的主题有关于Protobuffer的数据,我尝试使用https://github.com/qubole/streamx我得到了下一个错误:[2018-10-0413:35:46,512]INFORevokingpreviouslyassignedpartitions[]forgroupconnect-s3-sink(org.apache.kafka.clients.consumer.internals.ConsumerCoordinator:280)[

java - org.apache.velocity.exception.ResourceNotFoundException 异常

我在struts1和hibernate配置中使用速度引擎模板进行邮件发送。我在尝试发送邮件时遇到错误:org.apache.velocity.exception.ResourceNotFoundException。我包含了velocity1.5.jar、mail.jar、activation.jar、smtp.jar。我在这里包含速度模板路径StringvelocityTemplate="mailTemplate/sendMail.vm";并且mailTemplate文件夹位于WEB-INF/classes文件夹中当代码执行这一行时我得到了那个错误模板template=velocity