草庐IT

apache-spark-2.3

全部标签

java - 如何使用 java 从 Spark 中的列表或数组创建行

在Java中,我使用RowFactory.create()来创建行:Rowrow=RowFactory.create(record.getLong(1),record.getInt(2),record.getString(3));其中“record”是数据库中的一条记录,但我无法预先知道“record”的长度,所以我想使用一个列表或一个数组来创建“行”。在Scala中,我可以使用Row.fromSeq()从列表或数组创建行,但我如何在Java中实现这一点? 最佳答案 我们经常需要在现实世界的应用程序中创建数据集或数据帧。以下是如何在

java - Apache Commons Net FTP 正在上传损坏的文件

我正在尝试使用ApacheCommonsNet进行FTP文件传输。问题是文件间歇性地到达服务器损坏。“损坏”是指WinRAR告诉我一个ZIP文件有一个“意外的存档结束”。有时文件是完全空的。我注意到,对于较大的文件(100kb+),这种情况更常见,但对于小文件(20kb)也会发生这种情况。我知道上传的源zip文件是有效的,而且只有243kb。我没有从代码中得到任何错误/异常。下面是正在执行的代码:intCON_TIMEOUT=(int)TimeUnit.SECONDS.toMillis(20);//failifcan'tconnectwithin20secondsintLIVE_TIM

java - 请求的路由还没有映射到 Spark 中

我想做点什么用spark+java+hibernate+postgres注册用户这是我的代码:post("/registrar",(request,response)->{EntityManagerFactoryemf=Persistence.createEntityManagerFactory("compradorcitoPU");EntityManagerem=emf.createEntityManager();em.getTransaction().begin();em.persist(u);em.getTransaction().commit();em.close();retu

java - Spark DataFrame 类的 union() 方法在哪里?

我正在为Spark使用Java连接器,并想联合两个DataFrame,但奇怪的是DataFrame类只有unionAll?这是故意的吗?有没有办法将两个DataFrame联合起来而不重复? 最佳答案 Isthisintentional如果认为可以安全地假设它是故意的。其他联合运算符,如RDD.union和DataSet.union也会保留重复项。如果你仔细想想是有道理的。虽然相当于UNIONALL的操作只是一个逻辑操作,不需要数据访问或网络流量,但发现不同的元素需要洗牌,因此可能非常昂贵。isthereawaytouniontwoD

java - Apache Camel ftp 消费者一次又一次地加载相同的文件

我有以下Spring配置在ftp端,我有3个文件夹,其中包含我要下载的文件。我想实现以下场景:在ftp上是固定数量的文件(对于实例5),在第一次数据拉取时消费者将这些文件加载​​到目标文件夹在第二次尝试加载文件时,ftp状态仍然相同(5个文件)并且camelftp消费者什么都不做(除了检查新文件)到ftp到达新的2个文件,并且在这个数据拉取消费者仅下载这两个新文件目前,我当前的解决方案每次运行数据加载过程时都会下载所有文件,我如何管理有关已下载文件的信息以防止重复下载(我的意思是已经从ftp复制了文件),我可以编写自己的过滤器将过滤掉已经下载的文件,但我相信应该有内置功能可以让我控制这

java - 如何使用 Apache Camel 转储随 HTTP 组件发送的 HTTP 正文和 header

如何使用此路由转储使用ApacheCamelHTTP组件发送的HTTP正文和header:from('direct:abc').setHeader(Exchange.HTTP_URI,constant("${config.gnutch.solr.coreUrl}/select")).setHeader(Exchange.HTTP_QUERY,constant("q=${q}&wt=xml")).setHeader(Exchange.CONTENT_TYPE,constant('application/xml')).setHeader(Exchange.HTTP_METHOD,const

java - import org.apache.poi.xssf 无法解析

我已经创建了Maven项目并在pom.xml中提到了以下POI依赖项以便读取和写入excel文件:org.apache.poipoi3.9在测试中,当我添加importorg.apache.poi.hssf.usermodel.HSSFWorkbook;时,我没有看到任何错误。但是,当我添加importorg.apache.poi.xssf.usermodel.XSSFWorkbook;时,它显示错误:Theimportorg.apache.poi.xssfcannotberesolved它会为XSSF抛出错误,但不会为HSSF抛出错误。你能指导我如何解决这个问题吗?

java - Apache Commons 是否适用于所有服务器?

Apache公共(public)文件(jar)是在所有服务器上工作还是只在Apache服务器上工作? 最佳答案 Apachecommons只是一个有用的java类库。您只需要合适的JRE。 关于java-ApacheCommons是否适用于所有服务器?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/5778691/

java - 如何导入 org.apache.commons.net.ftp.FTPClient

在Eclipse中,以下导入...importorg.apache.commons.net.ftp.FTPClient;...产生以下错误信息...Theimportorg.apachecannotberesolved我不知道如何导入,也不知道在哪里下载导入(如果需要)。我可能需要一组点击式Eclipse说明来解决这个问题。 最佳答案 步骤:-下载此commons-net.jar文件解压缩zip文件复制Jar文件将文件放在项目的lib文件夹中。右击项目在列表左侧,点击“JavaBuildPath”点击库标签并点击“添加Jar”浏览C

java - Spark Java 和类路径

我正在尝试从http://www.sparkjava.com/开始,一个小型JavaWeb框架。说明告诉您将其添加为Maven依赖项(已完成),但是当我mvnpackage时,我得到一个classdefnotfoundforspark/Route。我假设这是因为Spark不在我的类路径中。我怎样才能添加它?它会放在pom.xml中吗?编辑:抱歉,这是我的pom.xml:4.0.0com.bernsteinbear.myappmyappjar1.0-SNAPSHOTmyapphttp://maven.apache.orgjunitjunit3.8.1testcom.sparkjavasp