草庐IT

apache-spark-dataset

全部标签

java - Spark : How to save a dataframe with headers?

dataframe.saveasTextFile,仅以分隔格式保存数据。如何在JAVA中保存带有标题的数据框。sourceRufFrame.toJavaRDD().map(newTildaDelimiter()).coalesce(1,true).saveAsTextFile(targetSrcFilePath); 最佳答案 如果你想保存为csv文件,我建议使用spark-csv包。您可以简单地使用spark-csv保存您的数据框,如下所示。dataFrame.write.format("com.databricks.spark.c

java - 如何使用 Apache Commons Email 将文件附加到 HTML 电子邮件

我正在使用ApacheCommonsEmail1.1而且我不知道如何将文件附加到HtmlEmail。如果我运行下面的代码,我会收到一封带有附件的电子邮件,但HTML消息也会作为附件出现。如果我不调用email.attach(),HTML消息就会像您预期的那样通过,但我需要通过HTML消息和附件。我错过了什么?HtmlEmailemail=newHtmlEmail();email.setHostName("localhost");email.addTo("test@mail.com","Test");email.setFrom("testapp@mail.com","TestApp");

java - Apache Kafka - 关于主题/分区的 KafkaStream

我正在为大容量高速分布式应用程序编写KafkaConsumer。我只有一个主题,但收到的消息率非常高。为更多消费者提供服务的多个分区将适合此用例。最好的消费方式是拥有多个流阅读器。根据文档或可用示例,ConsumerConnector给出的KafkaStreams数量基于主题数量。想知道如何[基于分区]获得多个KafkaStream读取器,以便我可以跨每个流一个线程,或者在多个线程中从同一个KafkaStream中读取会从多个分区进行并发读取?非常感谢任何见解。 最佳答案 想分享我从邮件列表中发现的内容:您在主题图中传递的数字控制一

java - 如何在 HTTP 响应主体(使用 Spark)中发送 QR 码的 PNG?

我想生成一个QR码图像,将其转换为PNG并将其作为HTTP响应返回给我的客户端。为了生成二维码,我使用了ZXing。我已经通过使用带有MatrixToImageWriter.writeToStream(...)的FileOutputStream来测试转换部分。这就像一个魅力。我目前使用的网络框架是Spark(版本1.1.1)。handle(...)方法的返回被设置为响应主体。我在这里做错了什么?使用当前的解决方案,我在使用Firefox执行GET请求时得到Theimage"http://localhost:4567/qrcode"cannotbedisplayedbecauseitco

java - 如何使用 Java 在 Spark SQL 中加入多列以在 DataFrame 中进行过滤

DataFramea=包含列x,y,z,kDataFrameb=包含列x,y,aa.join(b,)???我试过用a.join(b,a.col("x").equalTo(b.col("x"))&&a.col("y").equalTo(b.col("y"),"inner")但是Java抛出错误提示&&isnotallowed. 最佳答案 SparkSQL在标记为java_expr_ops的Column上提供了一组方法,专为Java互操作而设计。它包括and(另请参阅or)可以在此处使用的方法:a.col("x").equalTo(b.

java - Apache Avro : map uses CharSequence as key

我正在使用ApacheAvro.我的模式有map类型:{"name":"MyData","type":{"type":"map","values":{"type":"record","name":"Person","fields":[{"name":"name","type":"string"},{"name":"age","type":"int"},]}}}编译模式后,生成的Java类使用CharSequence作为MapMyData的key。使用Map中的CharSequence作为key很不方便,有没有办法为Map生成String类型的key在ApacheAvro?附言问题是,例

java - org.apache.derby.jdbc.ClientDriver 在哪里?

我下载了CoreApacheDerbydatabaseengine,whichalsoincludestheembeddedJDBCdriver(10.9.1.0)的jar.但是那个jar不包含jdbc包中ClientDriver的.class文件。这是为什么?我在哪里可以找到这个类文件?我需要这个文件从作为服务器的tomcat连接到derby数据库。请提供完整jar的下载链接,以便我获得所需的.class文件。 最佳答案 好的:你看过ApacheDerby页面了吗:http://db.apache.org/derby/releas

java - Apache Http 客户端 SSL 证书错误

我知道之前有人问过这个问题,但我尝试了我找到的所有解决方案,但仍然无法正常工作。基本上,我正在尝试通过ApacheHttp客户端(4.3)获取一些内容,但我连接的网站存在一些SSL问题。首先,我收到了SSLException和unrecognized_name消息。我试图通过将jsse.enableSNIExtension属性设置为false来解决这个问题。然后,我得到了这个异常:javax.net.ssl.SSLHandshakeException:sun.security.validator.ValidatorException:PKIX路径构建失败:sun.security.pr

java - 使用转换器时,如何将 header 添加到 spark 的响应中

我有这个:get("/test",(req,resp)->{returnrepository.getAll();},newJsonTransformer());我的变压器看起来像:publicclassJsonTransformerimplementsResponseTransformer{ObjectMapperom=newObjectMapper();publicJsonTransformer(){}@OverridepublicStringrender(Objecto)throwsException{returnom.writeValueAsString(o);}}我试过在响应中

java - 如何使用 apache.commons 获取属性列表

我需要获取.properties文件中的属性列表。例如,如果有以下.properties文件:users.admin.keywords=adminusers.admin.regexps=test-5,test-7users.admin.rules=users.admin.keywords,users.admin.regexpsusers.root.keywords=newKeyWordqusers.root.regexps=asdasd,\u0432[\u044By][\u0448s]\u043B\u0438\u0442[\u0435e]users.root.rules=users.r