草庐IT

持久化Spark

全部标签

java - Hibernate,自动持久化依赖对象

我是Hibernate的新手,一直在尝试确定它能为您做什么以及它需要您做什么。一个大的对象正在处理一个对象,该对象具有数据库中尚不存在的依赖项。例如,我有一个Project对象,其中包含接受Manufacturer对象作为其值的Manufacturer字段。在数据库中,我有一个带有mfr_id列的产品表,该列是对制造商表的引用(一种相当典型的单向一对多关系)。如果分配给产品对象的制造商与数据库中已有的制造商相关,则没有问题。但是,当我尝试保存或更新引用尚未保留的制造商的对象时,操作失败并出现异常。Exceptioninthread"Application"org.hibernate.T

java - 持久化@Column nullable = false 可以插入null

我想做的是这一列不能为空,但是当我在数据库中插入一个寄存器值为空时,这允许我插入。我读了documentation我不知道为什么不起作用。@Column(name="QWECOD",nullable=false)私有(private)字符串qwe;谢谢更新:我正在使用Toplink和javaorg.eclipse.persistence.eclipselink:2.4.2。 最佳答案 我认为如果您使用entitymanager的实现生成模式,则可以使用nullable。我不知道在持久化实体时是否/必须对其进行验证。如果您使用@Not

java - Apache Spark——使用 spark-submit 抛出 NoSuchMethodError

要将Spark应用程序提交到集群,他们的文档说明:Todothis,createanassemblyjar(or“uber”jar)containingyourcodeanditsdependencies.BothsbtandMavenhaveassemblyplugins.Whencreatingassemblyjars,listSparkandHadoopasprovideddependencies;theseneednotbebundledsincetheyareprovidedbytheclustermanageratruntime.--http://spark.apache.

Java & Spark : add unique incremental id to dataset

使用Spark和Java,我试图向现有的具有n列的数据集[行]添加一个整数标识列。我使用zipWithUniqueId()或zipWithIndex成功添加了一个id,甚至使用了monotonically_increasing_id()。但没有一个能令人满意。示例:我有一个包含195行的数据集。当我使用这三种方法中的一种时,我得到一些像1584156487或12036这样的ID。另外,这些ID不是连续的。我需要/想要的非常简单:一个Integerid列,其值从1到dataset.count()foreach行,其中id=1后跟id=2,等等。我如何在Java/Spark中做到这一点?

java - JPA 在 ManyToOne 关系中持久化对象

我的数据库中有一个公司/员工@OneToMany关系定义为:@EntitypublicclassEmployee{@Id@GeneratedValue(strategy=GenerationType.IDENTITY)privatelongid;@ManyToOne@JoinColumn(name="companyid")Companycompany;....}@EntitypublicclassCompany{@Id@GeneratedValue(strategy=GenerationType.IDENTITY)privatelongid;...}现在我要将新创建的员工添加到一家独立

java - 如何使用 Java 在 SPARK 中使用映射函数

我尝试在spark中读取一个csv文件,我想拆分以逗号分隔的行,以便我有一个带有二维数组的RDD。我是Spark的新手。我试着这样做:publicclassSimpleApp{publicstaticvoidmain(String[]args)throwsException{Stringmaster="local[2]";StringcsvInput="/home/userName/Downloads/countrylist.csv";StringcsvOutput="/home/userName/Downloads/countrylist";JavaSparkContextsc=ne

java - 如何在 Apache Spark 中为两个具有不同结构的 DataFrame 实现 NOT IN

我在我的Java应用程序中使用ApacheSpark。我有两个DataFrame小号:df1和df2.df1包含Row与email,firstName和lastName.df2包含Row与email.我想创建一个DataFrame:df3包含df1中的所有行,df2中不存在哪个电子邮件.有没有办法用ApacheSpark做到这一点?我试图创建JavaRDD来自df1和df2通过类型转换它们toJavaRDD()和过滤df1包含所有电子邮件,然后使用subtract,但我不知道如何映射新的JavaRDD至ds1得到DataFrame.基本上我需要df1中的所有行谁的邮箱不在df2.Dat

java - Spark 应用程序 - Java.lang.OutOfMemoryError : Java heap space

我用的是SparkStandalone单机,128G内存,32核。以下是我认为与我的问题相关的设置:spark.storage.memoryFraction0.35spark.default.parallelism50spark.sql.shuffle.partitions50我有一个Spark应用程序,其中有一个用于1000个设备的循环。对于每个循环(设备),它都会准备特征向量,然后调用MLLib的k-Means。在循环的第25到30次迭代(处理第25到第30个设备)时,它遇到了“Java.lang.OutOfMemoryError:Java堆空间”的错误。我尝试将memoryFra

java - jsontostructs 到 spark 结构化流中的行

我正在使用Spark2.2,我正在尝试从Kafka读取JSON消息,将它们转换为DataFrame并将它们作为Row:spark.readStream().format("kafka").option("kafka.bootstrap.servers","localhost:9092").option("subscribe","topic").load().select(col("value").cast(StringType).as("col")).writeStream().format("console").start();有了这个我可以实现:+-----------------

java - 如何使用 JPA2 持久化包含用户类型字段的实体

我正在寻找一种方法来持久化包含用户类型字段的实体。在这个特定示例中,我想将ts字段保留为毫秒数。importorg.joda.time.DateTime;@EntitypublicclassFoo{@IdprivateLongid;privateDateTimets;} 最佳答案 JPA无法注册自定义属性类型,您必须使用提供者特定的东西:hibernate:http://joda-time.sourceforge.net/contrib/hibernate/Eclipse链接:http://code.google.com/p/jod