草庐IT

KryoSerializationWrapper

全部标签

java - Spark - 任务不可序列化 : How to work with complex map closures that call outside classes/objects?

看看这个问题:Scala+Spark-Tasknotserializable:java.io.NotSerializableExceptionon.Whencallingfunctionoutsideclosureonlyonclassesnotobjects.问题:假设我的映射器可以是内部调用其他类并创建对象并在内部执行不同操作的函数(def)。(或者它们甚至可以是扩展(Foo)=>Bar的类并在它们的apply方法中进行处理-但现在让我们忽略这种情况)Spark仅支持闭包的Java序列化。有没有办法解决这个问题?我们可以使用一些东西而不是闭包来做我想做的事吗?我们可以使用Hadoo

java - Spark - 任务不可序列化 : How to work with complex map closures that call outside classes/objects?

看看这个问题:Scala+Spark-Tasknotserializable:java.io.NotSerializableExceptionon.Whencallingfunctionoutsideclosureonlyonclassesnotobjects.问题:假设我的映射器可以是内部调用其他类并创建对象并在内部执行不同操作的函数(def)。(或者它们甚至可以是扩展(Foo)=>Bar的类并在它们的apply方法中进行处理-但现在让我们忽略这种情况)Spark仅支持闭包的Java序列化。有没有办法解决这个问题?我们可以使用一些东西而不是闭包来做我想做的事吗?我们可以使用Hadoo