草庐IT

LabeledPoint

全部标签

java - 在 Java 8 中映射后过滤空值

这个问题在这里已经有了答案:FiltervaluesonlyifnotnullusinglambdainJava8(6个答案)关闭6年前。我是在Java8中使用map和filters的新手。我目前正在为一些ML算法使用SparkML库。我有以下代码://returnalistof`Points`.Listpoints=getPoints();ListlabeledPoints=points.stream().map(point->getLabeledPoint(point)).collect(Collectors.toList());如果数据正确,函数getLabeledPoint(P

hadoop - 如何将 Hive 表转换为 MLlib LabeledPoint?

我已经使用Impala构建了一个包含目标和数百个特征的表。我想使用SparkMLlib来训练模型。我知道为了通过Spark运行分布式监督模型,数据需要采用多种格式之一。LabeledPoint对我来说似乎是最直观的。使用PySpark将Hive表转换为标记点的最有效方法是什么? 最佳答案 这个问题的最佳解决方案可能是使用ml库及其模型,因为它们直接作用于数据帧。http://spark.apache.org/docs/latest/api/python/pyspark.ml.html?highlight=ml#module-pysp