gpt4 book ai didi

hadoop - 如何将 Hive 表转换为 MLlib LabeledPoint?

转载 作者:可可西里 更新时间:2023-11-01 16:25:17 25 4
gpt4 key购买 nike

我已经使用 Impala 构建了一个包含目标和数百个特征的表。我想使用 Spark MLlib 来训练模型。我知道为了通过 Spark 运行分布式监督模型,数据需要采用多种格式之一。 LabeledPoint 对我来说似乎是最直观的。使用 PySpark 将 Hive 表转换为标记点的最有效方法是什么?

最佳答案

这个问题的最佳解决方案可能是使用 ml 库及其模型,因为它们直接作用于数据帧。

http://spark.apache.org/docs/latest/api/python/pyspark.ml.html?highlight=ml#module-pyspark.ml.classification

但是,ml api 尚未达到与 mllib 相同的功能,可能缺少您需要的东西。因此,我们通过在 Hive 上下文检索到的数据帧上调用 map 来解决我们工作流程中的这个问题。

from pyspark import SparkContext, HiveContext
from pyspark.mllib.regression import LabeledPoint
from pyspark.mllib.classification import LogisticRegressionWithLBFGS

table_name = "MyTable"
target_col = "MyTargetCol"

sc = SparkContext()
hc = HiveContext(sc)

# get the table from the hive context
df = hc.table(table_name)

# reorder columns so that we know the index of the target column
df = df.select(target_col, *[col for col in dataframe.columns if col != target_col])

# map through the data to produce an rdd of labeled points
rdd_of_labeled_points = df.map(lambda row: LabeledPoint(row[0], row[1:]))

# use the rdd as input to a model
model = LogisticRegressionWithLBFGS.train(rdd_of_labeled_points)

请记住,无论何时使用 Python 进行映射,都需要将数据从 JVM 编码到 Python VM,因此性能会受到影响。我们发现使用 map 对性能的影响对于我们的数据来说可以忽略不计,但您的里程可能会有所不同。

关于hadoop - 如何将 Hive 表转换为 MLlib LabeledPoint?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35585765/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com