gpt4 book ai didi

python - 如何在突触分析(Microsoft azure)中将spark_df读取为数据帧?

转载 作者:行者123 更新时间:2023-12-02 23:59:32 26 4
gpt4 key购买 nike

如何在突触分析(Microsoft azure)中读取spark_df作为数据帧,以便我可以在笔记本中使用pandas的必要代码?

spark_df = spark.createDataFrame(filtered_df)
spark_df.write.mode("overwrite").saveAsTable("default.NYC_Taxi")

现在我想将表格读取为数据帧。我尝试了以下代码:

new_df = NYC_Taxi.to_pandas_dataframe()

错误:

NameError : name 'nyc_taxi' is not defined
Traceback (most recent call last):
NameError: name 'nyc_taxi' is not defined

最佳答案

您可以使用这样的代码:

spark_df = spark.createDataFrame(filtered_df)

new_df = spark_df.select("*").toPandas()

关于python - 如何在突触分析(Microsoft azure)中将spark_df读取为数据帧?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/66438958/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com