gpt4 book ai didi

hadoop - 如何以未压缩的文本格式将 Spark Dataframe 存储在配置单元中

转载 作者:可可西里 更新时间:2023-11-01 16:29:30 26 4
gpt4 key购买 nike

我正在尝试将数据框存储到外部配置单元表中。当我执行以下操作时:

 recordDF.write.option("path", "hdfs://quickstart.cloudera:8020/user/cloudera/hadoop/hive/warehouse/VerizonProduct").saveAsTable("productstoreHTable")

在本应存在表的 hdfs 位置,我得到了这个:

-rw-r--r-- 3 cloudera cloudera 0 2016-12-25 18:58 hadoop/hive/warehouse/VerizonProduct/_SUCCESS

-rw-r--r-- 3 cloudera cloudera 482 2016-12-25 18:58 hadoop/hive/warehouse/VerizonProduct/part-r-00000-0acdcc6d-893b-4e9d-b1d6-50bf02bea96a.snappy.parquet

-rw-r--r-- 3 cloudera cloudera 482 2016-12-25 18:58 hadoop/hive/warehouse/VerizonProduct/part-r-00001-0acdcc6d-893b-4e9d-b1d6-50bf02bea96a.snappy.parquet

-rw-r--r-- 3 cloudera cloudera 482 2016-12-25 18:58 hadoop/hive/warehouse/VerizonProduct/part-r-00002-0acdcc6d-893b-4e9d-b1d6-50bf02bea96a.snappy.parquet

-rw-r--r-- 3 cloudera cloudera 482 2016-12-25 18:58 hadoop/hive/warehouse/VerizonProduct/part-r-00003-0acdcc6d-893b-4e9d-b1d6-50bf02bea96a.snappy.parquet

如何将其存储为未压缩的文本格式?

谢谢

最佳答案

你可以添加format选项:

recordDF.write.option("path", "...").format("text").saveAsTable("...")

recordDF.write.option("path", "...").format("csv").saveAsTable("...")

关于hadoop - 如何以未压缩的文本格式将 Spark Dataframe 存储在配置单元中,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41325473/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com