gpt4 book ai didi

apache-spark - 使用 Spark 和 Phoenix 将 CSV 文件保存到 hbase 表

转载 作者:行者123 更新时间:2023-12-04 05:06:06 30 4
gpt4 key购买 nike

谁能告诉我一个使用 Spark 2.2 将 csv 文件保存到 Hbase 表的工作示例我尝试过但失败的选项(注意:它们都适用于我的 Spark 1.6)

  1. 凤凰 Spark
  2. hbase-spark
  3. it.nerdammer.bigdata:spark-hbase-connector_2.10

所有这些最终在修复所有问题后都会给出类似的错误 Spark HBase

谢谢

最佳答案

将以下参数添加到您的 spark 作业中-

spark-submit \
--conf "spark.yarn.stagingDir=/somelocation" \
--conf "spark.hadoop.mapreduce.output.fileoutputformat.outputdir=/s‌​omelocation" \
--conf "spark.hadoop.mapred.output.dir=/somelocation"

关于apache-spark - 使用 Spark 和 Phoenix 将 CSV 文件保存到 hbase 表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46477932/

30 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com