hadoop - ORC 表上的 Hive 选择查询失败

Question

异常(exception):

Failed with exception java.io.IOException:java.io.IOException: Somehow read -1 bytes trying to skip 6257 more bytes t o seek to position 6708, size: 1290047

有没有人知道如何在云数据处理上修复它？

Answer 1

看起来您可能正在点击 this known issue这在某种程度上特定于读取 ORC 文件。 GCS 连接器版本 1.5.4 已修复，本周将在 Dataproc 中推出(预计将于 10 月 14 日本周五全面推出)。

与此同时，您可以使用一个小的初始化操作来自动更新数据处理集群上的连接器版本；创建一个名为 update-gcs-1.5.4.sh 的文件:

#!/bin/bash
rm -f /usr/lib/hadoop/lib/gcs-connector*.jar
gsutil cp gs://hadoop-lib/gcs/gcs-connector-1.5.4-hadoop2.jar /usr/lib/hadoop/lib/

然后将该文件上传到某处的 GCS:

gsutil cp update-gcs-1.5.4.sh gs://<YOUR_BUCKET_HERE>/update-gcs-1.5.4.sh

然后创建您的 Dataproc 集群:

gcloud dataproc clusters create \
    --initialization-actions gs://<YOUR_BUCKET_HERE>/update-gcs-1.5.4.sh