apache-spark - Spark : Reading avro file without com. databricks.spark.avro

Question

我想在 spark 中读取 avro 文件，但不幸的是我公司的集群没有 com.databricks.spark.avro。

所以我试过了

spark-shell --package com.databricks:spark-avro_2.10:0.1.  

这给出了 Unresolved 依赖性

import com.databricks.spark.avro._ is not supported.

也试过

spark-shell --jar spark-avro_2.11-3.2.0.jar

这不会打开外壳。

spark.read.format("com.databricks.spark.avro").load("dirpath/*.avro") returns 
org.apache.spark.sql.AnalysisException: Failed to find data source: com.databricks.spark.avro. Please find an Avro package at http://spark.apache.org/third-party-projects.html;

spark.read.avro("dirpath/*.avro") 返回错误:值 avro 不是 org.apache.spark.sql.DataFrameReader 的成员

这个表太大了(avro 表在 date/field1/field2 上分区并作为 spark.sql("") 运行会返回 GC 开销。

请帮忙。

Answer 1

首先，它不是--package，而是--packages。

其次，版本似乎不完整。

spark-shell --packages com.databricks:spark-avro_2.10:2.0.1

然后导入 avro essential。