java - 无法编译 Parquet 工具

Question

我从 this link 克隆了 parquet-mr 的存储库.我想按照说明构建 parquet-tools here :

cd parquet-mr/parquet-tools/
mvn clean package -Plocal

(我更新了 pom.xml 以指向正确版本的 com.twitter:parquet-hadoop:jar)

这是我得到的编译错误:

[ERROR] COMPILATION ERROR :
[INFO] -------------------------------------------------------------
[ERROR] /usr/local/parquet-mr-master/parquet-tools/src/main/java/org/apache/parquet/tools/command/MergeCommand.java:[76,13]
cannot find symbol symbol: method appendFile(org.apache.hadoop.conf.Configuration,org.apache.hadoop.fs.Path) location: variable writer of type org.apache.parquet.hadoop.ParquetFileWriter
[ERROR] /usr/local/parquet-mr-master/parquet-tools/src/main/java/org/apache/parquet/tools/command/MergeCommand.java:[82,29] cannot find symbol symbol: method mergeMetadataFiles(java.util.List,org.apache.hadoop.conf.Configuration) location: class org.apache.parquet.hadoop.ParquetFileWriter

Answer 1

首先尝试在 git 中检查一个具体的标签。

git checkout apache-parquet-1.9.0
cd parquet-mr/parquet-tools/
mvn clean package -Plocal

通过执行 git checkout , 所有 pom.xml文件会说 <version>1.9.0</version>而不是 <version>1.9.0-SNAPSHOT</version> .