hadoop - 从头开始dml-hive

Question

我正在使用AbInitio并尝试将输入表中查询的结果填充到hdfs中。我想要 Parquet 的格式。我尝试使用dml来配置文本，但是以下是我的结果，并且不确定这意味着什么。

$ dml-to-hive text $AI_DML/myprojectdml.dml
Usage: dml-to-avro <record_format> <output_file>

   or: dml-to-avro help

  <record-format> is one of:
       <filename>           Read record format from file
       -string <string>     Read record format from string

  <output_file> is one of:
       <filename>           Output Avro schema to file
       -                    Output Avro schema to standard output

我也尝试使用Write Hive Table组件，但收到以下错误:

[B276]
The internal charset "XXcharset_NONE" was encountered when a valid character set data
structure was expected.   One possible cause of this error is that you specified a 
character set to the Co>Operating System that is misspelled or otherwise incorrect.
If you cannot resolve the error please contact Customer Support.

任何帮助都将非常有用，我正在尝试将我的输出输出到 Parquet 中的hdfs。

谢谢，
克里斯·理查森

Answer 1

我知道这是一个较晚的答复，但是如果您仍在处理此问题，或者其他人像我一样偶然发现此问题，我想我已经找到了解决方案。
我使用dml-to-hive为 Parquet 格式创建DML并将其写入文件。

dml-to-hive parquet current.dml > parquet.dml

创建此dml后，您可以在“Write HDFS”组件的in端口上使用它。双击该组件，转到“端口”选项卡，单击“使用文件”单选按钮，然后将其指向parquet.dml
然后，只需将WRITE_FORMAT选项设置为 Parquet ，然后旋转一下即可。我可以使用上述过程创建 Parquet ，orc和avro文件。