linux - Pentaho - CSV 输入不理解特殊字符 [Windows 到 Linux]

Question

我对 Pentaho 数据集成进行了转换，我做的第一件事是使用“CSV 输入”来映射我的平面文件。

我在 Windows 上从来没有遇到过问题，但现在我正在将我的服务器更改为 spoon 将要运行到 linux 服务器，现在我遇到了特殊字符的问题。

我注意到的第一件事是我的表正在更新，因为系统将名称理解为与我数据库中的字符串不同的字符串。

检查问题时，我还注意到，如果我转到“CSV 输入”-> 预览，它会向我显示存在上述问题的数据预览:

Special characters are not showing .

它应该在哪里:

Diretoria de Suporte à Decisão e Aplicação

我使用了一个命令来检查我的文件字符集/编码，它显示:

$ file -bi foo.csv
text/plain; charset=iso-8859-1

如果我在 vi 上打开 foo.csv，它会理解特殊字符。

关于可能是什么问题或我应该尝试什么的任何想法？

Answer 1

我没有使用此编码的任何数据文件，因此您必须进行一些试验，但有一些步骤旨在处理这些问题。

首先，CSV Input 步骤有一个字段，允许您选择源文件的编码。 文本文件输入步骤在“内容”选项卡下有“格式”(意思是行终止符)和“编码”选择器。

在 Transforms 中，您在 Utility 选项卡下有 Change file encoding 步骤。此步骤旨在复制许多文件，同时更改其编码；这就是它处于转换状态的原因。

在 Jobs 中，文件管理选项卡下有在 Windows 和 Unix 之间转换文件 步骤，但这似乎只处理行终止符。

无论哪种方式，如果 CSV/文本文件输入步骤不适合您的需要，您都必须在读入之前将文件复制到新的编码。尝试使用文件输入步骤先行。