python - 从 apache_beam.io 导入 fileio 给出错误 : cannot import name fileio

Question

我想将 csv 文件读入 apache beam 应用程序中的列表，其中列表中的每个元素都是元组或列表(并不重要)，这样我就可以得到 csv

1,2,3
4,5,6

成为

[(1,2,3) , (4,5,6)] 

或

[ [1,2,3], [4,5,6] ]

我尝试按照 How to convert csv into a dictionary in apache beam dataflow 中的说明进行操作但是当我尝试使用

from beam_utils.sources import CsvFileSource

我明白

from beam_utils.sources import CsvFileSource
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/local/lib/python2.7/site-packages/beam_utils/sources.py", line 9, in <module>
    from apache_beam.io import fileio
ImportError: cannot import name fileio

如果我尝试直接导入

from apache_beam.io import fileio

我遇到了同样的问题，但是我可以同时使用

import apache_beam.io
import beam_utils

没有任何问题。有人知道问题可能是什么，或者知道我如何以不同的方式做到这一点？

我目前有

with beam.Pipeline(options = pipeline_options) as p:
        csvfile = p | ReadFromText(known_args.input)

所以如果我可以用另一种同样有效的方式将 csvfile 转换为所需的格式

Answer 1

几分钟前刚刚遇到了同样的问题。问题是 fileio 显然不再在 apache_beam 中(至少不适合我)。它似乎已被文件系统取代。

这不是一个很好的解决方案，但是在beam_utils的sources.py中，我用“filesystem”替换了“fileio”的所有实例

所以

from apache_beam.io import fileio

变成了

from apache_beam.io import filesystem