apache-spark - 从位置定界文件读取 Spark

Question

我在尝试将文件沿n个字符长度的记录拆分为分布式系统时遇到问题。我具有分解记录并将其映射到记录级别上的专有名称的功能，但是需要从文件到系统上再到分解文件，然后将其以n个长度大小的片段传递给节点进行拆分和处理。

Answer 1

我已经研究了SparkContext对象的规范，并且有一种方法可以从Hadoop环境中提取文件并将其作为字节数组数据帧加载。该函数是byteRecords。