gpt4 book ai didi

hadoop - Hadoop 的段落处理

转载 作者:可可西里 更新时间:2023-11-01 14:23:36 27 4
gpt4 key购买 nike

是否可以获取传递给 Mapper 类的文本段落而不是逐行传递。我正在寻找 ParagraphRecordReader 实现。

最佳答案

答案在 https://stackoverflow.com/a/5398215/1660002有点回答这个要求。但是,您也可以简单地将配置参数 textinputformat.record.delimiter 设置为双换行字符串(例如:"\n\n")来解决这个问题。

此可配置功能在 Apache Hadoop 0.23.x 和 2.x 版本以及 Cloudera 的 CDH3 和 CDH4 版本中可用,如果您使用它们的话。

关于hadoop - Hadoop 的段落处理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12330447/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com