gpt4 book ai didi

hadoop - Map Reduce 编程和代码 QA 测试的文件大小

转载 作者:可可西里 更新时间:2023-11-01 16:30:11 25 4
gpt4 key购买 nike

  1. 在实时生产系统中,通常提供给 map reduce 程序的文件(和记录数)的大小是多少?

  2. 我们如何测试代码,比如单元测试和 QA 测试?是记录少吗?

最佳答案

  1. 根据我的经验,我们使用 hadoop 来处理至少 100GB 的每日负载(根据包含 1000 多个字段的大约 10 亿条记录)。
  2. 对于单元测试 MR 程序,您可以使用少量记录或 MRUnit。

关于hadoop - Map Reduce 编程和代码 QA 测试的文件大小,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37314651/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com