gpt4 book ai didi

apache-spark - 如何使用作业 Spark 测量HDFS的读写时间?

转载 作者:行者123 更新时间:2023-12-02 20:26:39 24 4
gpt4 key购买 nike

我刚刚开始进行大数据平台认证的工作,我想就如何测试hdfs的读写性能提出建议。

最佳答案

如果您正在运行spark作业以进行读写操作,则可以在应用程序管理器(localhost:50070)上看到作业时间,如果使用spark-shell,则必须手动测量时间,也可以使用时间功能。

关于apache-spark - 如何使用作业 Spark 测量HDFS的读写时间?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56149378/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com