gpt4 book ai didi

unit-testing - Spark 单元测试不适用于 powermockito

转载 作者:行者123 更新时间:2023-12-03 07:46:29 25 4
gpt4 key购买 nike

我正在为我的 Spark 应用程序编写单元测试。我使用 powermockito 来测试转换。当我运行 junit 测试时,出现如下错误:

2016-03-24 17:10:10:805 INFO  - Running Spark version 1.6.0
2016-03-24 17:10:11:479 WARN - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2016-03-24 17:10:11:586 ERROR - Can't find user in Subject:
Principal: NTUserPrincipal: My_userNAME
Principal: NTSidUserPrincipal: S-1-5-21-1082354718-1040695487-3441060932-16865
Principal: NTDomainPrincipal: MY_DOMAIN
.............
...........
Public Credential: NTNumericCredential: 1872

当我删除 powermockito 的 udage 时,上述错误就消失了。我不知道为什么 powermockito 不进行 Spark rdd 转换。

最佳答案

我也遇到了同样的问题。我找到了解决方案,主要问题是 PowerMockRunner 和 Spark session 。这可以通过添加

来纠正
@PowerMockIgnore({"org.apache.hadoop.*","javax.*","com.sun.org.apache.*"})

这对我有用。不过,如果您遇到一些错误,请尝试找出正在调用哪些内部类,最后忽略它。

关于unit-testing - Spark 单元测试不适用于 powermockito,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36199406/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com