- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
这是我第一次使用 Hadoop,我在写入输出文件时遇到了问题。当我使用 System.out 打印值时,它显示正常,但使用 context.write(key, value) 时,该值打印为 NaN。
示例:
System.out.println(stockName.toString() + " " + result.toString());
正确输出到用户日志:
AAPL.csv 0.076543
但是使用:
context.write(stockName, result);
输出:
AAPL.csv NaN
result 和 stockName 都是之前设置的 Text() 对象。
我还包含了我的整个 reduce 函数。任何想法都会很棒,因为我已经尝试了几乎所有我能想到的东西,谢谢!
public static class Reduce extends Reducer<Text, Text, Text, Text> {
private Text stockName = new Text();
private ArrayList<Float> monthlyReturn = new ArrayList<Float>();
private String previousMonth = "";
private float numOfMonths = 0;
private float startPrice = 0;
private float endPrice = 0;
private Text result = new Text();
public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
// Set the Stock Name as the Key
stockName.set(key);
for (Text val: values) {
System.out.println(val);
// Parse date & adjusted close
String[] stockValues = val.toString().split(",");
if (stockValues.length < 2) {
continue;
}
String month = stockValues[0];
String priceInput = stockValues[1];
float closingPrice = Float.parseFloat(priceInput);
// First time around setup.
if (startPrice == 0 && previousMonth.equals("")) {
startPrice = closingPrice;
previousMonth = month;
}
/*
* We check if the month has changed, and that we're not just starting.
* If the month changed, increment the number of months we have seen, and run a calculation
* for monthly return.
*
* closePrice is set to every stock value. The startPrice is only set when the month changes.
* When the month does change, we take the last set closePrice to run our calculation, and
* then set the new startPrice.
*/
if (!month.equals(previousMonth) && endPrice != 0) {
numOfMonths += 1;
monthlyReturn.add((endPrice - startPrice)/startPrice);
startPrice = closingPrice;
}
previousMonth = month;
endPrice = closingPrice;
}
// Add on the last month value
numOfMonths += 1;
monthlyReturn.add((endPrice - startPrice)/startPrice);
/*
* Generate the volatility. The equation is as follows:
*
* 1. xbar = sum(xi)/numOfMonth -> sum is over all values from 0 to N in monthlyReturn
* 2. xsum = sum( (xi-xbar)^2 ) from 0 to N in monthlyReturn
* 3. volatility = sqrt( (1/numOfMonth-1)*xsum )
*/
// 1.
float xiSum = 0;
for (int i =0; i<monthlyReturn.size(); i++) {
xiSum += monthlyReturn.get(i);
}
float xBar = xiSum/numOfMonths;
// 2.
double xSum = 0;
for (int i=0; i<monthlyReturn.size(); i++) {
xSum += Math.pow(monthlyReturn.get(i) - xBar, 2);
}
// 3.
double root = (1/(numOfMonths-1))*xSum;
result.set(String.valueOf(Math.sqrt(root)));
System.out.println(stockName.toString() + " " + result.toString());
context.write(stockName, result);
}
}
public static void main(String[] args) throws Exception {
Job job = Job.getInstance();
job.setJarByClass(StockVolatility.class);
job.setMapperClass(Map.class);
job.setCombinerClass(Reduce.class);
job.setReducerClass(Reduce.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
job.waitForCompletion(true);
}
最佳答案
不要使用 job.setCombinerClass(Reduce.class);这样做之后我的问题就解决了。
关于java - Hadoop context.write() 输出打印带有文本对象的 NaN,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28708972/
我想使用 li 和 ul 制作一个多级下拉列表,以便显示我博客中按年和月排序的所有文章。我希望我的下拉菜单看起来像 Google Blogspot 下拉菜单: 这是我的 CSS 和 HTML 代码 u
我在 Win 7 64 机器上将 CodeBlocks 与 gcc 4.7.2 和 gmp 5.0.5 结合使用。开始使用 gmpxx 后,我看到一个奇怪的段错误,它不会出现在 +、- 等运算符中,但
我正在使用 tern 为使用 CodeMirror 运行的窗口提供一些增强的智能感知,它工作正常,但我遇到了一个问题,我想添加一些自定义“types”,可以这么说,这样下拉列表中它们旁边就有图标了。我
我正在尝试让我的 PC 成为 Android 2.3.4 设备的 USB 主机,以便能够在不需要实际“附件”的情况下开发 API。为此,我需要将 PC 设置为 USB 主机和“设备”(在我的例子中是运
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈,无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开,visit the help center . 关闭 9
我在设置服务器方面几乎是个新手,但遇到了一个问题。我有一个 Ubuntu 16.04 VPS 并安装了 Apache2 和 Tomcat7。我正在为 SSL 使用 LetsEncrypt 和 Cert
我在一个基于谷歌地图的项目上工作了超过 6 个月。我使用的是 Google Maps API V1 及其开发人员 API key 。当我尝试发布应用程序时,我了解到 Google API V1 已被弃
我是 Python 的新手,所以如果我对一些简单的事情感到困惑,请原谅。 我有一个这样的对象: class myObject(object): def __init__(self):
这个问题已经有答案了: How can I access object properties containing special characters? (2 个回答) 已关闭 9 年前。 我正在尝
我有下面的 CSS。我想要的是一种流体/液体(因为缺乏正确的术语)css。我正在为移动设备开发,当我改变模式时 从纵向 View 到陆地 View ,我希望它流畅。现在的图像 在陆地 View 中效
我正在尝试使用可以接受参数的缓存属性装饰器。 我查看了这个实现:http://www.daniweb.com/software-development/python/code/217241/a-cac
这个问题在这里已经有了答案: Understanding slicing (36 个答案) 关闭 6 年前。 以a = [1,2,3,4,5]为例。根据我的直觉,我认为 a[::-1] 与 a[0:
mysqldump -t -u root -p mytestdb mytable --where=datetime LIKE '2014-09%' 这就是我正在做的事情,它会返回: mysqldum
我正在制作销售税计算器,除了总支付金额部分外,其他一切都正常。在我的程序中,我希望能够输入一个数字并获得该项目的税额我还希望能够获得支付的总金额,包括交易中的税金。到目前为止,我编写的代码完成了所有这
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 我们不允许在 Stack Overflow 上提出有关通用计算硬件和软件的问题。您可以编辑问题,使其成为
我是否必须进行任何额外的设置才能让 apache-airflow 在任务失败时向我发送电子邮件。我的配置文件中有以下内容(与默认值保持不变): [email] email_backend = airf
这个问题在这里已经有了答案: What does the $ symbol do in VBA? (5 个回答) 3年前关闭。 使用返回字符串(如 Left)的内置函数有什么区别吗?或使用与 $ 相同
我有一个用VB6编写的应用程序,我需要使用一个用.NET编写的库。有什么方法可以在我的应用程序上使用该库吗? 谢谢 最佳答案 这取决于。您可以控制.NET库吗? 如果是这样,则可以修改您的库,以便可以
当我创建一个以 ^ 开头的类方法时,我尝试调用它,它给了我一个错误。 class C { method ^test () { "Hi" } } dd C.new.test; Too m
我已经使用 bower 安装了 angularjs 和 materialjs。 凉亭安装 Angular Material 并将“ngMaterial”注入(inject)我的应用程序,但出现此错误。
我是一名优秀的程序员,十分优秀!