java - 如何使用 hadoop 按列读取 CSV 文件？

Question

我正在尝试读取一个不包含逗号分隔值的 csv 文件，这些是纳斯达克股票的列，我想读取一个特定的列，假设(第 3 次)，不知道如何获取列项目。有什么方法可以读取 hadoop 中的列数据吗？请在这里帮忙。

我的 CSV 文件格式是:

exchange    stock_symbol    date    stock_price_open    stock_price_high    stock_price_low stock_price_close   stock_volume    stock_price_adj_close
NASDAQ  ABXA    12/9/2009   2.55    2.77    2.5 2.67    158500  2.67
NASDAQ  ABXA    12/8/2009   2.71    2.74    2.52    2.55    131700  2.55

在这里编辑:

A 列:交换B 列:stock_symbolC 列:日期D 列:stock_price_openE 列:stock_price_high

类似的。

这些是列而不是逗号分隔值。我需要按列阅读此文件。

Answer 1

在Pig它看起来像这样:

Q1 = LOAD 'file.csv' USING PigStorage('\t') AS (exchange, stock_symbol, stock_date:double, stock_price_open, stock_price_high, stock_price_low, stock_price_close, stock_volume, stock_price_adj_close);
Q2 = FOREACH Q1 GENERATE stock_date;
DUMP C;