python - 从连接的 RDD 中提取值

Question

我有两个列表:

Hourly_Sports,DEF (show,channel)
Hourly_Sports,21  (show,views)

我已经拆分字符串并使用代码重新排列它们:

def split_show_views(line):
    show,views=line.split(',')
    return (show, views)   
show_views = show_views_file.map(split_show_views)
def split_show_channel(line):
     show,channel=line.split(',')
     return (show, channel)
show_channel = show_channel_file.map(split_show_channel)
     joined_dataset = show_views.join(show_channel)

现在，当我调用“收集”时，列表如下所示:

(u'Baked_Talking', (u'MAN', u'138'))

现在我只想要“ channel ”和“ View 部分”指令是:

def extract_channel_views(show_views_channel): 
    <INSERT_CODE_HERE>
    return (channel, views)

似乎连接列表已经包含拆分字符串，所以我不能再次使用“拆分”函数，我已经检查了 python 内置函数但没有找到任何提取函数？在我看来，“ channel ”和“ View ”在前面的步骤中已经定义，所以我不必添加任何东西？如果不是，我如何定义 channel 和 View ？我尝试了类似 show,channel,views=split('',('','')) 的东西，我认为这不对，但我真的不知道该怎么做。

Answer 1

您可以做的最简单的事情是使用values 方法:

joined_dataset.values()

但是如果你真的想要一个单独的函数，那么你所需要知道的就是输出 RDD 的元素是普通的 Python tuples。这意味着您可以使用 getitem:

def extract_channel_views(show_views_channel):
    return show_views_channel[1]

或解压:

def extract_channel_views(show_views_channel):
    _, (channel, views) = show_views_channel
    return channel, views