python - 我的 csv 中有多个列。如何使用 python 将行值与引用列匹配？

Question

我有一个包含 367 列的 csv 文件。第一列有 15 个唯一值，后续的每个列都有这 15 个值的某个子集。在一列中不会多次找到唯一值。每列均已排序。如何让行对齐？我的最终目标是制作存在/不存在热图，但我需要首先以正确的格式获取数据矩阵，这是我正在努力解决的问题。

这是我拥有的数据类型的一个小示例:

1,2,1,2
2,3,2,5
3,4,3,
4,,5,
5,,,

我需要行与引用匹配，但保持在同一列中，如下所示:

1,,1,
2,2,2,2
3,3,3,
4,4,,
5,,5,5

我的想法是使用 pandas 库，但我不知道如何解决这个问题，因为我对使用 python 很陌生。我使用的是python2.7。

Answer 1

所以你的问题肯定可以通过pandas解决:

代码:

# Create the sample data into a data frame
import pandas as pd
from io import StringIO
df = pd.read_csv(StringIO(u"""
    1,2,1,2
    2,3,2,5
    3,4,3,
    4,,5,
    5,,,"""), header=None, skip_blank_lines=1).fillna(0)
for column in df:
    df[column] = pd.to_numeric(df[column], downcast='integer')

# set the first column as an index
df = df.set_index([0])

# create a frame which we will build up 
results = pd.DataFrame(index=df.index)

# add each column to the datafarme indicating if the desired value is present
for col in df.columns:
    results[col] = df.index.isin(df[col])

# output the dataframe in the desired format
for idx, row in results.iterrows():
    result = '%s,%s' % (idx, ','.join(str(idx) if x else ''
                                      for x in row.values))
    print(result)

结果:

1,,1,
2,2,2,2
3,3,3,
4,4,,
5,,5,5

它是如何工作的？:

第一次接触 Panda 时可能会有点令人畏惧，即使对于熟悉 Python 的人来说也是如此，所以我将尝试逐步解决这个问题。我鼓励您做您需要做的事情来克服学习曲线，因为 pandas 对于这种数据操作来说非常强大。

将数据放入框架中:

第一段代码除了将示例数据放入 pandas.DataFrame 之外什么也不做。未指定您的数据格式，因此我假设您可以将其放入框架中，或者如果您无法将其放入框架中，则会在此处询问另一个关于将数据放入框架中的问题。

import pandas as pd
from io import StringIO
df = pd.read_csv(StringIO(u"""
    1,2,1,2
    2,3,2,5
    3,4,3,
    4,,5,
    5,,,"""), header=None, skip_blank_lines=1).fillna(0)
for column in df:
    df[column] = pd.to_numeric(df[column], downcast='integer')    

# set the first column as an index
df = df.set_index([0])

构建结果框架:

从只是索引的结果帧开始

# create a frame which we will build up 
results = pd.DataFrame(index=df.index)

对于源数据中的每一列，查看该值是否在索引中

# add each column to the dataframe indicating if the desired value is present
for col in df.columns:
    results[col] = df.index.isin(df[col])

就是这样，用三行代码，我们就计算出了我们的结果。

输出结果:

现在迭代包含 bool 值的每一行，并以所需的格式(作为整数)输出值

# output the dataframe in the desired format
for idx, row in results.iterrows():
    result = '%s,%s' % (idx, ','.join(str(idx) if x else ''
                                      for x in row.values))
    print(result)        

这首先输出索引值，然后对于每个 True 值再次输出索引，对于 False 值输出一个空字符串。

后记:

这里有很多人比我更擅长 pandas，但由于您没有使用 pandas 关键字标记您的问题，他们可能没有注意到这个问题。但这让我可以在他们注意到之前就回答问题。 pandas 关键字很好地涵盖了格式良好的问题，因此我非常确定，如果这个答案不是最佳答案，其他人会过来并改进它。因此，将来请务必使用 pandas 标记您的问题，以获得最佳答复。

另外，你提到你是新的 python，所以我会插入一个插件来确保你使用的是一个好的 IDE。我用PyCharm ，而且它和其他优秀的 IDE 可以让 Python 的工作变得更加强大，所以我强烈推荐它们。