Python pandas如何按行扫描包含的字符串？

Question

如何扫描 pandas 数据帧行是否包含某个子字符串？

例如，我有一个包含 11 列的数据框所有列都包含名称

ID    name1     name2       name3      ...    name10
-------------------------------------------------------
AA    AA_balls  AA_cakee1  AA_lavender ...   AA_purple
AD    AD_cakee  AD_cats    AD_webss    ...   AD_ballss
CS    CS_cakee  CS_cats    CS_webss    ...   CS_purble
.
.
.

我想获取数据框中包含“球”的行并获取 ID

因此结果将是 ID 'AA' 和 ID 'AD'，因为 AA_balls 和 AD_ballss 位于行中。

我在谷歌上搜索过，但似乎没有具体的结果。人们通常会询问有关在特定列而不是所有列(单行)中搜索子字符串的问题

df[df["col_name"].str.contains("ball")]

<小时/>

我想到的方法如下，时间不多的可以跳过:

(1) 循环遍历各列

for col_name in col_names:
     df.append(df[df[col_name].str.contains('ball')])

然后删除具有相同 ID 值的重复行但这种方法会很慢

(2) 通过将 name2- name10 列附加到一列中，将数据框创建为 2 列数据框，并使用 df[df["concat_col"].str.contains("ball")]["ID] 获取ID 并删除重复项

ID  concat_col   
AA    AA_balls 
AA    AA_cakeee
AA    AA_lavender
AA    AA_purple
 .
 .
 .
CS   CS_purble

(3) 使用像(2)一样的数据框来制作字典哪里

 dict[df["concat_col"].value] = df["ID"]

然后获取

[value for key, value in programs.items() if 'ball' in key()]

但在这种方法中我需要循环遍历字典并变得缓慢

如果有一种方法可以让我在没有这些过程的情况下更快地应用，我更愿意这样做。如果有人知道这件事的话如果您能告诉我，我将不胜感激:)谢谢!

Answer 1

一个想法是使用melt:

df = df.melt('ID')

a = df.loc[df['value'].str.contains('ball'), 'ID']
print (a)
0     AA
10    AD
Name: ID, dtype: object

另一个:

df = df.set_index('ID')
a = df.index[df.applymap(lambda x: 'ball' in x).any(axis=1)]

或者:

mask = np.logical_or.reduce([df[x].str.contains('ball', regex=False) for x in df.columns])
a = df.loc[, 'ID']

时间:

np.random.seed(145)
L = list('abcdefgh')
df = pd.DataFrame(np.random.choice(L, size=(4000, 10)))
df.insert(0, 'ID', np.arange(4000).astype(str))
a = np.random.randint(4000, size=15)
b = np.random.randint(1, 10, size=15)
for i, j in zip(a,b):
    df.iloc[i, j] = 'AB_ball_DE'
#print (df)


In [85]: %%timeit
    ...: df1 = df.melt('ID')
    ...: a = df1.loc[df1['value'].str.contains('ball'), 'ID']
    ...: 
10 loops, best of 3: 24.3 ms per loop

In [86]: %%timeit
    ...: df.loc[np.logical_or.reduce([df[x].str.contains('ball', regex=False) for x in df.columns]), 'ID']
    ...: 
100 loops, best of 3: 12.8 ms per loop

In [87]: %%timeit
    ...: df1 = df.set_index('ID')
    ...: df1.index[df1.applymap(lambda x: 'ball' in x).any(axis=1)]
    ...: 
100 loops, best of 3: 11.1 ms per loop