python - Pandas :从数据框中删除以字母开头的行并保存 CSV

Question

这是我正在使用的示例 CSV

---

这是我的代码:

import numpy as np
import pandas as pd

def deleteSearchTerm(inputFile):
#(1) Open the file
    df = pd.read_csv(inputFile)

#(2) Filter every row where the first letter is 's' from search term
    df = df[df['productOMS'].str.contains('^[a-z]+')]
        #REGEX to filter anything that would ^ (start with) a letter

inputFile = inputFile
deleteSearchTerm(inputFile)

---

我想做的事情:

ProductOMS 列中以字母开头的任何内容都是我不想要的行。所以我试图根据条件删除它们，我也尝试使用正则表达式，这样我对它们会更舒服一些。

我试着这样做:

df = df[df['productOMS'].str.contains('^[a-z]+')]

如果任何行以任何小写字母开头，我会删除它(我认为)

如果我需要在我的帖子中添加任何内容，请告诉我!

编辑:

这是我正在使用的文件副本的链接。

https://drive.google.com/file/d/1Dsw2Ana3WVIheNT43Ad4Dv6C8AIbvAlJ/view?usp=sharing

另一个编辑:这是我正在使用的数据框

productNum,ProductOMS,productPrice
2463448,1002623072,419.95,
2463413,1002622872,289.95,
2463430,1002622974,309.95,
2463419,1002622908,329.95,
2463434,search?searchTerm=2463434,,
2463423,1002622932,469.95,

新编辑:这是一些使用答案的更新代码

import numpy as np
import pandas as pd

def deleteSearchTerm(inputFile):
#(1) Open the file

    df = pd.read_csv(inputFile)
    print(df)

#(2) Filter every row where the first letter is 's' from search term
    df = df[~pd.to_numeric(df['ProductOMS'],errors='coerce').isnull()]

    print(df)


inputFile = inputFile
deleteSearchTerm(inputFile)

当我运行此代码并打印出数据帧时，这会删除以“搜索”开头的行。但是我的 CSV 文件没有更新

Answer 1

这里的问题是您很可能要处理混合数据类型。

如果你只想要数值，你可以使用 pd.to_numeric

df = pd.DataFrame({'A' : [0,1,2,3,'a12351','123a6']})

df[~pd.to_numeric(df['A'],errors='coerce').isnull()]

   A
0  0
1  1
2  2
3  3

但是如果你只想测试第一个字母那么:

df[~df['A'].astype(str).str.contains('^[a-z]')==True]

       A
0      0
1      1
2      2
3      3
5  123a6

编辑，似乎第一个解决方案有效，但您需要将其写回您的 csv？

您需要使用to_csv 方法，我建议您阅读 10 分钟的 pandas here

至于你的功能，让我们稍微编辑一下以获取源 csv 文件并抛出编辑后的版本，它会将文件保存到添加了 _edited 的相同位置。随意编辑/更改。

from pathlib import Path

def delete_search_term(input_file, column):
    """
    Takes in a file and removes any strings from a given column
    input_file : path to your file.
    column : column with strings that you want to remove.

    """
    file_path = Path(input_file)

    if not file_path.is_file():
        raise Exception('This file path is not valid')

    df = pd.read_csv(input_file)

    #(2) Filter every row where the first letter is 's' from search term
    df = df[~pd.to_numeric(df[column],errors='coerce').isnull()]
    print(f"Creating file as:\n{file_path.parent.joinpath(f'{file_path.stem}_edited.csv')}")
    return df.to_csv(file_path.parent.joinpath(f"{file_path.stem}_edited.csv"),index=False)

---

解决方案:

import numpy as np
import pandas as pd

def deleteSearchTerm(inputFile):
    df = pd.read_csv(inputFile)
    print(df)

#(2) Filter every row where the first letter is 's' from search term
    df = df[~pd.to_numeric(df['ProductOMS'],errors='coerce').isnull()]

    print(df)
    return df.to_csv(inputFile)


inputFile = filePath
inputFile = deleteSearchTerm(inputFile)