python - csv.reader 和 pandas 的区别 - python

Question

我正在使用 csv.reader 和 pandas 导入一个 csv 文件。但是，同一文件的行数不同。

reviews = []
openfile = open("reviews.csv", 'rb')
r = csv.reader(openfile)
for i in r:
    reviews.append(i)
openfile.close()
print len(reviews)

结果是 10,000(这是正确的值)。但是，pandas 返回不同的值。

df = pd.read_csv("reviews.csv", header=None)
df.info()

返回 9,985

有谁知道为什么这两种导入数据的方法有区别？

我刚试过这个:

reviews_df = pd.DataFrame(reviews)
reviews_df.info()

这将返回 10,000。

Answer 1

引用pandas.read_csv有一个名为 skip_blank_lines 的参数，其默认值为 True 因此除非您将其设置为 False，否则它不会读取空行。

Consider the following example, there are two blank rows:

A,B,C,D
0.07,-0.71,1.42,-0.37

0.08,0.36,0.99,0.11
1.06,1.55,-0.93,-0.90
-0.33,0.13,-0.11,0.89
1.91,-0.74,0.69,0.83
-0.28,0.14,1.28,-0.40
0.35,1.75,-1.10,1.23

-0.09,0.32,0.91,-0.08

Read it with skip_blank_lines=False:

df = pd.read_csv('test_data.csv', skip_blank_lines=False)
len(df)
10 

Read it with skip_blank_lines=True:

  df = pd.read_csv('test_data.csv', skip_blank_lines=True)
  len(df)
  8