python - 交叉检查丢失的数据 - 丢失数据，但不是真的？

Question

我已经解决这个问题很长一段时间了，我正在寻求帮助。我一直在处理来自 SEC EDGAR 的数据，其中我成功下载了 CIK 编号、日期、公司名称以及每个公司年度报告的 ftp 路径。总而言之，我应该下载 7,000 行。

我在 Python 中运行代码来下载这些文本文件(通过读取 ftp 路径)并将它们保存在本地计算机上。这些文件的名称等于 CIK 编号、日期和公司名称，并用“-”分隔。

此后，我写了以下内容，以便交叉检查我是否已下载所有 7,000 个文本文件:

import os
import csv

tenk_path = "D:/10ks/1 download/"

arr = os.listdir(tenk_path)

csvfile = "data.csv"

with open(csvfile, "a", newline="") as fp:
    wr = csv.writer(fp, dialect='excel')
    wr.writerow(['cik', 'name', 'year', 'unique_key'])

for name in arr:
    main_name = name.split("-")
    unique_key = str(main_name[0])+str(main_name[-1])
    csvRow = [main_name[0],
              main_name[1],
              main_name[-1],
              unique_key]
    with open(csvfile, "a", newline="") as fp:
        wr = csv.writer(fp, dialect='excel')
        wr.writerow(csvRow)
    print(name)

然后，我连接(在 Excel 中)CIK 和日期(年份)，这对于所有公司来说都是唯一的。然后，我使用 =TRIM 确保没有空格，并通过 =VALUE 将文本字符串转换为数字。

通过这样做，我将 CIK 编号和我应该下载的文件的年份的串联与我确实下载的文件 (6,994) 的串联相匹配。通过这样做，我发现我找到了所有 7,000 个匹配项 - 这在我看来完全没有意义？我已经确保没有路径等是重复的，所以不可能是这样。

有人可以帮忙吗？数据可以在这里找到:

https://ufile.io/rhuv2

Answer 1

我一开始就审查了所有重复内容，这一点有点快。我通过强制 Excel 仅基于串联进行过滤来解决这个问题。然而，后来我注意到一些 ftp 路径是重复的 - 因此 SEC 的 EDGAR 部分出现错误。