javascript - 我要查询whitepages.com 4000次，如何保存结果？

Question

我有一份包含 4,000 家企业的老客户名单。我想确定与每个列表关联的电话号码是否仍在使用(因此该业务可能仍在营业)。我可以将每个数字放在 whitepages.com 中，然后一个一个地检查它们……但我想自动化结果。我看过他们的 API，但无法消化它。我可以形成正确的查询 URL，但尝试 cURL -O 之类的东西不起作用。

我可以访问 Mac 工具、Unix 工具，并且可以尝试各种 javascript 东西，如果有人能给我指出正确的方向……甚至会付钱。帮忙？

谢谢

Answer 1

根据 Pekka 的评论，大多数拥有公共(public) API 的公司都不允许在其服务条款中进行抓取，因此很有可能向他们的网站执行 4k GET 请求会将您标记为恶意用户并将您列入黑名单!

他们的 API 是 RESTful 的，看起来很简单并且有很好的文档记录，一定要尝试让它工作而不是走另一条路。获得 API key 后的第一个良好尝试是编写一个 UNIX 脚本来执行反向电话号码查找。例如，假设您在一个平面文本文件中有所有 4000 个 10 位电话号码，每行一个，没有格式，您可以编写一个简单的 bash 脚本，如下所示:

#!/bin/bash
INPUT_FILE=phone_numbers.txt 
OUTPUT_DIR=output 
API_KEY='MyWhitePages.comApiKey' 
BASE_URL='http://api.whitepages.com' 

# Perform a reverse lookup on each phone number in the input file. 
for PHONE in $(cat $INPUT_FILE); do 
  URL="${BASE_URL}/reverse_phone/1.0/?phone=${PHONE};api_key=${API_KEY}" 
  curl $URL > "${OUTPUT}/result-${PHONE}.xml"
done 

检索到所有结果后，您可以解析 XML 以分析匹配的企业，或者如果您只对存在感兴趣，您可以简单地 grep 每个输出文件以获取字符串 The search did not find结果，来自 WhitePages.com API，表示不匹配。如果 grep 成功，则该企业不存在(或更改了其电话号码)，否则它可能仍在附近(或存在具有该电话号码的另一家企业)。