python - Selenium 未加载 TikTok 页面

Question

我正在使用 selenium 和 scrapy 实现 TikTok 爬虫

start_urls = ['https://www.tiktok.com/trending']
....
def parse(self, response):
    options = webdriver.ChromeOptions()
    from fake_useragent import UserAgent
    ua = UserAgent()
    user_agent = ua.random
    options.add_argument(f'user-agent={user_agent}')
    options.add_argument('window-size=800x841')
    driver = webdriver.Chrome(chrome_options=options)
    driver.get(response.url)

爬虫打开 Chrome，但不加载视频。
Image loading

使用 Firefox 也会发生同样的问题
No loading page using Firefox

使用 Selenium 的简单脚本也有同样的问题

from selenium import webdriver
import time


driver = webdriver.Firefox()
driver.get("https://www.tiktok.com/trending")
time.sleep(10)
driver.close()

driver = webdriver.Chrome()
driver.get("https://www.tiktok.com/trending")
time.sleep(10)
driver.close()

Answer 1

您是否尝试在 selenium 浏览器窗口中进一步导航？如果 错误 404 出现在以下网站上，我有一个对我有用的解决方案:

我只是将我的用户代理更改为“Naverbot”，这是 Tik Tok 的 robots.txt 文件“允许”的

( Robots.txt )

更改后，所有网站和视频都正确加载。

如果您想添加轮换，则在“允许”段下列出的其他用户代理也应该可以使用。