python - 使用 Django 获取外部 URL 的标题和描述

Question

我想知道如何提取 Title和Metadescription使用其 URL 的外部站点。我找到了一些解决方案，但不适用于 django/python。

目前我的代码添加了一个到数据库的链接，我想让它在添加后转到该链接，然后使用相应的 Title 更新条目和Metadescription .

如果能够检索 og 就好了标签如 meta property="og:url .

谢谢。

Answer 1

要访问外部网站的标题或描述，您必须执行两件事。

1) 您需要获取 html 外部站点。2)您需要解析html并获取title元素和meta元素。

第一部分很简单:

import urllib2
opener = urllib2.build_opener()
external_sites_html = opener.open(external_sites_url).read()

第二部分比较困难，因为我们需要使用外部库来解析html，我喜欢一个名为BeautifulSoup的库，因为它有一个非常好的api。 (对于程序员来说很容易使用。)

from bs4 import BeautifulSoup
soup = BeautifulSoup(external_sites_html)
# Now we can get the tags of the external site from the soup variable.
title = soup.title.string

但是，重要的是要记住，外部站点在我们获取外部站点时可能只会缓慢响应，因此明智的做法是将外部站点记录在数据库中，然后将回复返回给用户。然后在其他过程中，您应该去获取 url 并将额外信息添加到数据库中。如果在回复中返回额外信息很重要，那么您无法在后台执行此操作，并且必须让用户等待。