php - 如何使用 PHP 从 URL 获取域名？

Question

我有 2 个表(url_feed 和 clean_domains)。我正在尝试从 url_feed 复制所有数据进入clean_domains同时插入 domain来自 url专栏。

另外，它会改变 status来自 queued至 complete在url_feed将行复制到 clean_domains 之后.

这是 2 个表的样子:

url_feed

id | url                                    | matches | networks                    | status
1  | http://whatever.com/example1.php       | 5       | Facebook::Twitter Inc       | queued
2  | http://www.example.com/other-stuff.php | 2       | MySpace::Facebook::Twitter  | queued
3  | http://www.test.com/random-text        | 12      | Instagram::Twitter          | queued

clean_domains

id | domain       | url                                     | matches | networks                    | status
1  | whatever.com | http://whatever.com/example1.php        | 5       | Facebook::Twitter Inc       | queued
2  | example.com  | http://www.example.com/other-stuff.php  | 2       | MySpace::Facebook::Twitter  | queued
3  | test.com     | http://www.test.com/random-text         | 12      | Instagram::Twitter          | queued

这是我的代码:

<?php
$con=mysqli_connect("localhost","redacted","redacted","redacted");

mysqli_query($con,"INSERT INTO clean_domains
(id,domain,url,matches,networks)
  SELECT
    id,
    SUBSTRING_INDEX(REPLACE(REPLACE(REPLACE(REPLACE(url, 'http://', ''), 'https://', ''), 'http://www.', ''), 'https://www.', ''), '/', 1),
    url,
    matches,
    networks
  FROM url_feed
  WHERE status = 'queued'");

mysqli_query($con,"UPDATE url_feed
SET    status = 'complete'
WHERE status = 'queued' AND
id IN (SELECT id
FROM   clean_domains)");

mysqli_close($con);
?>

我的代码适用于 99% 的域，但我不太清楚如何让它完美地工作。

这是它似乎无法完美运行的 3 次:

1. 冒号 - http://example.com:88/testing - 这样的 URL 的域输出为 example.com:88而我希望它是 example.com .

2. IP 地址 - http://188.123.44.12/test.php - 对于 IP，它似乎正确地将 IP 地址输入到数据库中。在示例中，它将输入 188.123.44.12作为 domain - 但我不想那样。我只想要域名，所以如果它是一个IP，它不应该被复制过来。它应该标记为 complete在url_feed并移至下一行。

3. 子域 - http://subdomain.whatever.example.com/test.html - 这正在输入 domain列为 subdomain.whatever.example.com当我想要它是example.com相反。

我能想到的验证输入的域是否真的是域的唯一方法是对每个域运行 whois 查询。如果它没有作为有效的返回，它会删除第一个文本 block 。例如，它不会得到 subdomain.whatever.example.com 的有效结果。所以它会尝试 whatever.example.com然后它会尝试 example.com直到结果有效或跳过它并标记 status列为 complete .

关于我可以更改哪些内容以使其正常工作的任何想法？

这是我现在所处的位置:

$_url_string = 'https://testfewfew.dsd.google.co.uk/testing/whatever';
preg_match("/[a-z0-9\-]{1,63}\.[a-z\.]{2,6}$/", parse_url($_url_string, PHP_URL_HOST), $_domain_tld);
echo $_domain_tld[0];

Answer 1

只需使用内置的 php 函数 parse_url

您可以像这样从主机名中过滤子域

$url = 'http://subdomain.whatever.example.com/test.html';

$data = parse_url($url);

$host = $data['host'];

$hostname = explode(".", $host);
$domain = $hostname[count($hostname)-2] . "." . $hostname[count($hostname)-1];

print $domain;

会输出

example.com

如果你有一个带有端口的url，parse_url 将很容易地处理它，例如

$url = 'http://example.com:88/testing';

$data = parse_url($url);

print_r($data);

会输出

Array
(
    [scheme] => http
    [host] => example.com
    [port] => 88
    [path] => /testing
)

下面检查主机名是否是有效的 IP 地址

$url = 'http://188.123.44.12/test.php';

$data = parse_url($url);

print_r($data);

$hostIsIpAddress = ip2long($data['host']) !== false;

var_dump($hostIsIpAddress);

分别输出bool(true)或bool(false)