php - 谷歌分析和curl

Question

我正在使用 CURL 从网站上抓取数据。我需要使用 CURL 废弃这些 40k 页面。

在这里，我想知道 Google Analytics(分析)是否会在网站所有者 Analytics 帐户中显示此流量？

Answer 1

Google Analytics(分析)的工作原理是在 javascript 中创建 XHR 请求。这就是为什么您传统上会在 HTML 文件的末尾或开头看到经典脚本标记。

<script>
    (function (i, s, o, g, r, a, m) {
        i['GoogleAnalyticsObject'] = r; i[r] = i[r] || function () { (i[r].q = i[r].q || []).push(arguments) }, i[r].l = 1 * new Date(); a = s.createElement(o),
        m = s.getElementsByTagName(o)[0]; a.async = 1; a.src = g; m.parentNode.insertBefore(a, m);
    })(window, document, 'script', '//www.google-analytics.com/analytics.js', 'ga');
    ga('create', 'UA-5620270-1');        
    ga('set', 'dimension1', '1452546');         
    ga('set', 'dimension2', '|php|curl|google-analytics|');         
    ga('send', 'pageview');
    var _qevents = _qevents || [],
        _comscore = _comscore || [];
    _qevents.push({ qacct: "p-c1rF4kxgLUzNc" });
</script>       

通过 curl 网站，您不会就这段特定的代码向网站管理员发出警报，因为没有任何内容会运行 JavaScript...

但是

如果网站管理员正在实现Google Analytics，这完全有可能会显示在谷歌分析上。服务器端。这不太可能被完成。我个人从未听说过它。如果您担心被隐秘(我不会追究原因)，那么请注意，Google Analytics 并不是唯一的跟踪形式。如果我收到异常流量，我会经常引用我的 nginx 日志来检查哪些机器人正在访问我的网站。 Loggly 和 New Relic 等服务很受欢迎，并且偶尔会实现定制解决方案(取决于公司的规模)。如果您积极抓取此网站，您的 IP 很可能会被列入黑名单。

注意:对于 Stackoverflow 来说这不是一个好问题。为什么不看看其他一些 Stack Exchange 站点，比如 webmasters ？