个人中心
文章发布
退出
作者热门文章
- xml - AJAX/Jquery XML 解析
- 具有多重继承的 XML 模式
- .net - 枚举序列化 Json 与 XML
- XML 简单类型、简单内容、复杂类型、复杂内容
24
4
我在我的 ASP.NET MVC 3 网站上有几个页面(这里的技术并不重要)，我在这些页面上呈现了 <script> 中的某些 URL。页面上的标记，以便我的 JavaScript(存储在外部文件中)可以对服务器执行 AJAX 调用。
像这样:
<html>
...
<body>
...
<script type="text/javascript">
$(function() {
myapp.paths.someUrl = '/blah/foo'; // not hardcoded in reality, but N/A here
});
</script>
</body>
</html>
现在在服务器端，这些 URL 中的大多数都受到属性的保护，声明:
a) 它们只能通过 AJAX 访问(例如 XmlHttpRequest)
b) 它们只能通过 HTTP POST 访问(因为它返回 JSON - 安全性)
问题是，出于某种原因，机器人正在抓取这些 URL，并尝试对它们执行 HTTP GET，导致 404。
我的印象是机器人不应该尝试抓取 javascript。那么他们是如何获得这些 URL 的呢？
我有什么办法可以阻止他们这样做吗？
我不能真正将这些 URL 变量移动到外部文件，因为正如上面代码中的注释所建议的，我使用服务器代码呈现 URL(必须在实际页面上完成)。
我基本上已经添加了路由到我的网站到 HTTP 410(消失)这些 URL(当它不是 AJAX POST 时)。这真的很烦人，因为它向我已经错综复杂的路由表添加了另一条路由。
有什么提示/建议吗？
最佳答案
通过 robots.txt 中的前缀禁止 URL
关于javascript - 如何阻止机器人抓取我基于 AJAX 的 URL？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/9864887/
24
4
0
假设我拥有域 mydomain.com，并且我在服务器上有一个 Web 应用程序，网址为 http://99.99.99.99:1234/MyApplication/startpage.somethi
我正在尝试通过以下方式更新已解析的 URL: u, _ := url.Parse(s) if u.Scheme == "" { u.Scheme = "https" } if u.Path =
如何将 www.somesite.com/api(.*) 映射到 www.somesite.com/$1:9000？ (我需要将/api 映射到运行 @ 端口 9000 的 Play 框架应用程序)
我有一个资源结构，如航类 > 座位 > 预订，所以预订属于某个航类的某个座位: http://example.com/jdf_3prGPS4/1/jMBDy46PbNc
我想知道以下网址是否有效。 路径中的点，在主机之后: http://www.example.com/v.b.w..com 主机中的点，作为子域的一部分: http://v.b.w..co.manufa
我有两个域 - crmpicco.co.uk 和 ayrshireminis.com - 如果我浏览到: www.crmpicco.co.uk/mini/new我希望能够重定向到 www.ayrshi
我正在尝试使用 URL 重写和应用程序请求路由来重写到外部 URL。我设置了以下规则: 在规则中，“patternToMatch”是我试
我已经安装了带有 SharePoint 和 Url Rewrite 模块的 IIS 7.0。 是以下句子还是我配置错误才能看到这个结果？ Url Redirect 可以将 url 重定向到任何内部(在
我想知道，为了获得良好的 SEO，您必须在 URL 中使用自然语言。您知道字符中单词或短语的最大大小吗？例如: www.me.com/this-is-a-really-long-url.htm 我问这
有人知道在 SEO 友好 URL 中使用逗号有什么问题吗？我正在使用一些在其 SEO 友好 URL 中使用大量逗号的软件；但我 100% 肯定我见过一些程序/平台无法正确识别 URL 并在第一个逗号后
我有一个网站，我正在为所有链接使用干净的 URL。我想知道对于简短的基本 URL 与较长的描述性 URL 有何看法。 例如，如果我的网站是关于 Georgia Bulldog 足球新闻的，那么哪个网站
我正在编写一个类似于 tinyurl 的 URL 缩短器，我想知道如何跟踪已经使用我的服务缩短的 URL？例如，tinyurl 为相同的长 URL 生成相同的小 URL，而不管是谁创建的。如
我是 magento 的新手。我正在开发一个模块。为此，我有一些要显示链接的 css 和 js 文件。我目前有类似 的链接 getSkinUrl('module_tryouts/css/jquery.
我想基于 HTTP_URL 重写 URL 以重定向到不同的端口，同时保留其余的 URL 和查询字符串(如果指定)。例如， http://host/john/page.aspx 应该重定向到 http:
我遇到了以下问题: 我的 Grails (2.2.0) 应用程序具有以下 URL 映射: "/api/clientQuote/$labcode/$cliCode/$quoCode"(controlle
我有一个很长的 URL，它不适合 URL 字段。它一直在修剪。该怎么办？有没有办法增加 SharePoint 2010 中的 URL 字段字符限制？ 或者解决方法来容纳长 URL。例如，以下 URL
关闭。这个问题是off-topic .它目前不接受答案。 想改进这个问题？ Update the question所以它是on-topic对于堆栈溢出。 9年前关闭。 Improve this que
我们从客户以前的开发人员那里继承了相当多的 Google Apps 脚本项目。 Apps 脚本通过嵌入式小部件部署在 Google 网站 (sites.google.com) 的各个页面上。每当我们需
我正在编写一些文档，但遇到了一些词汇问题: http://www.example.com/en/public/img/logo.gif 被称为“绝对”网址，对吗？ ../../public/img/l
我们从客户以前的开发人员那里继承了相当多的 Google Apps 脚本项目。 Apps 脚本通过嵌入式小部件部署在 Google 网站 (sites.google.com) 的各个页面上。每当我们需
我是一名优秀的程序员,十分优秀！