关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题，以便用事实和引用来回答。关闭6年前。Improvethisquestion我刚刚获得了一份契约(Contract)，负责整理以前的“开发人员”留给我的一个客户的电子商务网站毒蛇巢穴。其中大约有几十个使用定制的购物车和CMS系统，这些系统过于嵌入式，无法转储并且运行良好，但迫切需要清理、重构和错误修复，因此需要相当大量的重新编码工作。作为其中的一部分，我的客户迫切希望确保他可以获得最佳的搜索引擎排名。像许多开发人员一样，我对这个想法只是点头之
在robots.txt上搜索特定信息时，我偶然发现了一个Yandexhelppage‡关于这个主题。它建议我可以使用Host指令告诉爬虫我首选的镜像域:User-Agent:*Disallow:/dir/Host:www.example.com另外，Wikipediaarticle声明Google也理解Host指令，但没有太多(即没有)信息。在robotstxt.org，我没有在Host上找到任何内容(或维基百科上所述的Crawl-delay)。是否鼓励使用Host指令？Google是否有关于此robots.txt的任何资源？与其他爬虫的兼容性如何？‡至少从2021年初开始，链接的条目
我已经阅读了一篇关于在我的ASPMVC.NET项目中忽略来自某些url的机器人的文章。在他的文章中，作者说我们应该像这样在一些关闭的Controller中添加一些Action。在此示例中，他将操作添加到家庭Controller:#region--Robots()Method--publicActionResultRobots(){Response.ContentType="text/plain";returnView();}#endregion然后我们应该用这个主体在我们的项目中添加一个Robots.cshtml文件@{Layout=null;}#robots.txtfor@this.
如果我只想让爬虫访问index.php，这行得通吗？User-agent:*Disallow:/Allow:/index.php 最佳答案 是的，它会起作用。这是来自GoogleWebmasterTool的测试结果.Urlhttp://www.example.org/index.phpGooglebotAllowedbyline3:Allow:/index.phpGooglebot-MobileAllowedbyline3:Allow:/index.php但是，请记住，如果使用此配置，您的网站主页将不会被抓取，除非使用完全限定路径访
Facebook的网络爬虫机器人是否尊重Crawl-delay:robots.txt文件中的指令？ 最佳答案 不，它不尊重robots.txt与这里的其他答案相反，facebookexternalhit的行为就像最卑鄙的爬虫。当它以疯狂的速度遍历每一个时，无论它从爬行还是从点赞按钮获得它请求的url都无关紧要。有时我们每秒会获得数百次点击，因为它几乎遍历了我们网站上的每个网址。它每次都会杀死我们的服务器。有趣的是，当这种情况发生时，我们可以看到Googlebot放慢速度并等待事情稳定下来，然后再慢慢恢复。另一方面，facebooke
我正在开发基于Angular2的网络应用程序。我使用AngularCLI生成应用程序，然后为产品构建它。我在AWSS3和Cloudfront上托管了网站。当我使用网站管理员提供的“FetchasGoogle”工具时，它只显示Loading...。Googlebot无法抓取我的网站吗？ 最佳答案 有类似的问题。我相信Google-Bot不支持现代JS。我只是激活了angular.io推荐的所有垫片，请参阅https://angular.io/docs/ts/latest/guide/browser-support.html并在脚本头中
每种语言我们都有不同的域www.abc.comwww.abc.sewww.abc.de然后我们为每个网站准备了不同的sitemap.xml。在robots.txt中，我想为每个域添加站点地图引用。是否可以在单个robots.txt中为每个域引用多个站点地图？如果有多个，它会选择哪个？ 最佳答案 在所有域重定向和www到非www重定向之后，我在.htaccess中使用以下解决方案。#RewriteURLforrobots.txtRewriteRule^robots\.txt$robots/%{HTTP_HOST}.txt[L]在您的根
我有一个可以从多个不同域访问的ASP.NETMVC4Web应用程序。该站点基于请求中的域完全本地化(在概念上类似于thisquestion)。我想包含一个robots.txt文件，我想根据域本地化robots.txt文件，但我知道在站点的文件系统目录中我只能有一个物理“robots.txt”文本文件。使用ASP.NETMVC框架在每个域的基础上实现robots.txt文件的最简单/最好的方法是什么(甚至可能)，以便相同的站点安装为每个域提供内容，但内容机器人文件的本地化取决于请求的域？ 最佳答案 这个过程相当简单:Controlle
是使用元标记*还是robots.txt文件来通知蜘蛛/爬虫包含或排除页面更好？同时使用meta标签和robots.txt有什么问题吗？*例如: 最佳答案 有一个显着差异。AccordingtoGoogle如果该页面是通过另一个站点链接到的，他们仍然会在robots.txtDENY后面索引该页面。但是，如果他们看到元标记，他们将不会:WhileGooglewon'tcrawlorindexthecontentblockedbyrobots.txt,wemightstillfindandindexadisallowedURLfromot
Google对这个元标记的评价是:Thefollowingimportantrestrictionsapply:Themetatagmayonlyappearinpageswithouthashfragments.Only"!"mayappearinthecontentfield.Themetatagmustappearintheheadofthedocument.来源:https://developers.google.com/webmasters/ajax-crawling/docs/specification?hl=fr-FR我知道只有那些不包含hashbang但仍应提供快照的页
