关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭10年前。Improvethisquestionrobots.txt应该放在哪里？domainname.com/robots.txt或domainname/public_html/robots.txt我将文件放在domainname.com/robots.txt中，但是当我在浏览器中输入时它没有打开。alttexthttp://shup.com/Shup/358900/11056202047-My-Desktop.png
我不希望任何搜索引擎将我网站的大部分内容编入索引。不过，我确实希望搜索引擎为2个文件夹(及其子文件夹)编制索引。这是我设置的，但我认为它不起作用，我在Google中看到我想隐藏的页面:这是我的robots.txtUser-agent:*Allow:/archive/Allow:/lsic/User-agent:*Disallow:/禁止除2以外的所有文件夹的正确方法是什么？ 最佳答案 我在这个论坛上给出了关于这个的教程here.而在维基百科here基本上第一个匹配的robots.txt模式总是获胜:User-agent:*Allow
在robots.txt上搜索特定信息时，我偶然发现了一个Yandexhelppage‡关于这个主题。它建议我可以使用Host指令告诉爬虫我首选的镜像域:User-Agent:*Disallow:/dir/Host:www.example.com另外，Wikipediaarticle声明Google也理解Host指令，但没有太多(即没有)信息。在robotstxt.org，我没有在Host上找到任何内容(或维基百科上所述的Crawl-delay)。是否鼓励使用Host指令？Google是否有关于此robots.txt的任何资源？与其他爬虫的兼容性如何？‡至少从2021年初开始，链接的条目
我已经阅读了一篇关于在我的ASPMVC.NET项目中忽略来自某些url的机器人的文章。在他的文章中，作者说我们应该像这样在一些关闭的Controller中添加一些Action。在此示例中，他将操作添加到家庭Controller:#region--Robots()Method--publicActionResultRobots(){Response.ContentType="text/plain";returnView();}#endregion然后我们应该用这个主体在我们的项目中添加一个Robots.cshtml文件@{Layout=null;}#robots.txtfor@this.
我正在创建一个包含文章的动态网站。每篇文章都有一个标题，比如“一个人如何吃掉一只狗并与之共存？”，还有一些我现在称之为“URL友好标题”的东西，比如“eating-a-dog”。我正在为“URL友好标题”寻找一个更好的词，因为它太啰嗦了。Wordpress称它们为“PostSlug”，但我非常不喜欢这样。这些东西的好名字是什么？ 最佳答案 很抱歉，“鼻涕虫”似乎确实是标准术语。Hereis有点etymology在术语上，它似乎来自(oldschool，print)newsbusiness.
如果我只想让爬虫访问index.php，这行得通吗？User-agent:*Disallow:/Allow:/index.php 最佳答案 是的，它会起作用。这是来自GoogleWebmasterTool的测试结果.Urlhttp://www.example.org/index.phpGooglebotAllowedbyline3:Allow:/index.phpGooglebot-MobileAllowedbyline3:Allow:/index.php但是，请记住，如果使用此配置，您的网站主页将不会被抓取，除非使用完全限定路径访
Facebook的网络爬虫机器人是否尊重Crawl-delay:robots.txt文件中的指令？ 最佳答案 不，它不尊重robots.txt与这里的其他答案相反，facebookexternalhit的行为就像最卑鄙的爬虫。当它以疯狂的速度遍历每一个时，无论它从爬行还是从点赞按钮获得它请求的url都无关紧要。有时我们每秒会获得数百次点击，因为它几乎遍历了我们网站上的每个网址。它每次都会杀死我们的服务器。有趣的是，当这种情况发生时，我们可以看到Googlebot放慢速度并等待事情稳定下来，然后再慢慢恢复。另一方面，facebooke
每种语言我们都有不同的域www.abc.comwww.abc.sewww.abc.de然后我们为每个网站准备了不同的sitemap.xml。在robots.txt中，我想为每个域添加站点地图引用。是否可以在单个robots.txt中为每个域引用多个站点地图？如果有多个，它会选择哪个？ 最佳答案 在所有域重定向和www到非www重定向之后，我在.htaccess中使用以下解决方案。#RewriteURLforrobots.txtRewriteRule^robots\.txt$robots/%{HTTP_HOST}.txt[L]在您的根
我有一个可以从多个不同域访问的ASP.NETMVC4Web应用程序。该站点基于请求中的域完全本地化(在概念上类似于thisquestion)。我想包含一个robots.txt文件，我想根据域本地化robots.txt文件，但我知道在站点的文件系统目录中我只能有一个物理“robots.txt”文本文件。使用ASP.NETMVC框架在每个域的基础上实现robots.txt文件的最简单/最好的方法是什么(甚至可能)，以便相同的站点安装为每个域提供内容，但内容机器人文件的本地化取决于请求的域？ 最佳答案 这个过程相当简单:Controlle
是使用元标记*还是robots.txt文件来通知蜘蛛/爬虫包含或排除页面更好？同时使用meta标签和robots.txt有什么问题吗？*例如: 最佳答案 有一个显着差异。AccordingtoGoogle如果该页面是通过另一个站点链接到的，他们仍然会在robots.txtDENY后面索引该页面。但是，如果他们看到元标记，他们将不会:WhileGooglewon'tcrawlorindexthecontentblockedbyrobots.txt,wemightstillfindandindexadisallowedURLfromot
