在我的网站上，我有一个购物车页面，即:http://www.example.com/cart和另一个卡通页面:http://www.example.com/cartoons。我应该如何在我的robots.txt文件中写入以仅忽略购物车页面？购物车页面不接受URL上的结尾斜杠，所以如果我这样做:Disallow:/cart，它也会忽略/cartoon。我不知道这是否可能，它会被蜘蛛机器人正确解析，比如/cart$。我不想强制Allow:/cartoon因为可能是另一个具有相同前缀的页面。 最佳答案 在originalrobots.tx
我正在使用Heroku管道。所以当我推送我的应用程序时，它被推送到暂存应用程序https://appname.herokuapp.com/如果一切正确，我会将该应用程序推广到产品中。没有新的构建过程。这是第一次为暂存构建的应用程序。https://appname.com/问题在于，这会导致重复内容问题。网站是彼此的克隆。完全相同的。我想从Google索引和搜索引擎中排除登台应用。我想到的一种方法是使用robots.txt文件。为了让它工作，我应该这样写User-agent:*Disallow:https://appname.herokuapp.com/使用绝对路径，因为该文件将位于暂存
有人在我们的整个allow:/products/之后不小心添加了\n，弄乱了我们的robots.txt，总共大约有30.000页。错误出现在多语言网站上。这是我们的搜索控制台之一。我很快注意到错误并删除了它。我已经要求谷歌验证我的解决方案，但大约3个月后错误仍在增加。见下图:我能做些什么来加快这个过程吗？我已经开始验证了。 最佳答案 您的robots.txt无法访问。它被301重定向到https://www.unisgroup.nl/robots.txt/，这是目录，而不是文件-你看到尾部的斜杠了吗？Google正在寻找一个文件，找
我正在为我的网站制作一个robot.txt。任何人都可以告诉我我做得对吗？如果我错了，请告诉我如何以正确的形式书写。admincp、adminpp等是我的托管服务器中的文件夹:User-agent:*Disallow:/admincp/Disallow:/adminpp/Disallow:/Advertisewithus/Disallow:/ajax/Disallow:/banner/Disallow:/cont_img/Disallow:/corcel/Disallow:/css/Disallow:/fbold/Disallow:/images/Disallow:/img/Disal
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开，visitthehelpcenter.关闭9年前。我正在制作一个单页作品集，底部有一个联系表格/部分。在我的表格旁边，我列出了我可以提供的大部分服务。然而，这会产生许多相同类型的关键词，因此我开始想知道如何从搜索引擎中隐藏该部分。我的第一个想法是使用robots.txt，但如果您有更好的主意，请告诉我。谢谢
我在添加sitemap.xml时在我的Google网站站长工具中遇到了这个错误URLrestrictedbyrobots.txt在我的robots.txt中我有:User-agent:*Allow:/$Disallow:/它只是为了索引我的主页而不是所有网站。 最佳答案 为什么那里有$。为什么Disallow:/:User-agent:*Allow:/$Disallow:/只需将其更改为:User-agent:*Allow:/但是如果你只想让它索引实际的索引页，那么就把它改成这样:User-agent:*Allow:/index.p
我正在尝试将其设置为不允许www.url.com/folder，但允许www.url.com/folder/1。我的设置如下:User-agent:*Disallow:/folderAllow:/folder/*这在使用Googlerobots.txt测试器进行测试时有效，但如果我查看日志，我可以看到Googlebot访问了除/folder之外的所有url。我错过了什么吗？应该允许先行吗？ 最佳答案 我认为这个应该可行:User-agent:*Disallow:/folder/$Allow:/folder/*
我的网站中有一个secret文件夹，我不想让搜索引擎知道它。我没有将文件夹名称放在robots.txt的Disallow规则中，因为在robots.txt中写入此文件夹名称意味着告诉我的访问者有关该secret文件夹的信息。我的问题是，即使我没有向该文件夹发布任何链接，搜索引擎是否能够知道/抓取该文件夹？ 最佳答案 对所有人隐藏目录的唯一真正可靠的方法是将其置于密码之后。如果你绝对不能把它放在密码后面，一种创可贴解决方案是将文件夹命名为:http://example.com/secret-aic7bsufbi2jbqnduq2g7y
如何禁止来自单个页面的漫游器并允许抓取所有其他内容。不要出错非常重要，所以我在这里问，在其他地方找不到明确的答案。这是正确的吗？User-Agent:*Disallow:/dir/mypage.htmlAllow:/ 最佳答案 Disallow行是所有需要的。它将阻止对以“/dir/mypage.html”开头的任何内容的访问。Allow行是多余的。robots.txt的默认值为Allow:/。一般情况下，Allow不是必需的。它在那里，以便您可以覆盖对不允许的内容的访问。例如，假设您想禁止访问“/images”目录，但“publi
我刚刚更改了DNS设置，因此文件夹/forum现在是一个子域而不是子目录。如果我做一个robots.txt文件并说:User-agent:*Disallow:/forum这会禁止抓取子目录和子域吗？我想禁止抓取子目录，但允许抓取子域。注意:这是在共享主机上，因此可以访问子目录和子域。这就是我遇到这个问题的原因。那么，我怎样才能只允许抓取子域？ 最佳答案 如果你想停止抓取，这是正确的方法。但请注意:如果URL已被编入索引，则不会被删除。我更喜欢的方式是通过元标记将所有页面设置为“noindex/follow”，或者更好的是“canon
