有人在我们的整个allow:/products/之后不小心添加了\n，弄乱了我们的robots.txt，总共大约有30.000页。错误出现在多语言网站上。这是我们的搜索控制台之一。我很快注意到错误并删除了它。我已经要求谷歌验证我的解决方案，但大约3个月后错误仍在增加。见下图:我能做些什么来加快这个过程吗？我已经开始验证了。 最佳答案 您的robots.txt无法访问。它被301重定向到https://www.unisgroup.nl/robots.txt/，这是目录，而不是文件-你看到尾部的斜杠了吗？Google正在寻找一个文件，找
我正在为我的网站制作一个robot.txt。任何人都可以告诉我我做得对吗？如果我错了，请告诉我如何以正确的形式书写。admincp、adminpp等是我的托管服务器中的文件夹:User-agent:*Disallow:/admincp/Disallow:/adminpp/Disallow:/Advertisewithus/Disallow:/ajax/Disallow:/banner/Disallow:/cont_img/Disallow:/corcel/Disallow:/css/Disallow:/fbold/Disallow:/images/Disallow:/img/Disal
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开，visitthehelpcenter.关闭9年前。我正在制作一个单页作品集，底部有一个联系表格/部分。在我的表格旁边，我列出了我可以提供的大部分服务。然而，这会产生许多相同类型的关键词，因此我开始想知道如何从搜索引擎中隐藏该部分。我的第一个想法是使用robots.txt，但如果您有更好的主意，请告诉我。谢谢
我在添加sitemap.xml时在我的Google网站站长工具中遇到了这个错误URLrestrictedbyrobots.txt在我的robots.txt中我有:User-agent:*Allow:/$Disallow:/它只是为了索引我的主页而不是所有网站。 最佳答案 为什么那里有$。为什么Disallow:/:User-agent:*Allow:/$Disallow:/只需将其更改为:User-agent:*Allow:/但是如果你只想让它索引实际的索引页，那么就把它改成这样:User-agent:*Allow:/index.p
我正在尝试将其设置为不允许www.url.com/folder，但允许www.url.com/folder/1。我的设置如下:User-agent:*Disallow:/folderAllow:/folder/*这在使用Googlerobots.txt测试器进行测试时有效，但如果我查看日志，我可以看到Googlebot访问了除/folder之外的所有url。我错过了什么吗？应该允许先行吗？ 最佳答案 我认为这个应该可行:User-agent:*Disallow:/folder/$Allow:/folder/*
我的网站中有一个secret文件夹，我不想让搜索引擎知道它。我没有将文件夹名称放在robots.txt的Disallow规则中，因为在robots.txt中写入此文件夹名称意味着告诉我的访问者有关该secret文件夹的信息。我的问题是，即使我没有向该文件夹发布任何链接，搜索引擎是否能够知道/抓取该文件夹？ 最佳答案 对所有人隐藏目录的唯一真正可靠的方法是将其置于密码之后。如果你绝对不能把它放在密码后面，一种创可贴解决方案是将文件夹命名为:http://example.com/secret-aic7bsufbi2jbqnduq2g7y
如何禁止来自单个页面的漫游器并允许抓取所有其他内容。不要出错非常重要，所以我在这里问，在其他地方找不到明确的答案。这是正确的吗？User-Agent:*Disallow:/dir/mypage.htmlAllow:/ 最佳答案 Disallow行是所有需要的。它将阻止对以“/dir/mypage.html”开头的任何内容的访问。Allow行是多余的。robots.txt的默认值为Allow:/。一般情况下，Allow不是必需的。它在那里，以便您可以覆盖对不允许的内容的访问。例如，假设您想禁止访问“/images”目录，但“publi
我刚刚更改了DNS设置，因此文件夹/forum现在是一个子域而不是子目录。如果我做一个robots.txt文件并说:User-agent:*Disallow:/forum这会禁止抓取子目录和子域吗？我想禁止抓取子目录，但允许抓取子域。注意:这是在共享主机上，因此可以访问子目录和子域。这就是我遇到这个问题的原因。那么，我怎样才能只允许抓取子域？ 最佳答案 如果你想停止抓取，这是正确的方法。但请注意:如果URL已被编入索引，则不会被删除。我更喜欢的方式是通过元标记将所有页面设置为“noindex/follow”，或者更好的是“canon
我们有一个大约有15000页的应用程序。为了更好的SEO原因，我们不得不更改URL。谷歌之前已经抓取了所有这些页面，并且由于更改，我们在网站管理员上看到了很多重复的标题/元描述。我们对谷歌的印象下降了，我们相信这就是原因。如果我的假设不正确，请纠正我。现在我们无法使用301重定向为URL的更改编写正则表达式，因为更改就是这样。唯一的方法是为单个URL编写301重定向，这对于10000个URL是不可行的。现在我们可以使用带有NOINDEX的机器人元标记吗？我的问题基本上是，如果我写一个NOINDEX元标记，Google会删除已经编入索引的URL吗？如果不是，还有哪些其他方法可以从goog
在robot.txt文件中，我放置了一个URL/custompages/*并且googlebot不应抓取与“/custompages/”匹配的页面。但是当我查看网站管理员时，我仍然可以从这些链接中看到错误消息。User-agent:*Disallow:/search/application/*Disallow:/custompages/*上面是我的robot.txt文件。在网站管理员上，我可以看到Googlebot无法访问此URL的内容，因为服务器在尝试处理请求时出现内部错误。这些错误往往与服务器本身有关，而不是与请求有关。对于网址custompages/savesearch?alid
