关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭9年前。Improvethisquestion我的暂存站点显示在搜索结果中，即使我已指定不希望该站点被抓取。这是暂存站点的robots.txt文件的内容:User-agent:Mozilla/4.0(compatible;ISYSWebSpider9)Disallow:User-agent:*Disallow:/我这里有什么地方做错了吗？

robots.txt是否接受正则表达式？我有很多这种格式的URL:https://example.com/view/99/title-sample-textID----------------------^Title-----------------------------^我用过这个:Disallow:/view但看起来这不起作用，因为google索引了更多页面。所以我想用正则表达式来做这个，像这样:Disallow:/view/([0-9]+)/([^/]*)但是这种格式是否正确或在robots.txt中有效？ 最佳答案 您可以

如下图所示GoogleWebMasterToolsrobots.txtTester告诉我9个错误，但我不知道如何解决它，问题是什么？请帮我弄清楚 最佳答案 这是一个有效的robots.txt-但你有一个UTF-8BOM(\xef\xbb\xbf)在文本文件的开头。这就是为什么第一行的“用户”旁边有一个红点。这个标记告诉浏览器和文本编辑器将文件解释为UTF-8，而robots.txt应该只使用ASCII字符。将您的文本文件转换为ASCII，错误就会消失。或者复制红点后的所有内容，然后再次尝试粘贴。我在在线版本上测试了这个，这是从字节形

我最近使用wordpress插件编辑了我网站中的robots.txt文件。然而，由于我这样做了，谷歌似乎已经从他们的搜索页面中删除了我的网站。如果我能就为什么会这样以及可能的解决方案获得专家意见，我将不胜感激。我最初这样做是为了通过限制google访问的页面来提高我的搜索排名。这是我在wordpress中的robots.txt文件:User-agent:*Disallow:/cgi-binDisallow:/wp-adminDisallow:/wp-includesDisallow:/wp-content/pluginsDisallow:/wp-content/cacheDisallo

看来我们很快就要开始对我们的网络服务器进行负载平衡了。我们有一个动态编辑robots.txt的功能请求，这对一台主机来说不是问题——但是一旦我们启动并运行负载均衡器——听起来我必须将文件scp到另一台主机主持人。这听起来非常“糟糕”。你会如何处理这种情况？我已经让客户编辑元标记“robots”，(imo)应该有效地执行他希望从robots.txt编辑中完成的相同操作，但我真的不太了解SEO。也许有一种完全不同的处理方式？更新看起来我们暂时将其存储在s3中并在前端进行内存缓存...我们现在是怎么做的所以我们正在使用merb..我像这样映射到我们的robots.txt的路由:match('

我已经在我的urlhttp://watchmariyaanmovieonline.appspot.com/robots.txt中上传了robots.txt，但是当我使用googlewebmaster并为我的主页做Fetchasgoogle时http://watchmariyaanmovieonline.appspot.com/我收到错误消息Unreachablerobots.txt 最佳答案 您的robots.txt内容有一个空的Disallow，因此您会收到该错误。User-agent:*Disallow:Disallow:/cg

之前，我阻止了搜索引擎机器人以防止使用robots.txt文件抓取我的网站，但现在我想取消阻止它们。我更新了robots.txt文件并允许搜索引擎机器人抓取我的网站，但搜索引擎似乎仍在使用我的旧robots.txt文件，如何告诉搜索引擎使用我的新robots.txt文件？还是我的robots.txt文件有问题？我的旧robots.txt文件的内容:User-agent:*Disallow:/我的新robots.txt文件的内容:User-agent:*Allow:/#Disallowthesedirectories,urltypes&file-typesDisallow:/trackb

我有这样的网址:/产品/:product_id/交易/新/products/:product_id/deals/index我想在我的robots.txt文件中禁用“交易”文件夹。[编辑]我想禁止Google、Yahoo和BingBots使用此文件夹。有谁知道这些机器人是否支持通配符并支持以下规则？Disallow:/products/*/deals还有...关于robots.txt规则，您有什么真正好的教程吗？因为我没能找到一个“真正”好的，所以我可以使用一个......最后一个问题:robots.txt是处理此问题的最佳方法吗？或者我应该更好地使用“noindex”元数据？谢谢大家!

是否反转中的属性到削弱或以任何方式影响搜索引擎索引页面的能力？谢谢:) 最佳答案 我们不可能知道。搜索引擎可能有错误。但从HTML规范的角度来看，不，属性顺序不影响含义。 关于html-颠倒<metaname=robots...>标签中的属性顺序会影响搜索引擎索引吗？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/21387423/

我需要一些帮助。我不确定mod_rewrite和robots.txt请求的顺序。一些url属于重写规则:/index.php?id=123to/home其他网址没有重写:/index.php?id=444我在我的robots.txt中做了这个条目:User-agent:*Disallow:/index.php?id带有/home的网站会被搜索引擎收录吗？ 最佳答案 robots.txt文件由客户端(蜘蛛)解释，他们不知道你的系统有什么重写。因此，如果蜘蛛程序看起来像robots.txt中的模式，它们就不会从您的站点获取URL，但如果