问题我正在尝试使用robots.txt阻止包含特定URL参数的路径。无论此URL参数出现在查询字符串中的什么位置，我都想阻止该路径。我尝试过的看完severalanswers，我试过:Disallow/*?param=还有:Disallow/*?param=*如果param是第一个URL参数，这些只会阻止路径。但如果它出现在URL的后面，则不是。我也试过:Disallow/*?*param=*虽然这有效，但它也会阻止任何具有后缀为param的URL参数的路径，因此这不是一个可接受的解决方案。问题如何阻止包含特定URL参数的路径，而不管它出现在查询字符串中的什么位置？
几个域被配置为我的主要托管帐户(共享托管)的附加组件。目录结构如下所示(主域是example.com):public_html(example.com)_subex1-->显示为example-realtor.comex2-->显示为example-author.comex3-->显示为example-blogger.com(使用example作为域的SO要求使解释变得更加困难-例如，subex1可能指向plutorealty，ex2可能指向amazon，或其他一些业务子-和我一起托管。关键是每个ex#都是不同公司的网站，所以在心理上为每个“示例”替换一些正常和不同的东西)因为这些域(
关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭3年前。Improvethisquestion我有一个暂存站点，我希望能够通过googlelighthouse对其进行测试-但不希望google将其编入索引。当我使用它时:User-agent:*Disallow:/Lighthouse和google被屏蔽了。我认为用户代理是灯塔的“Chrome-Lighthouse”(source)，但我不确定如何编写robot.txt的语法。有什么建议吗？
最近看到一个网站的robots.txt如下:User-agent:*Allow:/loginAllow:/register我只能找到Allow条目，没有找到Disallow条目。来自this，我可以理解robots.txt几乎是一个黑名单文件，用于Disallow页面被抓取。因此，Allow仅用于允许已被Disallow阻止的域的子部分。类似这样:Allow:/crawlthisDisallow:/但是，robots.txt没有Disallow条目。那么，这个robots.txt是不是让Google抓取了所有的页面呢？或者，它是否只允许使用Allow标记的指定页面？
关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭9年前。Improvethisquestion我的暂存站点显示在搜索结果中，即使我已指定不希望该站点被抓取。这是暂存站点的robots.txt文件的内容:User-agent:Mozilla/4.0(compatible;ISYSWebSpider9)Disallow:User-agent:*Disallow:/我这里有什么地方做错了吗？
robots.txt是否接受正则表达式？我有很多这种格式的URL:https://example.com/view/99/title-sample-textID----------------------^Title-----------------------------^我用过这个:Disallow:/view但看起来这不起作用，因为google索引了更多页面。所以我想用正则表达式来做这个，像这样:Disallow:/view/([0-9]+)/([^/]*)但是这种格式是否正确或在robots.txt中有效？ 最佳答案 您可以
如下图所示GoogleWebMasterToolsrobots.txtTester告诉我9个错误，但我不知道如何解决它，问题是什么？请帮我弄清楚 最佳答案 这是一个有效的robots.txt-但你有一个UTF-8BOM(\xef\xbb\xbf)在文本文件的开头。这就是为什么第一行的“用户”旁边有一个红点。这个标记告诉浏览器和文本编辑器将文件解释为UTF-8，而robots.txt应该只使用ASCII字符。将您的文本文件转换为ASCII，错误就会消失。或者复制红点后的所有内容，然后再次尝试粘贴。我在在线版本上测试了这个，这是从字节形
我最近使用wordpress插件编辑了我网站中的robots.txt文件。然而，由于我这样做了，谷歌似乎已经从他们的搜索页面中删除了我的网站。如果我能就为什么会这样以及可能的解决方案获得专家意见，我将不胜感激。我最初这样做是为了通过限制google访问的页面来提高我的搜索排名。这是我在wordpress中的robots.txt文件:User-agent:*Disallow:/cgi-binDisallow:/wp-adminDisallow:/wp-includesDisallow:/wp-content/pluginsDisallow:/wp-content/cacheDisallo
看来我们很快就要开始对我们的网络服务器进行负载平衡了。我们有一个动态编辑robots.txt的功能请求，这对一台主机来说不是问题——但是一旦我们启动并运行负载均衡器——听起来我必须将文件scp到另一台主机主持人。这听起来非常“糟糕”。你会如何处理这种情况？我已经让客户编辑元标记“robots”，(imo)应该有效地执行他希望从robots.txt编辑中完成的相同操作，但我真的不太了解SEO。也许有一种完全不同的处理方式？更新看起来我们暂时将其存储在s3中并在前端进行内存缓存...我们现在是怎么做的所以我们正在使用merb..我像这样映射到我们的robots.txt的路由:match('
我已经在我的urlhttp://watchmariyaanmovieonline.appspot.com/robots.txt中上传了robots.txt，但是当我使用googlewebmaster并为我的主页做Fetchasgoogle时http://watchmariyaanmovieonline.appspot.com/我收到错误消息Unreachablerobots.txt 最佳答案 您的robots.txt内容有一个空的Disallow，因此您会收到该错误。User-agent:*Disallow:Disallow:/cg
