我希望忽略来自bingbot的所有包含查询字符串变量at1=的URL，但我不清楚应该使用的模式。其中一个应该起作用吗？User-agent:bingbotDisallow:/*at1=Disallow:*at1=*为了确认，我可以有一个这样的URL:/some-page?at1=4&ca1=5&op1=8我仍然希望访问/some-page但当列出的URL具有查询字符串参数时则不会访问编辑海报实际上已经建议了一个PHP解决方案，在细粒度定位方面可能有意义，但我不确定应该发送什么正确的HTTP状态代码来告诉蜘蛛它不受欢迎。有什么想法吗？ 最佳答案

我看到网站隐藏了robot.txt文件。如果您将站点名称输入为http://www.mysite.com/robot.txt您不会收到robot.txt，我还想对访问者隐藏文件robot.txt怎么办？这些线有没有联系        所以没看懂代码的意思。谢谢! 最佳答案 我不确定您到底在问什么，但是您不能通过URL重写来做到这一点吗？您可以使用爬虫的用户代理字符串(例如“Googlebot”)为访问者显示robots.txt文件，如果它是非爬虫UA，则重定向到404 关于seo-如何对

我试图从搜索引擎中排除我所有的liferay测试环境。新行正在消失，\r\n或\n作为分隔符也不起作用。这是我的机器人文件:User-agent:*Disallow:/这是我的web.xml片段:RobotKillercom.robot.kill.KillARobotRobotKiller/robots.txt域/robots.txt:User-agent:*Disallow:/ 最佳答案 我想我知道问题出在哪里了。Content-TypeHTTPheader在此文件上设置不正确。当内容类型应该设置为text/plain时，您将内容

关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭8年前。Improvethisquestion我正在尝试验证我的robots.txt文件:User-agent:*Disallow:/Admin/Disallow:/admin/Disallow:/Account/Disallow:/account/Disallow:/robots.txt使用thefrobeerobots.txtchecker表示有2个语法错误。Line1:Syntaxerror!Expected:Line2:Miss

我已经写了一些规则来阻止Robot.txt中的几个URL现在我想改变这些规则。有没有验证robot.txt的工具？我写了这条规则:Disallow:/classifieds/search*/阻止这些URL:http://example.com/classifieds/search?filter_states=4&filter_frieght=8&filter_driver=2http://example.com/classifieds/search?keywords=Covenant+Transport&type=Carrierhttp://example.com/classified

Myrobots.txt包含以下规则:Disallow:/api/Allow:/Allow:/apiDocs/apiDocsURL在站点地图中，但根据Google网站管理员工具，这些robots.txt规则禁止它被抓取。我想阻止所有匹配/api/*的URL被抓取，但允许抓取URL/apiDocs。我应该如何更改我的robots.txt以实现此目的？ 最佳答案 记录中不允许换行(您在Disallow和两个Allow行之间有一个换行符)。您不需要Allow:/(它与Disallow:相同，这是默认设置)。您禁止抓取/api/(这是路径以

关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭8年前。Improvethisquestion我有一个半公开的文件夹:URL没有链接，知道URL的人只有少数friend(他们不会链接它)并且它足够神秘以确保没有人意外登陆那里.但是，该链接是通过Googlemail和Facebook消息发送的。有没有办法在本地robots.txt文件中告诉Facebook和Google不要将页面编入索引？当我将它添加到“全局”robots.txt文件中时，所有查看该文件的人都会在我的/secret-f

首先，我通过robots.txt搜索了Wordpress，但是没有人告诉我这个文件在哪里。所以，我读到Wordpress中的robots.txt是虚拟的。好的，没问题。但是，我在哪里可以找到它进行编辑？我的Wordpress允许/author/admin而我不想要这个。在仪表板中，类似这样的唯一选项过于笼统，例如“阻止搜索引擎查找此网站”(类似这样的内容)。有人知道解决方案吗？ 最佳答案 如果您不熟悉robots.txt并且可以安装一个好的插件，您可以尝试Yoast的WPSEO，其中包括用于生成自定义robots.txt的工具等等.

有人要求我(为了改进SEO结果)从Robots.txt中删除某个网址。我正在努力(SEO不是我的强项)找出如何阻止某个域，即使两个地址都指向同一个网站。例如:http://foo.example.com--我需要停止被索引的网址http://www.examplefoo.com--我要编入索引的网址据我所知，使用disallow/只会阻止两者(因为它们是同一站点)有什么帮助吗？!对不起，如果这是一个愚蠢的问题.. 最佳答案 第1步:如果您的第一个域在上，您应该将其重定向到您的第二个域。示例(宽度htaccess):RewriteCo

给定图片引用，alt属性的正确用法是什么？它似乎有资格作为带有“装饰文字”的图像，whichW3Crecommends将整个文本放在alt属性中。但是，我猜他们对装饰文本的想法是一个简短的短语。事实上，他们为alt属性推荐了一条“短线”。此外，somescreenreaders显然将文本分成125个字符的block。更具体到我的情况(因为这个问题可能看起来微不足道)，我运行一个获得相当多流量的报价网站，因此确保它的可访问性和语义对我来说很重要。在下一个版本中，引述将显示为拼贴画——一些文本，一些图片引述。我最初打算使用以下内容，基于alt属性应该用简短的句子描述图像这一事实:Pictu