Myrobots.txt包含以下规则:Disallow:/api/Allow:/Allow:/apiDocs/apiDocsURL在站点地图中，但根据Google网站管理员工具，这些robots.txt规则禁止它被抓取。我想阻止所有匹配/api/*的URL被抓取，但允许抓取URL/apiDocs。我应该如何更改我的robots.txt以实现此目的？ 最佳答案 记录中不允许换行(您在Disallow和两个Allow行之间有一个换行符)。您不需要Allow:/(它与Disallow:相同，这是默认设置)。您禁止抓取/api/(这是路径以

关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭8年前。Improvethisquestion我有一个半公开的文件夹:URL没有链接，知道URL的人只有少数friend(他们不会链接它)并且它足够神秘以确保没有人意外登陆那里.但是，该链接是通过Googlemail和Facebook消息发送的。有没有办法在本地robots.txt文件中告诉Facebook和Google不要将页面编入索引？当我将它添加到“全局”robots.txt文件中时，所有查看该文件的人都会在我的/secret-f

我正在尝试更改此网站左上角Logo上的图像“标题”标签:http://bodenkraft.com但我终其一生都找不到可以更改的地方。我查看了如何在内容类型中启用alt和title标签，但这个标志似乎不对应任何内容类型，我找不到任何关于如何在它们上传后更改它们的信息。感谢您的帮助! 最佳答案 站点代码的标识可以在已启用的主题文件夹中找到。在theme文件夹中，将有一个templates文件夹和一个名为page.tpl的文件，您可以在其中找到Logo的html，并可以为该图像标签添加标题。希望对你有帮助。

首先，我通过robots.txt搜索了Wordpress，但是没有人告诉我这个文件在哪里。所以，我读到Wordpress中的robots.txt是虚拟的。好的，没问题。但是，我在哪里可以找到它进行编辑？我的Wordpress允许/author/admin而我不想要这个。在仪表板中，类似这样的唯一选项过于笼统，例如“阻止搜索引擎查找此网站”(类似这样的内容)。有人知道解决方案吗？ 最佳答案 如果您不熟悉robots.txt并且可以安装一个好的插件，您可以尝试Yoast的WPSEO，其中包括用于生成自定义robots.txt的工具等等.

有人要求我(为了改进SEO结果)从Robots.txt中删除某个网址。我正在努力(SEO不是我的强项)找出如何阻止某个域，即使两个地址都指向同一个网站。例如:http://foo.example.com--我需要停止被索引的网址http://www.examplefoo.com--我要编入索引的网址据我所知，使用disallow/只会阻止两者(因为它们是同一站点)有什么帮助吗？!对不起，如果这是一个愚蠢的问题.. 最佳答案 第1步:如果您的第一个域在上，您应该将其重定向到您的第二个域。示例(宽度htaccess):RewriteCo

我在这里有一个网站:https://www.idee-creative.co.uk我在其中添加了自定义字段，使我能够为SEO目的添加自定义页面标题和描述。但是，问题是，Wordpress似乎也在显示它自己的标题标签，其中包含一般设置中的网站标题和标语...Wordpress标题必须来self的header.php页面内的标签(我认为无论如何)。那么，有没有办法删除wordpress页面标题，只显示我在自定义字段中创建的页面标题？我用来显示自定义字段的代码是:"/>谢谢 最佳答案 使用wp_title()将页面标题设置为wp_titl

我们的网站有很多域名，例如:example.co.ukexample.inexample.co.eg...所以在robots.txt中应该有一个条目显示我们的站点地图文件所在的位置。所以我的问题是:我们每个域都有很多站点地图文件，那么如何在单个robots.txt文件中为每个域分别放置这些条目？ 最佳答案 假设您对所有域都有相同的机器人规则，请将您的单个robots.txt放入根目录并将所有站点地图链接放入其中。我认为站点地图链接看起来像http://www.example.co.uk/sitemap.xmlhttp://www.e

另一家公司为我管理的网站设置了robots.txt。这是他们使用的代码:User-agent:googlebotUser-agent:googleUser-agent:bingbotUser-agent:bingAllow:/products/User-agent:*Disallow:/wp-admin/Disallow:/wp-includes/Disallow:/xmlrpc.phpDisallow:/sales/Disallow:/products/Allow:/wp-content/uploads/Allow:/wp-content/themes/Allow:/wp-admin

我似乎无法在任何地方找到关于我是否应该禁止配置文件如/php.ini或隐藏文件如/.htaccess的答案？还有像/includes或/includes/connect_to_database.php这样的东西呢？我已经在ProWebmasters和其他地方读到我们不应该disallow:/*.js$或/*.css$，但几乎所有这些答案快十年了。此外，robots.txt的目的是确定索引的内容，而不是抓取的内容，不是吗？我的意思是，我们不希望爬虫试图索引我们的css和js文件。即使是Google自己关于robots.txt的文档似乎也没有涵盖这些内容。有人知道网络上某处与此相关的信息资

我的情况是我们有两个代码库需要保持完整..示例:http://example.com。还有一个新站点http://www.example.com。旧站点(无WWW)支持一些遗留代码并具有以下规则:User-agent:*Disallow:/但是在新版本(带有WWW)中没有robots.txt。Google是否将旧的(无WWW)robots.txt文件作为其规则？并将添加User-agent:*Allow:/到(WWW)端覆盖这个？目前无法在旧代码库中更改robots.txt。 最佳答案 不，子域“www”。和子域“”是单独的子域，其