我正在制作我的robots.txt文件。但是我对如何禁止Googlebot-Image有点不安全。我想允许Google机器人抓取我的网站，但我在下面做出的禁止除外。这是我做的:User-agent:GooglebotDisallow:Disallow:/courses/Disallow:/portfolio/portfolio-template.php/User-agent:Googlebot-ImageDisallow:/images/graphics/erhvervserfaring//images/graphics/uddannelse/sitemap:http://www.ex

关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭9年前。Improvethisquestion我是否需要在robots.txt中的disallow语句之后添加allowall语句，或者机器人是否假定它们可以抓取任何未标记为disallow的内容。例子:User-Agent:*Disallow:/folder1/Disallow:/folder2/Disallow:/folder3/Disallow:/file1.phpDisallow:/file2.phpAllow:/Sitemap:h

我有几个wordpress网站，使用当前的googleseo算法更新网站应该适合移动设备(here)我的查询如下，目前我在robots.txt中写了一条规则，禁止使用wp-抓取urlUser-agent:*Disallow:/cgi-binDisallow:/wp-adminDisallow:/wp-includesDisallow:/wp-content/pluginsDisallow:/feedDisallow:/*/feedDisallow:/wp-login.php我不希望谷歌抓取上述网址。早些时候它工作正常但现在随着最近的谷歌算法更新，当我不允许这些url时它将开始在移动友好

我有一个关于SEO、Robots.txt和wordpress的问题这是我的robots.txt的样子:User-agent:*Disallow:/cgi-binDisallow:/wp-adminDisallow:/wp-includesDisallow:/wp-content/pluginsDisallow:/feedDisallow:/*/feedDisallow:/wp-login.phpDisallow:/tagDisallow:/trackbackDisallow:/*?*Disallow:/archive/Disallow:/rss/Disallow:/about/trac

我有一个关于Google抓取的页面数量的“双重”问题，它可能与可能的重复内容(或不重复)以及对SEO的影响有关。关于我的页面数量和被Google抓取的页面的事实我在两个月前推出了一个新网站。今天，它有近150页(每天都在增加)。无论如何，这是我的站点地图中的页面数。如果我查看Google网站管理员的“抓取统计信息”，我可以看到Google每天抓取的页面数量要大得多(见下图)。我不确定它是否真的好，因为它不仅让我的服务器更忙(一天下载903页5.6MB)，而且我担心它也会产生一些重复的内容。我在Google(site:mysite.com)上查看过，它给了我1290页(但只有191页显示

我对这个机器人文件有一些疑问。User-agent:*Disallow:/administrator/Disallow:/css/Disallow:/func/Disallow:/images/Disallow:/inc/Disallow:/js/Disallow:/login/Disallow:/recover/Disallow:/Scripts/Disallow:/store/com-handler/Disallow:/store/img/Disallow:/store/theme/Disallow:/store/StoreSys.swfDisallow:config.php这将禁

我的网站在googleconsole中遇到问题我在我的网站的谷歌控制台中遇到以下错误资源:https://api.html5media.info/1.1.5/html5media.min.jsType:ScriptStatus:Googlebotblockedbyrobots.txt我的站点在xcart中，我的robots.txt包含User-agent:GooglebotDisallow:/*printable=Y*Disallow:/*js=*Disallow:/*print_cat=*Disallow:/*mode=add_vote*User-agent:*Allow:*.jsA

我最近使用wordpress插件编辑了我网站中的robots.txt文件。然而，由于我这样做了，谷歌似乎已经从他们的搜索页面中删除了我的网站。如果我能就为什么会这样以及可能的解决方案获得专家意见，我将不胜感激。我最初这样做是为了通过限制google访问的页面来提高我的搜索排名。这是我在wordpress中的robots.txt文件:User-agent:*Disallow:/cgi-binDisallow:/wp-adminDisallow:/wp-includesDisallow:/wp-content/pluginsDisallow:/wp-content/cacheDisallo

之前，我阻止了搜索引擎机器人以防止使用robots.txt文件抓取我的网站，但现在我想取消阻止它们。我更新了robots.txt文件并允许搜索引擎机器人抓取我的网站，但搜索引擎似乎仍在使用我的旧robots.txt文件，如何告诉搜索引擎使用我的新robots.txt文件？还是我的robots.txt文件有问题？我的旧robots.txt文件的内容:User-agent:*Disallow:/我的新robots.txt文件的内容:User-agent:*Allow:/#Disallowthesedirectories,urltypes&file-typesDisallow:/trackb

我有这样的网址:/产品/:product_id/交易/新/products/:product_id/deals/index我想在我的robots.txt文件中禁用“交易”文件夹。[编辑]我想禁止Google、Yahoo和BingBots使用此文件夹。有谁知道这些机器人是否支持通配符并支持以下规则？Disallow:/products/*/deals还有...关于robots.txt规则，您有什么真正好的教程吗？因为我没能找到一个“真正”好的，所以我可以使用一个......最后一个问题:robots.txt是处理此问题的最佳方法吗？或者我应该更好地使用“noindex”元数据？谢谢大家!