我有一个关于SEO、Robots.txt和wordpress的问题这是我的robots.txt的样子:User-agent:*Disallow:/cgi-binDisallow:/wp-adminDisallow:/wp-includesDisallow:/wp-content/pluginsDisallow:/feedDisallow:/*/feedDisallow:/wp-login.phpDisallow:/tagDisallow:/trackbackDisallow:/*?*Disallow:/archive/Disallow:/rss/Disallow:/about/trac

我有一个关于Google抓取的页面数量的“双重”问题，它可能与可能的重复内容(或不重复)以及对SEO的影响有关。关于我的页面数量和被Google抓取的页面的事实我在两个月前推出了一个新网站。今天，它有近150页(每天都在增加)。无论如何，这是我的站点地图中的页面数。如果我查看Google网站管理员的“抓取统计信息”，我可以看到Google每天抓取的页面数量要大得多(见下图)。我不确定它是否真的好，因为它不仅让我的服务器更忙(一天下载903页5.6MB)，而且我担心它也会产生一些重复的内容。我在Google(site:mysite.com)上查看过，它给了我1290页(但只有191页显示

我对这个机器人文件有一些疑问。User-agent:*Disallow:/administrator/Disallow:/css/Disallow:/func/Disallow:/images/Disallow:/inc/Disallow:/js/Disallow:/login/Disallow:/recover/Disallow:/Scripts/Disallow:/store/com-handler/Disallow:/store/img/Disallow:/store/theme/Disallow:/store/StoreSys.swfDisallow:config.php这将禁

我的网站在googleconsole中遇到问题我在我的网站的谷歌控制台中遇到以下错误资源:https://api.html5media.info/1.1.5/html5media.min.jsType:ScriptStatus:Googlebotblockedbyrobots.txt我的站点在xcart中，我的robots.txt包含User-agent:GooglebotDisallow:/*printable=Y*Disallow:/*js=*Disallow:/*print_cat=*Disallow:/*mode=add_vote*User-agent:*Allow:*.jsA

我最近使用wordpress插件编辑了我网站中的robots.txt文件。然而，由于我这样做了，谷歌似乎已经从他们的搜索页面中删除了我的网站。如果我能就为什么会这样以及可能的解决方案获得专家意见，我将不胜感激。我最初这样做是为了通过限制google访问的页面来提高我的搜索排名。这是我在wordpress中的robots.txt文件:User-agent:*Disallow:/cgi-binDisallow:/wp-adminDisallow:/wp-includesDisallow:/wp-content/pluginsDisallow:/wp-content/cacheDisallo

之前，我阻止了搜索引擎机器人以防止使用robots.txt文件抓取我的网站，但现在我想取消阻止它们。我更新了robots.txt文件并允许搜索引擎机器人抓取我的网站，但搜索引擎似乎仍在使用我的旧robots.txt文件，如何告诉搜索引擎使用我的新robots.txt文件？还是我的robots.txt文件有问题？我的旧robots.txt文件的内容:User-agent:*Disallow:/我的新robots.txt文件的内容:User-agent:*Allow:/#Disallowthesedirectories,urltypes&file-typesDisallow:/trackb

我有这样的网址:/产品/:product_id/交易/新/products/:product_id/deals/index我想在我的robots.txt文件中禁用“交易”文件夹。[编辑]我想禁止Google、Yahoo和BingBots使用此文件夹。有谁知道这些机器人是否支持通配符并支持以下规则？Disallow:/products/*/deals还有...关于robots.txt规则，您有什么真正好的教程吗？因为我没能找到一个“真正”好的，所以我可以使用一个......最后一个问题:robots.txt是处理此问题的最佳方法吗？或者我应该更好地使用“noindex”元数据？谢谢大家!

我正试图阻止机器人浏览我的网页。所以我想强制从所有不是前4个搜索引擎的IP地址登录。这可能吗？ 最佳答案 您是否考虑过使用robots.txt文件以尽量减少来自自动抓取工具的不需要的流量？您可以为每个用户代理(即每个蜘蛛)设置多个Disallow行。这是一个较长的robots.txt文件的示例:User-agent:*Disallow:/images/Disallow:/cgi-bin/User-agent:Googlebot-ImageDisallow:/这是一个禁止一切除了谷歌的例子User-agent:*Disallow:/U

我的robots.txt看起来像这样:User-agent:*Disallow:/adminDisallow:/testUser-Agent:GooglebotDisallow:/maps现在Google忽略用户代理*部分，只遵守特定的Googlebot指令(/maps)。这是正常行为吗？不应该也遵守useragent*指令(/admin、/test)吗？必须为每个用户代理添加每一行似乎很奇怪？ 最佳答案 没关系，谷歌是这样说的:Eachsectionintherobots.txtfileisseparateanddoesnotbu

简单的问题。我要补充:Disallow*/*details-print/基本上，/foo/bar/dynamic-details-print形式的阻塞规则——本例中的foo和bar也可以是完全动态的。我认为这很简单，但随后在www.robotstxt.org上出现了这条消息:NotealsothatglobbingandregularexpressionarenotsupportedineithertheUser-agentorDisallowlines.The'*'intheUser-agentfieldisaspecialvaluemeaning"anyrobot".Specifi