草庐IT

Wordpress Robots.txt/feed 重要吗？

coder 2024-02-28 原文

我有一个关于 SEO、Robots.txt 和 wordpress 的问题

这是我的 robots.txt 的样子:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /feed
Disallow: /*/feed
Disallow: /wp-login.php
Disallow: /tag
Disallow: /trackback
Disallow: /*?*
Disallow: /archive/
Disallow: /rss/
Disallow: /about/trackback/
Disallow: /wp-register.php

在 Google 网站管理员工具中，我看到这样的 url 受到限制:

http://www.domain.com/date/article-title/feed/

这是因为我假设禁止/feed，现在真正的文章标题是相同的 url，但没有 '/feed/' http://www.domain.com/date/article-title/

我的问题是正确的 URL 是否仍会被搜索引擎编入索引？或者我应该从 robots.txt 中删除它吗？你如何看待 robots.txt 我做了一些搜索，找到了添加内容的提示并得出了它，但是当我查看更大的 wordpress 网站时，他们没有我机器人中的一半项目txt文件。

最佳答案

Feed 本身不会被编入索引，但如果 robots.txt 文件中未明确阻止其 URL，则其中包含的 URL 可以被编入索引。

只要您的所有博客文章都已编入索引，其他内容就可以毫无问题地被阻止。看起来某些被阻止的页面对用户和搜索引擎(即登录页面、引用页面)或潜在的重复内容问题(即存档、标签页)毫无用处。无用的页面应该被彻底屏蔽。我会让存档和标签页被抓取但不被索引。这样搜索引擎就可以跟踪这些页面上的链接，这将帮助他们找到您的所有内容。这不会用 robots.txt 来完成，而是 meta tag or HTTP header .

关于Wordpress Robots.txt/feed 重要吗？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/8188251/

WordpressRobotsDisallowsection编入seosearch-enginerobots.txtgoogle-search-console

有关Wordpress Robots.txt/feed 重要吗？的更多相关文章

  1. ruby - Camping 和 Sinatra 之间有什么重要区别吗？ - 2

    我的感觉是Camping和Sinatra之间的差异不是很大，您可以安全地选择其中任何一个并且没问题。但我想问问Ruby专家，这是不是真的。Sinatra和Camping微框架之间实际上有什么重要区别吗？您将如何决定使用哪一个？ 最佳答案 我知道的唯一显着区别是Camping像Rails一样基于MVC模式，并且与ActiveRecord耦合。Sinatra更加不可知。Camping也不再维护，而Sinatra正在积极开发中。仅这一点就足以让我们先看看Sinatra。编辑:感谢Philippe的更正，很高兴听到Camping的开发正在进

  2. ruby - =~ 运算符的顺序重要吗？ - 2

    下面两个语句除了编码风格有区别吗？/regex/=~"some_string_with_regex""some_string_with_regex"=~/regex/ 最佳答案 是的，有区别。正如在http://www.ruby-doc.org/core/classes/Regexp.html#M001232中提到的If=~isusedwitharegexpliteralwithnamedcaptures,capturedstrings(ornil)isassignedtolocalvariablesnamedbythecaptur

  3. ruby-on-rails - 为什么初始化变量如此重要？ - 2

    有人可以向我解释一下，为什么不初始化first_idx和last_idx会导致代码无法运行？？当我运行它时，出现此错误“未定义的局部变量或方法last_idx”。我知道建议总是初始化变量，但我不明白为什么。毕竟first_idx和last_idx总是会在循环中得到一个值，因为参数letter总是出现在字符串中(在这个特定问题中)。我真的很感激一些(简单的)见解。谢谢!P.S，我也知道在Ruby中使用#index和#rindex很容易解决这个问题，但我不允许使用直接的方法来解决它。deffind_for_letter(string,letter)first_idx=nil0.upto(s

  4. ruby - 在 ruby​​ 中下载多个 FTP 文件，如 d*.txt - 2

    我需要连接到一个ftp站点并下载一堆名为D*.txt的文件(最多6个)。你能帮我用Ruby编写代码吗？下面的代码就ftp=Net::FTP::new("ftp_server_site")ftp.login("user","pwd")ftp.chdir("/RemoteDir")fileList=ftp.nlstftp.getbinaryfile(edi,edi)ftp.close谢谢 最佳答案 最简单的方法是遍历fileList中的文件列表。这是一个例子(未经测试):ftp=Net::FTP::new("ftp_server_sit

  5. arrays - 为什么 Dir.glob ("*.txt").sort 也需要 .each？ - 2

    Dir.glob("*.txt"){|f|pf}打印文件名。Dir.glob("*.txt").sort{|f|pf}因ArgumentError失败。Dir.glob("*.txt").sort.each{|f|pf}按字母顺序打印文件名。为什么第二个失败了？更好的是，为什么第一个工作，有或没有.each？Dir.glob和Dir.glob.sort都是数组。Dir.glob.methods==Dir.glob.sort.methods。(受AlphabetizeresultsofDir.glob启发。不是Dir.globwithsortissue的副本，因为“第三个”已经回答了那个

  6. ruby-on-rails - 为什么学习 Ruby 中的元编程和特征类很重要？ - 2

    我目前正在尝试使用Ruby和Rails，我已经阅读了有关元编程的教程和书籍中的几个部分。许多人提到它是Ruby的重要组成部分，但他们并没有真正深入到细节。就好像元编程是Ruby程序员的最后边界。我有.NET背景，很难理解为什么它被认为如此有用。使用元编程有什么好处？什么是特征类，它与单例有何不同？在什么情况下使用元编程很常见？使用代码修改其他代码(尤其是非您自己的代码)的行为有哪些伦理含义？ 最佳答案 使用元编程有什么好处？您可以创建比没有它更具表现力的API(例如，ActiveRecord使用元编程根据表的列名定义访问器方法，因此

  7. ruby-on-rails - rails 中子域的多个 robots.txt - 2

    我有一个包含多个子域的网站，我希望命名的子域robots.txt与www不同。我尝试使用.htaccess，但FastCGI没有查看它。所以，我试图设置路由，但似乎你不能直接重写，因为每条路由都需要一个Controller:map.connect'/robots.txt',:controller=>?,:path=>'/robots.www.txt',:conditions=>{:subdomain=>'www'}map.connect'/robots.txt',:controller=>?,:path=>'/robots.club.txt'解决这个问题的最佳方法是什么？(我正在为子域

  8. ruby - 有哪些重要的 Ruby 命令？ - 2

    关闭。这个问题需要更多focused.它目前不接受答案。想改进这个问题吗？更新问题，使其只关注一个问题editingthispost.关闭8年前。Improvethisquestion我不确定所有这些，但是执行更新Ruby、下载新gem或更新现有gem等操作的命令是什么？还有哪些重要的事情？因为这可能很重要，所以我运行的是Windows。

  9. ruby - 在 Ruby 中获取 DNS TXT 记录 - 2

    我需要从DNS记录中获取txt字段。是否有任何ruby​​api可以做这样的事情？nslookup-q=txtxxxx.com 最佳答案 尝试安装dnsrubygem。代码得到积极维护，并在一些重要的生产系统中使用。require'rubygems'require'dnsruby'includeDnsruby#Usethesystemconfigurednameserverstorunaqueryres=Dnsruby::Resolver.newret=res.query("google.com",Types.TXT)printre

  10. ruby - 枚举器的魔力#feed - 2

    有这个Enumerator#feedmethod，我偶然发现的。它被定义为:feedobj→nilSetsthevaluetobereturnedbythenextyieldinsidee.Ifthevalueisnotset,theyieldreturnsnil.Thisvalueisclearedafterbeingyielded.我研究了示例并认为»Yay!«，这应该可以使用feed:enum=['cat','bird','goat'].each#createsanenumeratorenum.next#=>'cat'enum.feed'dog'enum.next#=>retur

随机推荐