草庐IT

seo - 元标记与 robots.txt

coder 2024-02-26 原文

  1. 是使用元标记*还是 robots.txt 文件来通知蜘蛛/爬虫包含或排除页面更好？

  2. 同时使用 meta 标签和 robots.txt 有什么问题吗？

*例如:<#META name="robots" content="index, follow">

最佳答案

有一个显着差异。 According to Google如果该页面是通过另一个站点链接到的，他们仍然会在 robots.txt DENY 后面索引该页面。

但是，如果他们看到元标记，他们将不会:

While Google won't crawl or index the content blocked by robots.txt, we might still find and index a disallowed URL from other places on the web. As a result, the URL address and, potentially, other publicly available information such as anchor text in links to the site can still appear in Google search results. You can stop your URL from appearing in Google Search results completely by using other URL blocking methods, such as password-protecting the files on your server or using the noindex meta tag or response header.

关于seo - 元标记与 robots.txt，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/3348226/

robotsseosectionGooglerobots.txtmeta-tags

有关seo - 元标记与 robots.txt的更多相关文章

  1. ruby-on-rails - 使用 gmaps4rails 动态加载谷歌地图标记 - 2

    如何只加载map边界内的标记gmaps4rails？当然，在平移和/或缩放后加载新的。与此直接相关的是，如何获取map的当前边界和缩放级别？ 最佳答案 我是这样做的，我只在用户完成平移或缩放后替换标记，如果您需要不同的行为，请使用不同的事件监听器:在你看来(index.html.erb):{"zoom"=>15,"auto_adjust"=>false,"detect_location"=>true,"center_on_user"=>true}},false,true)%>在View的底部添加:functiongmaps4rail

  2. ruby-on-rails - 将 Ruby 代码和文字标记与 Haml 混合 - 2

    如何用HAML编写这个ERB:#OR我可以:=some_ruby_code+":"#and=some_ruby_code%br但我不想在这里连接，我想将它写成内联:(=some_ruby_code):#and(=some_ruby_code)%br 最佳答案 =some_ruby_code+":"-#and=some_ruby_code+""编辑1:我不确定您在寻找什么。你想要其中之一吗？==#{some_ruby_code}:-#and==#{some_ruby_code}或==#{some_ruby_code}:-#and=so

  3. ruby - 如何在 Chef 中使用 Ruby 标记 EC2 实例？ - 2

    我正在尝试与Chef一起启动EC2实例。一切都运行良好，但Chef似乎无法标记实例。我错过了什么吗？否则，实现此目标的首选Ruby库是什么？我可以在不需要额外gem的情况下做到吗？谢谢 最佳答案 knife-ec2Gem的0.5.12版支持在创建时使用--tags选项标记EC2实例。knifeec2servercreate[...youroptions...]--tagsTag=Value 关于ruby-如何在Chef中使用Ruby标记EC2实例？，我们在StackOverflow上找到

  4. ruby-on-rails - 如果没有可用标签，则运行标记规范或全部 - 2

    我将guard与rspec和cucumber一起使用。要连续运行选定的规范，我只需使用focus标记来确定我要处理的内容。但问题是，如果没有带有该标签的规范，我想运行所有规范。我该怎么做？注意::我知道所有RSpec选项。因此，请仅在阅读问题后回复。 最佳答案 我通过以下配置实现了您描述的行为:#torunonlyspecificspecs,add:focustothespec#describe"foo",:focusdo#OR#it"shouldfoo",:focusdoconfig.treat_symbols_as_metada

  5. ruby - 在 ruby​​ 中下载多个 FTP 文件，如 d*.txt - 2

    我需要连接到一个ftp站点并下载一堆名为D*.txt的文件(最多6个)。你能帮我用Ruby编写代码吗？下面的代码就ftp=Net::FTP::new("ftp_server_site")ftp.login("user","pwd")ftp.chdir("/RemoteDir")fileList=ftp.nlstftp.getbinaryfile(edi,edi)ftp.close谢谢 最佳答案 最简单的方法是遍历fileList中的文件列表。这是一个例子(未经测试):ftp=Net::FTP::new("ftp_server_sit

  6. ruby-on-rails - JSON::ParserError: 757: '{ 处的意外标记 - 2

    当前哈希是{\"report_name\"=>\"Study/Control:ABIRATERONEACETATE-20151413355\",\"left_mue_start_date\"=>\"02-26-2015\",\"left_mue_end_date\"=>\"03-19-2015\",\"right_mue_start_date\"=>\"02-26-2015\",\"right_mue_end_date\"=>\"03-19-2015\",\"report_formulary_id\"=>\",7581\",\"mue\"=>\"true\",\"mue_type\"=

  7. c - Data_wrap_struct 和标记函数 - 2

    我正在编写一个Ruby扩展，我正在使用函数Data_wrap_struct。为了参与Ruby的标记和清除垃圾收集过程，我需要定义一个例程来释放我的结构，以及一个例程来标记从我的结构到其他结构的任何引用。我通过经典的free函数来释放内存，但我不知道如何使用标记函数。我的结构听起来像这样typedefstruct{intx;inty;}A;typedefstruct{Acollection[10];intcurrent;}B;我认为我需要一个标记函数来标记结构B的collection中的引用。谁能给我看一个例子，看看标记函数是如何工作的？ 最佳答案

  8. arrays - 为什么 Dir.glob ("*.txt").sort 也需要 .each？ - 2

    Dir.glob("*.txt"){|f|pf}打印文件名。Dir.glob("*.txt").sort{|f|pf}因ArgumentError失败。Dir.glob("*.txt").sort.each{|f|pf}按字母顺序打印文件名。为什么第二个失败了？更好的是，为什么第一个工作，有或没有.each？Dir.glob和Dir.glob.sort都是数组。Dir.glob.methods==Dir.glob.sort.methods。(受AlphabetizeresultsofDir.glob启发。不是Dir.globwithsortissue的副本，因为“第三个”已经回答了那个

  9. ruby-on-rails - 如何在 unicode 中创建复选标记？ - 2

    我认为会是:"✓".encode(:unicode)但我认为这不是.encode的正确用法。当我说:"✓".encode('Unicode')它无法进行转换。 最佳答案 如果您使用的是Ruby1.9(它具有更好的内置编码支持)，您可以这样做:>checkmark="\u2713"#=>"✓">checkmark.encoding#=># 关于ruby-on-rails-如何在unicode中创建复选标记？，我们在StackOverflow上找到一个类似的问题：

  10. ruby - 如何将哈希对象传递给 HAML 标记 - 2

    请考虑这个例子:-user_links_params=_user_link_params(current_user)%a{:'data-msgstore-path'=>user_links_params[:'data-msgstore-path'],:'data-user_id'=>user_links_params[:'data-user_id'],:class=>user_links_params[:class],}/toomanyhtmltagsandstufftofitinasimplelink_to我很乐意将所有这些都放在一个简单的语句中，如下所示:%a[_user_link

随机推荐