草庐IT

seo - Robots.txt 特定排除

coder 2024-03-01 原文

目前我的robots.txt如下

#Sitemaps
Sitemap: http://www.baopals.com.com/sitemap.xml

#Disallow select URLs
User-agent: *
Disallow: /admin/
Disallow: /products/

我的产品有很多重复的内容，因为我从 taobao.com 提取数据并自动翻译它，导致大量重复和低质量的名称，这就是为什么我只是禁止整个事情。但是我手动更改某些产品的标题并将它们重新保存到数据库并在主页上展示它们并进行适当的翻译它们仍然会保存回 /products/ 并在我删除时永远丢失他们来自主页。

我想知道是否可以让我保存到主页的更新翻译的产品仍然被谷歌索引，或者我是否被迫更改手动更新产品的目录？

最佳答案

一些机器人(包括 Googlebot)支持 Allow field 。这允许您指定无论如何都应允许抓取的路径。

所以你必须添加一个 Allow您希望抓取的每个产品的行。

User-agent: *
Disallow: /admin/
Disallow: /products/
Allow: /products/foo-bar-1
Allow: /products/foo-foo-2
Allow: /products/bar-foo

但是您可能不想禁止抓取您的产品页面，而是禁止索引。然后仍然允许机器人访问您的页面并跟踪链接，但它不会将页面添加到其搜索索引中。

添加<meta name="robots" content="noindex" />到每个产品页面(在 head 中)，并为每个要索引的产品页面删除它(或将其更改为 index)。还有一个相应的 HTTP header ，如果这对您来说更容易的话。

关于seo - Robots.txt 特定排除，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/38712308/

Robotsseocodesectionproductsrobots.txt

有关seo - Robots.txt 特定排除的更多相关文章

  1. Ruby - 如何在读取文件时跳过/忽略特定行？ - 2

    在读取/解析文件(使用Ruby)时忽略某些行的最佳方法是什么？我正在尝试仅解析Cucumber.feature文件中的场景，并希望跳过不以Scenario/Given/When/Then/And/But开头的行。下面的代码有效，但它很荒谬，所以我正在寻找一个聪明的解决方案:)File.open(file).each_linedo|line|line.chomp!nextifline.empty?nextifline.include?"#"nextifline.include?"Feature"nextifline.include?"Inorder"nextifline.include?

  2. ruby-on-rails - 如何处理 Grape 中特定操作的过滤器之前？ - 2

    我正在我的Rails项目中安装Grape以构建RESTfulAPI。现在一些端点的操作需要身份验证，而另一些则不需要身份验证。例如，我有users端点，看起来像这样:moduleBackendmoduleV1classUsers现在如您所见，除了password/forget之外的所有操作都需要用户登录/验证。创建一个新的端点也没有意义，比如passwords并且只是删除password/forget从逻辑上讲，这个端点应该与用户资源。问题是Grapebefore过滤器没有像except,only这样的选项，我可以在其中说对某些操作应用过滤器。您通常如何干净利落地处理这种情况？

  3. ruby - 正则表达式 - 排除一个字符 - 2

    这是一个例子:s="abcd+subtext@example.com"s.match(/+[^@]*/)Result=>"+subtext"问题是，我不想在其中包含“+”。我希望结果是“潜台词”，没有+ 最佳答案 您可以在正则表达式中使用括号来创建匹配组:s="abcd+subtext@example.com"s=~/\+([^@]*)/&&$1=>"subtext" 关于ruby-正则表达式-排除一个字符，我们在StackOverflow上找到一个类似的问题：

  4. ruby - 如何排除无效日期 ruby - 2

    我想知道我应该引用什么异常名称。我的日期无效。我检查了文档，但找不到。BeginDate.new(day,month,year)Rescueexceptionnamestatements 最佳答案 我认为您正在寻找ArgumentError.使用irb:>Date.new(2,-200,3)ArgumentError:invaliddatefrom(irb):11:in`new'from(irb):11所以beginDate.new(2,-200,3)rescueArgumentError#yourlogicend

  5. ruby-on-rails - Ruby on Rails - 需要在每周的特定时间将消息发送到电子邮件 - 2

    我想知道我应该如何着手这个项目。我需要每周向人们发送一次电子邮件。但是，这必须在每周的特定时间自动生成并发送。编码有多难？我需要知道是否有任何书籍可以提供帮助，或者你们中的任何人是否可以指导我。它必须使用ruby​​onrails进行编程。因此有一个网络服务和数据库集成。干杯 最佳答案 为什么这么复杂？您只需安排工作。您可以使用Delayed::Job例如。Delayed::Job让您可以使用run_at符号在特定时间安排作业，如下所示:Delayed::Job.enqueue(SendEmailJob.new(...),:run_

  6. ruby-on-rails - 如果特定语言环境中缺少翻译，如何配置 i18n 以使用 en 语言环境？ - 2

    如果特定语言环境中缺少翻译，如何配置i18n以使用en语言环境翻译？当前已插入翻译缺失消息。我正在使用RoR3.1。 最佳答案 找到相似的question这里是答案:#application.rb#railswillfallbacktoconfig.i18n.default_localetranslationconfig.i18n.fallbacks=true#railswillfallbacktoen,nomatterwhatissetasconfig.i18n.default_localeconfig.i18n.fallback

  7. ruby - 根据要求使用特定的 VCR 磁带 - 2

    情况:使用Rspec、FactoryGirl和VCR测试Rails应用程序。每次创建用户时，都会通过Stripe的API创建关联的Stripe客户。测试时，添加VCR.use_cassette或describe"...",vcr:{cassette_name:'stripe-customer'}do...到涉及用户创建的每个规范。我的实际解决方案如下:RSpec.configuredo|config|config.arounddo|example|VCR.use_cassette('stripe-customer')do|cassette|example.runendendend但这是

  8. ruby - 从特定索引开始迭代数组 - 2

    我想从特定索引开始遍历数组。我该怎么做？myj.eachdo|temp|...end 最佳答案 执行以下操作:your_array[your_index..-1].eachdo|temp|###end 关于ruby-从特定索引开始迭代数组，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/44151758/

  9. ruby-on-rails - 更改包含特定字符串的所有数组元素 - 2

    array=["Spamisbad","Hamisgood"]我想从数组中选择包含单词“good”的元素，并将字符串设置为新变量。我怎么能这样做？ 最佳答案 由于目前为止这两个答案都没有指导您如何将数组中的字符串更新为新值，因此这里有一些选项:#Findeverystringmatchingacriteriaandchangethemarray.select{|s|s.include?"good"}.each{|s|s.replace("bad")}#Findeverystringmatchingapatternandchanget

  10. ruby - 如果哈希中只有一个特定键具有真值(所有其他值均为假)，如何返回真 - 2

    例如:options={fight:true,use_item:false,run_away:false,save_game:false}我想要一个计算结果为true的bool表达式，当且仅当:fight为true，其余为false(如上图所示)。我可以一起解决这个问题，但我正在努力训练自己编写更优雅的ruby​​。谢谢!编辑:黑客是:(options[:fight]==true&&options.delete(:fight).values.all{|x|!x}) 最佳答案 假设所有值都是严格的bool值，它很简单:options=

随机推荐