草庐IT

wordpress - 将 robots.txt 保持为空白

coder 2024-02-28 原文

我有几个 wordpress 网站，使用当前的 google seo 算法更新网站应该适合移动设备 (here)

我的查询如下，目前我在robots.txt中写了一条规则，禁止使用wp-抓取url

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /feed
Disallow: /*/feed
Disallow: /wp-login.php

我不希望谷歌抓取上述网址。早些时候它工作正常但现在随着最近的谷歌算法更新，当我不允许这些 url 时它将开始在移动友好测试中给出错误(here)。因为我所有的 CSS 和 JS 都在 wp-url 的后面。我想知道如何解决这个问题。 任何建议表示赞赏。

最佳答案

如果您让抓取工具远离这些文件，您的网页在 Google 上的外观和工作方式可能与在访问者看来不同。这是谷歌想要避免的。 允许 Google 访问 CSS 或 JS 文件没有问题，因为任何其他可以打开您的 HTML 源代码和阅读链接的人都可以访问它们。

因此 Google 肯定想访问您页面上使用的 CSS 和 JS 文件: https://developers.google.com/webmasters/mobile-sites/mobile-seo/common-mistakes/blocked-resources?hl=en

需要这些文件来呈现您的页面。

If your site’s robots.txt file disallows crawling of these assets, it directly harms how well our algorithms render and index your content. This can result in suboptimal rankings.

如果您依赖移动排名，则必须遵循 Google 的指导方针。如果没有，请随时阻止爬虫。

关于wordpress - 将 robots.txt 保持为空白，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/30920509/

wordpressrobotssectionDisallowmobilegoogle-analyticsseogoogle-search-console

有关wordpress - 将 robots.txt 保持为空白的更多相关文章

  1. ruby-on-rails - 如果为空或不验证数值，则使属性默认为 0 - 2

    我希望我的UserPrice模型的属性在它们为空或不验证数值时默认为0。这些属性是tax_rate、shipping_cost和price。classCreateUserPrices8,:scale=>2t.decimal:tax_rate,:precision=>8,:scale=>2t.decimal:shipping_cost,:precision=>8,:scale=>2endendend起初，我将所有3列的:default=>0放在表格中，但我不想要这样，因为它已经填充了字段，我想使用占位符。这是我的UserPrice模型:classUserPrice回答before_val

  2. ruby - 如何保持我不常用的编程语言技能 - 2

    关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭11年前。Improvethisquestion我不经常使用ruby​​-通常它加起来相当于每两个月或更长时间编写一次脚本。我的大部分编程都是使用C++进行的，这与ruby​​有很大不同。由于我与ruby​​之间的差距如此之大，我总是忘记语言的基本方面(比如解析文本文件和其他简单的东西)。我想每天练习一些基本的东西，我想知道是否有一些我可以订阅的网站，并且会向我发送当天的Ruby问题或类似的东西。有人知道这样的站点/Internet服务吗？

  3. ruby - 从谷歌开发者网站下载后，client_secret.json 为空 - 2

    我正在尝试从googleAPI下载client_secret.json。我正在执行https://developers.google.com/gmail/api/quickstart/ruby中列出的步骤.使用此向导在GoogleDevelopersConsole中创建或选择项目并自动启用API。在左侧边栏中，选择同意屏幕。选择电子邮件地址并输入产品名称(如果尚未设置)，然后单击“保存”按钮。在左侧边栏中，选择凭据并点击创建新客户端ID。选择应用程序类型已安装应用程序，已安装应用程序类型为其他，然后单击“创建客户端ID”按钮。点击新客户端ID下的下载JSON按钮。将此文件移动到您的工作

  4. ruby - 有没有更简洁的方法来检查 PGResult 是否为空？ - 2

    我正在使用pggem从Ruby与PostgreSQL对话。有没有检查是否没有结果比使用res.ntuples==0更好的方法？conn=PGconn.connectconfigcmd="select*fromlabelsinnerjoinlabels_mailusing(label_id)"+"wherelabels_mail.mail_id=$1andlabels.name=$2"res=conn.exec(cmd,[mail_id,mailbox])ifres.ntuples==0# 最佳答案 元组，打字错误？使用zero?比=

  5. ruby - @users 变量为空。忘记为 will_paginate 传递集合对象？ - 2

    问题localhost:3000/users/不会显示我谦虚地进入，因为我是第一次尝试通过Rails教程。我在第10章，我已经花了5个小时解决这个问题。当我尝试访问localhost:3000/users/时出现错误(我相信这与factory_girl有关)解释了@users变量为空并且我忘记了为will_paginate传递一个集合对象。我目前在第10章第10.23节，每次运行时:$bundleexecrakedb:reset$bundleexecrakedb:populate$bundleexecrakedb:test:prepare我在解释时遇到错误rakeaborted!Fac

  6. ruby-on-rails - 参数缺失或值为空 - 2

    我是Rails新手。得到下面的错误。我了解问题所在，但不确定如何解决？错误-参数缺失或值为空:客户defcustomer_paramsparams.require(:customer).permit(:first_name,:last_name,:email,:password,:password_confirmation)endendDetailsController.rbclassMy::Account::DetailsController:showelseredirect_tomy_account_details_path,:notice=>'Accountdetailsupda

  7. ruby-on-rails - 如果参数为空，则 Text_field_tag 默认值？ - 2

    如果params[:date]的参数为空，我希望我的text_field_tag将当前日期作为默认值，这是我目前的代码:我想要类似:谢谢 最佳答案 您可以简单地使用“或”运算符。如果params[:end]为空，它将使用Time.now。 关于ruby-on-rails-如果参数为空，则Text_field_tag默认值？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/35520

  8. Ruby 数组 - 如何使值在 nil 值上保持不变 - 2

    我正在处理一系列midi音高，看起来像这样......pitches=[60,nil,nil,nil,67,nil,nil,nil,nil,nil,nil,nil,nil,nil,nil,nil,nil,nil,nil,nil,nil,nil,nil,nil,nil,nil,nil,nil,nil,nil,nil,nil]在这种情况下，索引1、2和3上的间距仍然是60。索引4之后，音高仍然是67。如何编写一个方法来识别先前的非零值？目前我能想到的唯一方法看起来有点笨拙:defpitch_at_step(pitches,step)ifpitches.any?x=pitches[step]

  9. Ruby 的 ARGV 在 Windows 上可以为空，具体取决于运行脚本的方式 - 2

    我的演示.rb:putsARGV.sizeARGV.eachdo|a|puts"Argument:#{a}"end结果取决于我们如何运行脚本:>demo.rbfoobar0>rubydemo.rbfoobar2Argument:fooArgument:bar为什么会这样？可以用这个做点什么吗？编辑:感谢所有回复!这是我的设置:>assoc.rb.rb=rbFile>ftyperbFilerbFile="c:\ruby-1.8.6\bin\ruby.exe""%1"%*所以看起来是对的。但是我发现了>demo.rbfoobar使用这样的命令行启动进程:"C:\ruby-1.8.7\bin

  10. ruby - 在 ruby​​ 中下载多个 FTP 文件，如 d*.txt - 2

    我需要连接到一个ftp站点并下载一堆名为D*.txt的文件(最多6个)。你能帮我用Ruby编写代码吗？下面的代码就ftp=Net::FTP::new("ftp_server_site")ftp.login("user","pwd")ftp.chdir("/RemoteDir")fileList=ftp.nlstftp.getbinaryfile(edi,edi)ftp.close谢谢 最佳答案 最简单的方法是遍历fileList中的文件列表。这是一个例子(未经测试):ftp=Net::FTP::new("ftp_server_sit

随机推荐