草庐IT

seo - Liferay robots.txt 新行消失

coder 2024-02-29 原文

我试图从搜索引擎中排除我所有的 liferay 测试环境。 新行正在消失，\r\n 或\n 作为分隔符也不起作用。

这是我的机器人文件:

User-agent: *
Disallow: /

这是我的 web.xml 片段:

<filter>
      <filter-name>RobotKiller</filter-name>
      <filter-class>com.robot.kill.KillARobot</filter-class>
</filter>

<filter-mapping>
      <filter-name>RobotKiller</filter-name>
      <url-pattern>/robots.txt</url-pattern>
</filter-mapping>

域/robots.txt:

User-agent: *Disallow: /

最佳答案

我想我知道问题出在哪里了。 Content-Type HTTP header在此文件上设置不正确。当内容类型应该设置为 text/plain 时，您将内容类型设置为 text/html。

当您在浏览器中查看该文件时，它会将其解释为将新行视为空格的 HTML。您应该能够使用浏览器的查看源代码功能来正确查看它的格式。

robots.txt 文件可能适用于搜索机器人，即使 Content-Type header 不正确，但最好不要冒险。

关于seo - Liferay robots.txt 新行消失，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18889014/

新行Liferayfiltersectioncodeseoweb.xmlrobots.txt

有关seo - Liferay robots.txt 新行消失的更多相关文章

  1. ruby-on-rails - environment.rb 中设置的常量在开发模式中消失 - 2

    了解Rails缓存如何工作的人可以真正帮助我。这是嵌套在Rails::Initializer.runblock中的代码:config.after_initializedoSomeClass.const_set'SOME_CONST','SOME_VAL'end现在，如果我运行script/server并发出请求，一切都很好。然而，在我的Rails应用程序的第二个请求中，一切都因单元化常量错误而变得糟糕。在生产模式下，我可以成功发出第二个请求，这意味着常量仍然存在。我已通过将以上内容更改为以下内容来解决问题:config.after_initializedorequire'some_cl

  2. ruby - 正则表达式匹配包括新行 - 2

    我有一个正则表达式来获取"*"之间的所有内容:str="Donecsedodiodui.*Nullamiddoloridnibhultriciesvehiculaut*"str.match(/\*(.*)\*/)[1]我希望匹配能够包含换行符。我该怎么做？ 最佳答案 您需要使用允许点匹配新行的m选项:Donecsedodiodui.*Nullamiddoloridnibhultriciesvehiculaut*regexstr.match(/\*(.*)\*/m)[1]实例:http://www.rubular.com/r/11u9

  3. ruby - 将 Ruby 中的字符串切成固定长度的字符串，忽略(不考虑/不管)新行或空格字符 - 2

    我有一个包含许多换行符和空格的字符串。我需要将它拆分成固定长度的子字符串。例如a="Thisissome\nText\nThisissometext"现在我想把它分成长度为17的字符串。所以现在它应该导致["Thisissome\nText","\nThisissometex","t"]评论:我的字符串可能包含任何字符(空格/单词等) 最佳答案 "Thisissome\nText\nThisissometext".scan(/.{1,17}/m)#=>["Thisissome\nText","\nThisissometex","t"

  4. ruby-on-rails - 我日志中的 [1m[35m] 是什么，我该如何让它消失？ - 2

    如果这个问题已经得到回答，我提前道歉。我一直在尝试在Google和StackOverflow上搜索此内容，但由于我的搜索查询中包含标点符号，因此搜索引擎往往会对其进行修改并给出无意义的结果。在我的rails应用程序(rails3.2.11，ruby1.9.3)中，我的日志经常是这样的:StartedGET"/apply/contact"for127.0.0.1at2013-01-2917:35:21-0600ProcessingbyJobApplicationsController#showasHTMLParameters:{"id"=>"contact"}[1m[36mJobAppl

  5. ruby - 在 ruby​​ 中下载多个 FTP 文件，如 d*.txt - 2

    我需要连接到一个ftp站点并下载一堆名为D*.txt的文件(最多6个)。你能帮我用Ruby编写代码吗？下面的代码就ftp=Net::FTP::new("ftp_server_site")ftp.login("user","pwd")ftp.chdir("/RemoteDir")fileList=ftp.nlstftp.getbinaryfile(edi,edi)ftp.close谢谢 最佳答案 最简单的方法是遍历fileList中的文件列表。这是一个例子(未经测试):ftp=Net::FTP::new("ftp_server_sit

  6. arrays - 为什么 Dir.glob ("*.txt").sort 也需要 .each？ - 2

    Dir.glob("*.txt"){|f|pf}打印文件名。Dir.glob("*.txt").sort{|f|pf}因ArgumentError失败。Dir.glob("*.txt").sort.each{|f|pf}按字母顺序打印文件名。为什么第二个失败了？更好的是，为什么第一个工作，有或没有.each？Dir.glob和Dir.glob.sort都是数组。Dir.glob.methods==Dir.glob.sort.methods。(受AlphabetizeresultsofDir.glob启发。不是Dir.globwithsortissue的副本，因为“第三个”已经回答了那个

  7. ruby-on-rails - rails 中子域的多个 robots.txt - 2

    我有一个包含多个子域的网站，我希望命名的子域robots.txt与www不同。我尝试使用.htaccess，但FastCGI没有查看它。所以，我试图设置路由，但似乎你不能直接重写，因为每条路由都需要一个Controller:map.connect'/robots.txt',:controller=>?,:path=>'/robots.www.txt',:conditions=>{:subdomain=>'www'}map.connect'/robots.txt',:controller=>?,:path=>'/robots.club.txt'解决这个问题的最佳方法是什么？(我正在为子域

  8. ruby - 新行列表到数组中 - 2

    我有一个包含新行的列表，我想将它转换成一个数组，例如JANFEBMARAPRMAY进入["JAN","FEB","MAR","APR","MAY]任何帮助将不胜感激。谢谢这样的东西似乎不起作用(text_file.txt包含上面的月份列表)file=File.new("text_file.txt","r")while(line=file.gets)line.chomplist=line.split(/\n/)puts"#{list}"end 最佳答案 这适用于1.9..不确定是否为空？虽然在1.8中可用%(JANFEBMARAPRM

  9. ruby-on-rails - 知道@vendor.name 后如何使 Ruby on Rails 中的 URL 对 SEO 友好？ - 2

    我的应用程序在RoR中我有一个名为showsummary的操作/View，其中ID已传递到URL，并且Controller使用它来实例化@vendor，其中@vendor.name是公司的名称。我希望URL是showsummary/1/而不是在URL中包含/vendor-name。我该怎么做？ 最佳答案 所有这些解决方案都使用find_by_name，这肯定需要在该列上有一个索引并且要求它们是唯一的。我们使用的一个更好的解决方案是在供应商名称前加上其ID，但牺牲了一点美观。这意味着您不必在名称列上有索引和/或要求唯一性。供应商.rb

  10. ruby - 在 Ruby 中获取 DNS TXT 记录 - 2

    我需要从DNS记录中获取txt字段。是否有任何ruby​​api可以做这样的事情？nslookup-q=txtxxxx.com 最佳答案 尝试安装dnsrubygem。代码得到积极维护，并在一些重要的生产系统中使用。require'rubygems'require'dnsruby'includeDnsruby#Usethesystemconfigurednameserverstorunaqueryres=Dnsruby::Resolver.newret=res.query("google.com",Types.TXT)printre

随机推荐