草庐IT

seo - 机器人.txt : how to disallow subfolders of dynamic folder

coder 2024-02-27 原文

我有这样的网址: /产品/:product_id/交易/新 /products/:product_id/deals/index

我想在我的 robots.txt 文件中禁用“交易”文件夹。

[编辑] 我想禁止 Google、Yahoo 和 Bing Bots 使用此文件夹。有谁知道这些机器人是否支持通配符并支持以下规则？

Disallow: /products/*/deals

还有...关于 robots.txt 规则，您有什么真正好的教程吗？因为我没能找到一个“真正”好的，所以我可以使用一个......

最后一个问题: robots.txt 是处理此问题的最佳方法吗？或者我应该更好地使用“noindex”元数据？

谢谢大家! :)

最佳答案

是的，所有主要搜索引擎都支持基本通配符 *，您的解决方案将禁止您的 deals 目录。

了解 robots.txt 的最佳位置确实是 Google Developer page .它提供了大量示例，说明哪些有效，哪些无效。例如，许多人不知道 robots.txt 文件是特定于协议(protocol)的。因此，如果您想阻止 https 连接上的页面，您需要确保在 https://yoursite.com/robots.txt 处有一个 robots.txt。

您还可以在通过 Google Webmaster Tools 应用之前测试新的 robots.txt 文件。 .基本上，您可以在部署之前通过搜索引擎验证它是否真的有效。

关于使用 robots.txt 阻止某些内容或仅向页面添加 noindex，我更倾向于在大多数情况下使用 noindex，除非我知道我不希望搜索引擎抓取我网站的该部分完全没有。

有一些折衷。当您完全阻止搜索引擎时，您可以节省一些“抓取预算”。因此，搜索引擎会抓取其他页面，然后将时间“浪费”在您不希望他们访问的页面上。但是，这些 URL 仍会出现在搜索结果中。

如果您绝对不希望这些页面有任何搜索引荐流量，最好使用 noindex 指令。此外，如果您经常链接到交易页面，则 noindex 不仅会将其从搜索结果中删除，而且任何链接值/PageRank 都可以流经这些页面并可以进行相应计算。如果你阻止它们被抓取，那就有点像黑洞了。

关于seo - 机器人.txt : how to disallow subfolders of dynamic folder，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/17068876/

subfoldersdisallowrobotssectiontxtseorobots.txtnoindex

有关seo - 机器人.txt : how to disallow subfolders of dynamic folder的更多相关文章

  1. ruby - 在 Windows 机器上使用 Ruby 进行开发是否会适得其反？ - 2

    这似乎非常适得其反，因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby​​-mysqlgem问题(gem本身发生段错误，一个名为UnixSocket的类显然在Windows机器上不能正常工作，等等)。我只是在浪费时间吗？我应该转向不同的脚本语言吗？ 最佳答案 我在Windows上使用Ruby的经验很少，但是当我开始使用Ruby时，我是在Windows上，我的总体印象是它不是Windows原生系统。因此，在主要使用Windows多年之后，开始使用Ruby促使我切换回原来的系统Unix，这次是Linux。Rub

  2. ruby - 我的 Ruby IRC 机器人没有连接到 IRC 服务器。我究竟做错了什么？ - 2

    require"socket"server="irc.rizon.net"port="6667"nick="RubyIRCBot"channel="#0x40"s=TCPSocket.open(server,port)s.print("USERTesting",0)s.print("NICK#{nick}",0)s.print("JOIN#{channel}",0)这个IRC机器人没有连接到IRC服务器，我做错了什么？ 最佳答案 失败并显示此消息::irc.shakeababy.net461*USER:Notenoughparame

  3. 机器学习——时间序列ARIMA模型(四)：自相关函数ACF和偏自相关函数PACF用于判断ARIMA模型中p、q参数取值 - 2

    文章目录1、自相关函数ACF2、偏自相关函数PACF3、ARIMA(p,d,q)的阶数判断4、代码实现1、引入所需依赖2、数据读取与处理3、一阶差分与绘图4、ACF5、PACF1、自相关函数ACF自相关函数反映了同一序列在不同时序的取值之间的相关性。公式：ACF(k)=ρk=Cov(yt,yt−k)Var(yt)ACF(k)=\rho_{k}=\frac{Cov(y_{t},y_{t-k})}{Var(y_{t})}ACF(k)=ρk​=Var(yt​)Cov(yt​,yt−k​)​其中分子用于求协方差矩阵，分母用于计算样本方差。求出的ACF值为[-1,1]。但对于一个平稳的AR模型，求出其滞

  4. 建模分析 | 平面2R机器人(二连杆)运动学与动力学建模(附Matlab仿真) - 2

    目录0专栏介绍1平面2R机器人概述2运动学建模2.1正运动学模型2.2逆运动学模型2.3机器人运动学仿真3动力学建模3.1计算动能3.2势能计算与动力学方程3.3动力学仿真0专栏介绍?附C++/Python/Matlab全套代码?课程设计、毕业设计、创新竞赛必备！详细介绍全局规划(图搜索、采样法、智能算法等)；局部规划(DWA、APF等)；曲线优化(贝塞尔曲线、B样条曲线等)。?详情：图解自动驾驶中的运动规划(MotionPlanning)，附几十种规划算法1平面2R机器人概述如图1所示为本文的研究本体——平面2R机器人。对参数进行如下定义：机器人广义坐标

  5. 智能客服 | 浅谈人工智能聊天机器人ChatGPT - 2

    2022年底，OpenAI的预训练模型ChatGPT给人工智能领域的爱好者和研究人员留下了深刻的印象和启发，他展现的惊人能力将人工智能的研究和应用热度推向高潮，网上也充斥着和ChatGPT的各种聊天，他可以作诗、写小说、写代码、讨论疫情问题等。下面就是一些他的神回复：人命关天的坑： 写歌，留给词作者的机会不多了。。。 回答人类怎么样面对人工智能： 什么是ChatGPT？借用网上的一段介绍，ChatGPT是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型，一款人工智能技术驱动的自然语言处理工具。它能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动

  6. ruby - AWS 上远程机器上的进程计数 - 2

    我正在为在AmazonEC2实例上运行的应用程序设计一个AutoScaling系统。应用程序从SQS读取消息并对其进行处理。AutoScaling系统将监控两件事:SQS中的消息数量，所有EC2机器上运行的进程总数。例如，如果SQS中的消息数量超过3000，我希望系统自动缩放，创建一个新的EC2实例，在其上部署代码，当消息数量低于2000时，我希望系统终止EC2实例.我正在用Ruby和Capistrano做这件事。我的问题是:我无法找到一种方法来确定在所有EC2机器上运行的进程数并将该数字保存在变量中。你能帮帮我吗？ 最佳答案 您可

  7. ruby - 在 ruby​​ 中下载多个 FTP 文件，如 d*.txt - 2

    我需要连接到一个ftp站点并下载一堆名为D*.txt的文件(最多6个)。你能帮我用Ruby编写代码吗？下面的代码就ftp=Net::FTP::new("ftp_server_site")ftp.login("user","pwd")ftp.chdir("/RemoteDir")fileList=ftp.nlstftp.getbinaryfile(edi,edi)ftp.close谢谢 最佳答案 最简单的方法是遍历fileList中的文件列表。这是一个例子(未经测试):ftp=Net::FTP::new("ftp_server_sit

  8. ruby - 如何让 Selenium/Ruby 机器人在执行操作之前等待？ - 2

    我正在构建一个点击元素的Selenium/Ruby网络机器人。问题是，有时在机器人决定找不到元素之前没有足够的时间加载页面。让Selenium在执行操作之前等待的Ruby方法是什么？我更喜欢显式等待，但我也接受隐式等待。我尝试使用wait.until方法:require"selenium-webdriver"require"nokogiri"driver=Selenium::WebDriver.for:chromewait=Selenium::WebDriver::Wait.new(:timeout=>15)driver.navigate.to"http://google.com"dr

  9. ruby - 是否可以使用机器人打开浏览器，手动操作页面，然后继续使用机器人？ - 2

    我正在使用Ruby、SeleniumWebDriver和Nokogiri从网页中检索数据。加载正确的HTML后，我打印某个类的内容。例如，require"selenium-webdriver"require"nokogiri"browser=Selenium::WebDriver.for:chromebrowser.get"https://jsfiddle.net"doc=Nokogiri::HTML.parse(browser.page_source)doc.css('.aiButton').map(&:text).join(',')到目前为止，我发现最困难的部分是正确加载正确的HT

  10. ruby-on-rails - 使用 Rails 的 Messenger 机器人 : setup for multiple pages - 2

    我想创建一个供不同用户用于其Facebook页面的MessengerBot。我创建了一个Rails应用程序并使用facebook-messengergem.我成功创建了机器人，当我为一个页面设置时它可以工作。现在，我按照说明让我的机器人在多个Facebook页面上运行(请参阅"Makeaconfigurationprovider"section)。我是Rails的新手，我不确定将类ExampleProvider放在哪里？我把它放在我的config/application.rb文件中:require_relative'boot'require'rails/all'#Requiretheg

随机推荐