关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭11年前。Improvethisquestion假设我有一个正在开发的网站...该网站可能有壁纸、问题和答案、信息(例如imdb、维基百科等)我需要做什么，以便当某些搜索引擎分析我网站的特定页面时，比如说“XYZ”，它会找到“XYZ”，如果内容出现在该页面中，它会找到“XYZ”内容...请原谅我的非技术术语...
User-agent:*Disallow:Disallow:/adminDisallow:/adminSitemap:http://www.myadress.com/ext/sm/Sitemap_114.xml我在我网站的根文件夹之一中找到了这个robots.txt文件。我不知道我做到了，也不知道是谁做到了。我认为这个文件不允许任何机器人管理文件夹。这很好。但我想知道这是否会阻止所有漫游器访问我网站上的所有文件？我已经用这个文件改变了它:User-agent:*Disallow:/adminAllow:/Sitemap:http://www.myadress.com/ext/sm/Si
关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭11个月前。Improvethisquestion许多搜索引擎未使用元关键字，Google通过最近的许多更新建议不使用元刷新等正在使用还是在各个国家/地区的逐页基础上，仍然有效还是现在没有用？
我正在尝试让robots.txt工作，以便搜索引擎开始索引我的网站并显示元信息，如描述等。但是，我收到此消息:Adescriptionforthisresultisnotavailablebecauseofthissite'srobots.txt–learnmore.这是我的robots.txt的样子。#Seehttp://www.robotstxt.org/wc/norobots.htmlfordocumentationonhowtousetherobots.txtfile##Tobanallspidersfromtheentiresiteuncommentthenexttwolin
关闭。这个问题不符合StackOverflowguidelines。它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。关闭8年前。Improvethisquestion我是否应该禁止robots.txt中的某些PHP页面，这些页面不是为了向用户显示内容，而是运行脚本并返回空白或输出非常少的代码以用于其他地方？例子:出现空白的PHP页面。示例是用于发送电子邮件的PHP页面由Ajax调用但不输出任何内容的PHP页面。由Ajax调用并输出响应代码(如JSON或XML)的PHP页面。包括页面，例如页面标题或配置文件的模板。简单地重定向到另一个页面的PHP页面。感谢你
我可以使用通配符对爬虫隐藏特定文件夹吗？User-agent:*Disallow:/system/Disallow:/v*我想隐藏所有以“v”字符开头的文件夹。它会这样工作吗？ 最佳答案 为此您根本不需要通配符。您的示例可以工作，但如果没有通配符，它也能正常工作。尾随通配符没有任何用处。例如，这个:Disallow:/x表示:“阻止任何以‘/x’开头，后跟零个或多个字符的路径。”还有这个:Disallow:/x*表示:“阻止任何以‘/x’开头，后跟零个或多个字符，再后跟零个或多个字符的路径。”这是多余的，它会阻止第一个阻止的所有
我想禁止特定网址中的所有参数。如果我添加这条规则:Disallow:/*?*它适用于所有url我想做什么:Disallow:/my-specific-url/*?*但根据Google网站管理员工具，此规则不起作用。 最佳答案 您的示例看起来应该可以正常工作，但您确实需要包含User-agent行。以下robots.txt文件:User-agent:*Disallow:/my-specific-url/*?*将阻止以下URL:http://example.com/my-specific-url/?http://example.com/
是否可以将SEO标签(例如“noodp”)添加到robots.txt文件而不是使用标签？我试图避免弄乱我们的CMS模板，尽管我怀疑我可能不得不...我可以尝试类似的东西吗...User-Agent:*Disallow:/hiddenSitemap:www.example.comnoodp:我认为robots.txt优先于元标记？例如，对于noindex，爬虫甚至不会看到有问题的页面。然而，对于像noodp这样的东西，情况仍然如此吗？ 最佳答案 您不能使用robots.txt执行此操作，但使用theX-Robots-Tagrespon
有人知道这是什么吗？我在我的robots.txt中找到了这个。这是某种加密字符吗？Disallow:/azr94v2hh2lg/ 最佳答案 Isthissomekindofencryptedcharacters?不，robots.txt不支持加密。显然，它的目的是成为一个不存在的URL，以抵消一些网络爬虫在多年前就应该出现的错误。我不知道这个的原始来源是什么，它完全有可能不再在线，但这里有一个关于这个问题的来源，它反过来引用了另一个似乎不再有这个内容的网站。摘自http://seoserviceguide.com/what-is-i
我在创建ConnectExpress帐户末尾的条纹令牌端点上发送“帖子”请求很难。当前，我的应用程序（iOS）正在打开OAuth链接（其中包含重定向的URI到我的服务器（Firebase函数））到Stripe制作的Express帐户创建网页。用户完成其帐户设置后，我将在后端收到授权代码，然后使用授权代码和client_secret_key将邮政请求发送到“https://connect.stripe.com/oauth/token“。我正在使用xmlhttprequestnpm在firebase函数中发送帖子请求并设置我的参数varparams="client_secret="+CLIENT_
