我的网站上有一些我用排除的合法页面.主要目标是这些页面不会出现在搜索引擎中。我是否需要将它从我的sitemap.xml中排除，或者元标记是否足够。如果不是，为什么我需要包含它？ 最佳答案 搜索引擎使用站点地图来发现您的内容，因此添加您不希望被编入索引的内容并不是很有用。Thisdocumentationpage概述站点地图何时有用:AsitemapisafilewhereyoucanlistthewebpagesofyoursitetotellGoogleandothersearchenginesabouttheorganizati

我有一个多语言网站，内容相同但语言不同，并带有包含每页文章标题的描述性SEO网址。要在翻译文章的所述语言之间切换，我有一个操作使用以前的语言查找翻译的标题并重定向到它。这一切都很好，除了我注意到，尽管没有View，谷歌已经将所述重定向url编入索引。这是不好的做法吗？我不想301重定向，因为它似乎在每个页面上都有指向301重定向的链接是一个非常糟糕的主意。我是以某种方式包含元标记还是有其他方法？我现在有这个的原因是我希望每个文章页面都使用每个页面顶部的标志链接到它的所有翻译。我考虑得越多，我应该只生成直接url，因为这本身可能有seo好处。我最初没有走这条路的原因是页面渲染速度。我必须

我正在阅读html5样板extend.md文档，它指出:AccordingtoHeatherChamp,formercommunitymanageratFlickr,youshouldnotallowsearchenginestoindexyour"ContactUs"or"Complaints"pageifyouvalueyoursanity.添加的原因是什么？到联系我们页面？我想知道根本原因是否有助于识别其他可能不应编入索引的页面。我可以理解不将投诉页面编入索引的偏好，因为这些页面上可能会有一些非常关键的讨论。但我认为联系我们页面也不应该被编入索引很有趣。不幸的是，搜索这个主题很困

如果我有一个带有元标记的页面(“dontFollowMe.html”):...然后我链接到那个页面...我需要在a元素中包含nofollowrel属性吗？:signin谢谢 最佳答案 不，您不一定需要在没有索引的页面上使用nofollow(出于技术原因，如您的问题所述)。nofollow="不要将链接汁传递到此页面。就假装它不存在"。当然，这只是对搜索引擎的一个建议。noindex="不要将此页面编入索引。我不在乎其他链接到它的页面是否可关注，只是不要将它编入索引。"出于SEO的原因:如果这个问题假设您链接到一个内部页面，那么您问题

我有这样的网址:/产品/:product_id/交易/新/products/:product_id/deals/index我想在我的robots.txt文件中禁用“交易”文件夹。[编辑]我想禁止Google、Yahoo和BingBots使用此文件夹。有谁知道这些机器人是否支持通配符并支持以下规则？Disallow:/products/*/deals还有...关于robots.txt规则，您有什么真正好的教程吗？因为我没能找到一个“真正”好的，所以我可以使用一个......最后一个问题:robots.txt是处理此问题的最佳方法吗？或者我应该更好地使用“noindex”元数据？谢谢大家!

当我将页面指定为具有时，搜索爬虫是否查看描述和关键字元标记？我可以完全排除它们吗？ 最佳答案 您可以完全排除它们。搜索引擎不使用元关键字和描述进行索引。元描述仅用于在搜索结果中显示信息，但由于您没有为页面编制索引，因此创建描述没有意义。 关于seo-noindex页面是否需要元描述和关键字标签？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/26061891/

我手头有一个案例，我必须super确定google(或任何yahoo/bing就此而言)不会索引特定内容，所以冗余越多越好。据我所知，有3种方法可以实现这一点，我想知道是否还有更多方法(冗余是这里的关键):将元标记设置为无索引在robots.txt中禁止受影响的url结构post通过ajax加载内容所以如果这就是所有方法，那很好，但是如果有人有一些想法如何更加确定，那就太棒了:D(我知道这有点疯狂，但如果内容以某种方式出现在google中，我的公司会变得非常昂贵:'-() 最佳答案 呃，还有很多a)识别googlebot(与其他机器

关闭。这个问题是off-topic.它目前不接受答案。想改进这个问题吗？Updatethequestion所以它是on-topic用于堆栈溢出。关闭10年前。Improvethisquestion我有一个包含大约200个博客的网络(Wordpress多站点)，所有这些博客都在右侧的侧边栏上显示指向所有其他博客的链接(基本上每个页面的右侧都有200多个链接).我现在将其设置为rel="nofollow"，但我想知道将其更改为rel="noindex,nofollow"是否是个好主意？感谢您的任何意见。

最近我的网站遇到了很多软404错误，原因是自动生成的菜单链接返回未找到的页面。但它最终会随着时间的推移而充满内容，所以我想暂时禁止搜索引擎抓取这些页面。(例如PSP>KingdomHearts>Cheats。它将返回带有“抱歉，尚无作弊可用”消息的页面。)你们觉得这行得通吗？编辑:我已经从网站上删除了这些链接，但搜索引擎已经抓取并返回软404错误。 最佳答案 ...fromauto-generatedmenulinksreturningnotfoundpages.Butitwilleventuallyfilledwithconten

我目前维护一个网站的后端php代码，该网站允许我们的销售代表销售产品和服务。如果销售代表处于事件状态，他/她将获得一个“自定义”网站URL，该URL基本上将特定站点上的任何事件标记为该代表。销售仅在代表性网站上收集(我们这样做是为了“保护”我们的员工并确保他们觉得我们没有在公开的父网站上背后销售)。例如:www.site.com可能会突出显示所有可用的产品和服务，但不会让客户能够购买www.site.com/SOMEREPCODE其中SOMEREPCODE是特定代理的唯一标识符，提供相同的选项但可以销售该产品。这些销售代表有数千名，因此有数以千计的链接指向相同的页面和内容。最近，关于我