我目前正在与客户合作重新开发他们的网站。在发布之前我需要做的最后一件事是确保他们的旧网站页面正确重定向到新网站的新URL结构。不幸的是，当我查看Google以查看他们当前网站的索引情况时，这个相对较小的网站似乎有超过1500个页面被索引。当我查看Google上的索引链接时，许多似乎是同一页面的重复，但由于旧网站上使用的糟糕URI结构，Google以不同方式对待它们。例如，“map”页面在Google上至少被索引了两次，分别位于以下2个URL下:www.website.com/frame_page-map.html?mp_session=iris7k85851j05q55piqci31u

我的目标是抓取给定站点，并记录站点上每个页面的总有效负载的统计信息。我所说的有效负载是指下载原始文档、css、js、图像等后的字节数。我正在尝试制作一张图表，显示我网站上“最重”的页面，以便首先处理这些页面。有谁知道执行此操作的任何工具或技术？我的偏好是能够与使用PHP或Python的网络应用程序很好地集成。 最佳答案 我看过plentyofquestionsonSO关于Mechanize,他们通常看起来只用了很少的代码就完成了很多工作。 关于performance-抓取站点并为每个UR

system文件夹、img文件夹、css文件夹、js文件夹中包含与网站内容无关的代码。我们应该在robots.text中禁止它们吗？ 最佳答案 禁止目录使用robots.txt文件意味着:他们的内容不会被主要搜索引擎编入索引如果这些文件包含与您的网站无关的内容，和/或不应在搜索中返回，您可以这样做。但他们的内容仍然可供用户使用robots.txt只是对爬虫的指示——绝对不是禁止任何人访问的方法。 关于codeigniter防止系统文件夹和文件夹被索引，我们在StackOverflow上找

我正在尝试向ASP.Net中的htmlhead标记动态添加一个元素。这是我在母版页中的代码:publicstringLinkConincal{get{returnCanonical.Href;}set{Canonical.Attributes["href"]=value;}}我在每个页面上使用此母版页属性并将值设置为适当的链接。我的问题是，如果正在编码的url中有一个&字符(&=>&)，链接就会失效。要查看此示例，请在我的页面上www.kwyps.com/topic.aspx?t=11&p=1显示为而不是我想要的:如何禁用Url编码？或者这是有效的吗？我正在尝试出于SEO目的这样做。

有人知道如何更改微博论坛单个文章页面的元关键字和元描述标签吗？提前致谢。B 最佳答案 参见:http://www.vbulletin.com/forum/showthread.php/135764-How-do-I-change-meta-tagsAllCMSpageshavetheirownmetainformationinthebottomright,oftheeditingscreen(editingsectionsandeditingarticles)whereitsaysMetadataInformation.附:我认为h

我在这里手忙脚乱，不知道有没有人能帮忙。我最近将一个静态html网站移到了Umbraco。它在Windowsplesk共享计划上运行。我需要为旧内容设置301重定向到新内容但是:Umbraco不会收到对.html的请求，似乎没有办法做到这一点。我无法在plesk支持作为自定义错误文档的.html文件中运行任何服务器端。我打算使用客户端元重定向，但不确定Google等是否会正确阅读这些内容？ 最佳答案 我自己没用过，但是Umbraco301MovedPermanentlyproject看起来它可以满足您的需求。真正的诀窍是通过ASP.

我看过多篇关于在网站重新设计或Url刚刚更改为标准格式时重定向Urls的文章，但我需要知道当Url与旧Url没有关联时如何管理。例如，一个旧的Url可能是www.mysite.com/index.php?product=12但无法将该Url映射到新站点。我不希望搜索引擎认为该页面已损坏，因此我认为最好的办法是301重定向到主页，但我不确定如何有效地做到这一点。我是否可以将404错误页面更改为对主页执行301错误？此外，这是否会通过不同的网址导致重复内容的问题？不担心这些并让搜索引擎重新索引新网址是否更好？我正在运行带重写模块和ASP.NET2的IIS7。谢谢。

我正在使用Joomla1.6开发一个新网站，当从菜单以外的链接访问文章时，它会在我的文章中添加一个额外的h1标签。当他们从“最新消息”模块访问时，添加的h1标签包含文本“主页”，当从搜索结果访问时，h1的文本是“文章”。除了在包含搜索结果的页面中，还添加了带有文本“搜索”的h1标签。我想这个自动添加的标签与SEO-搜索引擎优化有关，但我不完全确定。有人知道如何删除这些标签吗？谢谢! 最佳答案 它改变的原因是因为它是通过CSS提取的。有几个文件您必须修改才能停止，而不是重新解释它，您可以访问此Joomla论坛链接以获得广泛的答案以及您

我的网站上有用户资料。用户可以通过选中复选框(可通过搜索引擎搜索)将其公开，并取消选中该复选框以阻止在搜索引擎上搜索该页面。站点在phpcodeignitor中。这是如何实现的？当用户取消选中该框以阻止页面公开时，我尤其迷失了方向，这是怎么做到的以及如何尽可能实时地做到这一点？一个很好的例子是fb或linkedin上的个人资料。 最佳答案 这不安全，但您可以检查访问者的引用URL，并通过查找搜索引擎的地址来允许/拒绝他们的请求。结果仍会显示在Google中，并且会有页面缓存(您可以使用标记停止)。基本上，警告用户当他们将页面设为公开

我们有一个带有很酷的事物名称的URL，例如:domain.com/name-of-a-news-with-cool-keywords-4673612453我的问题是关于最后一个散列，您通常用来从数据库中获取新闻ID的散列。我们的应用程序已经完成并以新文章ID在数据库中不是递增的方式构建，它们是“随机”INT(这样做是因为我们使用编码器/解码器函数生成Youtube的字母数字键)。我的一个friend告诉我把它改成更短的数字(这意味着要改变应用程序和内部逻辑中的很多东西)。SEO问题是:将短数字作为哈希值如此重要吗？我的意思是......这真的是SEP的改进吗domain.com/nam