草庐IT

php - 如果存在重定向,Google 机器人是否会抓取整个网站

我有一个网站,可以在浏览三页后将用户重定向到登录页面。谷歌机器人是否能够查看我的所有页面,或者它是否也会被重定向。如果是这样,我该如何解决这个问题。我在一个关于googlebot的问题中找到了这个答案,if((!$user->uid)||(!strpos($_SERVER['HTTP_USER_AGENT'],"Googlebot"))||(!strpos($_SERVER['HTTP_USER_AGENT'],"MSNBOT"))){//redirectelse{//don'tredirect}这行得通吗? 最佳答案 不要向搜索引

web - 阻止 Google(和其他搜索引擎)抓取域

我们想为某些目的(称之为PR)打开一个新域。问题是我们希望域指向我们当前拥有的同一网站。我们根本不希望这个新域出现在搜索引擎(特别是Google)上。我们已经排除的选项:不能使用Robots.txt-它在两个域上的工作方式相同,这不是我们想要的。Therel=canonical不阻止-只建议索引类似的页面。原始页面最终可能会被编入索引。有办法处理吗?编辑关于.htaccess建议:我们在IIS7上。 最佳答案 rel=canonical不是建议。它准确地告诉谷歌要使用哪个页面。话虽如此,当您不想为域中的页面提供索引时,您可以使用`x

redirect - 谷歌抓取重定向到错误的网址

关闭。这个问题不符合StackOverflowguidelines.它目前不接受答案。这个问题似乎与helpcenter中定义的范围内的编程无关。.关闭8年前。Improvethisquestion不确定FetchasGoogle将如何重定向此urlhttps://www.tonergreen.com.my/HP-CF213A-131A-Magenta-Printer-Toner-Cartridge-Value-Pack-2X到错误的网址。我使用带有自定义主题的Opencart,如何解决这个问题?我担心这会影响页面seo排名。

seo - 如何使用 robots.txt 阻止机器人抓取分页?

我的网站上有各种分页,我想阻止谷歌和其他搜索引擎抓取我的分页索引。抓取页面示例:http://www.mydomain.com/explore/recently-updated/index/12如何使用robots.txt拒绝机器人抓取任何包含/index/的页面? 最佳答案 Disallow:/*?page=Disallow:/*&page= 关于seo-如何使用robots.txt阻止机器人抓取分页?,我们在StackOverflow上找到一个类似的问题:

wordpress - 如何停止重新抓取和重新索引我网站上的页面?

我的网站(Wordpress)上有大约200万个页面。谷歌总是在我的网站上抓取许多页面(重新抓取旧页面),最近花了大约3天的时间来索引新页面以便在谷歌结果中显示。如何停止重新抓取?我的站点地图示例:http://www.serze.com/post_part1.xml 最佳答案 阻止搜索引擎索引的选择是您的整个网站将无法被谷歌访问。之后您的网站将不会在搜索结果中排名。您可以在sitemap.xml中设置特定页面的更新频率。https://www.sitemaps.org/protocol.html(检查changefreq和prio

php - Google 抓取是否包含/需要 PHP 文件?

我是php的新手,我正在使用带有导航栏的php开发一个网站。这个网站将相当大(超过30页),如果我发现需要更改它,我不想在每个页面上都更改我的导航栏。我还希望Google的蜘蛛跟踪导航栏上的链接。如果我将导航栏放在包含文件中,Google会跟踪包含文件内的链接吗?包含文件是否是在每个页面上使用相同导航栏的正确方法?任何人都可以提供任何帮助,我们将不胜感激! 最佳答案 搜索引擎看不到您的PHP代码。他们看到其他人看到的,即代码的最终HTML输出。因此,使用包含不会影响他们查找和抓取该内容的能力。

ajax - Wicket 是否会妨碍 SEO 或搜索引擎的抓取能力?

我们来自GWT项目,由于SEO的问题不喜欢GWT用于我们的下一个项目,我们将清除GWT(主要是因为seo是下一个项目的高优先级)。在选择新框架时,我关注的是Wicket并喜欢我目前所看到的。我只完成了几个教程,但在查看war布局时(从这些教程中)看起来大部分html页面都在WEB-INF文件夹中。这会导致SEO和搜索引擎在站点文件中爬行时出现问题吗?理想情况下,我想将Wicket与一些AJAX结合使用并部署到GoogleAppEngine。 最佳答案 您的.jsps(或其他文件)是否存储在/WEB-INF中并不重要。这只是意味着无法

ajax - 如何使搜索引擎可抓取 ajax 内容

我有一个通过jquery.ajax()对结果进行分页的网站。URL看起来像:website.com/index.php?page=N我用谷歌搜索并找到了一些讨论它的帖子...所以我的理解是我需要替换“?”和”#!”。够了吗?此外,我应该在站点地图中包含每个页面的链接吗?website.com/index.php(priority1)website.com/index.php#!page=2(priority0.9)andsoon... 最佳答案 关于这个问题我能给出的最佳答案来自源代码,以下是Google希望您如何使AJAX内容可索

javascript - 搜索引擎如何抓取 Javascript?

如果我使用jQuerydocument.ready(认为页面已经加载)向图像添加随机关键字altattrb,它会如何影响搜索引擎?搜索引擎会得到我用任何JavaScript添加的alt属性吗?如果不是,它怎么能理解通过JavaScript发送的Ajax调用?我想将altattrb添加到我客户站点中没有的图像,以防他们忘记放置alt文本。jQuery将用关键字替换空的。这可能吗? 最佳答案 如果您使用JavaScript,搜索机器人无法读取它您需要使用服务器端语言将关键字添加到imgalt

apache - 禁止抓取 CDN 站点

所以我有一个网站http://www.example.com.JS/CSS/图像由CDN提供-http://xxxx.cloudfront.net或者http://cdn.example.com;它们都是一样的东西。现在CDN只提供任何类型的文件,包括我的PHP页面。谷歌也以某种方式抓取了该CDN站点;实际上是两个站点-来自cdn.example.com和http://xxxx.cloudfront.net.考虑我没有尝试设置子域或镜像站点。如果发生这种情况,那是我尝试设置CDN的副作用。CDN是某种网络服务器,不一定是Apache。我不知道那是什么类型的服务器。CDN上没有请求处理。