这个问题类似于thisone.我正在使用以下PHP结合lazyload.js在网页中生成图像。此PHP的目的是自动/动态地从给定目录加载图像并避免直接超链接。当我尝试使用各种站点地图生成器(在线的和下载的)时，它们只能看到loader.gif而看不到正在加载的真实图像。我知道我可以手动createanimagesitemap.xml并上传到GoogleSearchConsole，但我想避免这种情况，因为我有大量图片，其中许多可能会定期更改。这样的PHP是无法爬取的吗？是否有另一种更优雅的解决方案可以像这样动态生成图像，并且可以很好地与爬虫一起使用？提前致谢。";}}?>
如何停止谷歌对该页面的抓取https://www.example.com/index.php/en/component/jomres/?Itemid=0&task=search&page=1&towns%5B0%5D=calangute在jomres中，是否可以在robot.txt文件或任何其他解决方案中执行？ 最佳答案 是的，您可以通过添加以下行通过此页面的robots.txtDisallow:/index.php/en/component/jomres/?Itemid=0&task=search&page=1&towns%5B0
我有一个angularjs应用程序。为了使应用程序Ajax可抓取，我将所有“#”更改为“#!”.当我尝试使用谷歌网站管理员工具进行更改时，结果仍然会被重定向到索引页(主页)。我的网站网址类似于https://www.sample.com/web/我为获取和呈现输入的URL的其余部分类似于#!/wellness。问题是，我总是将呈现的googlebot快照作为主页(https://www.sample.com/web/的图像)。该获取尝试的“路径”列是/(我输入的部分是#!/wellness不存在)。 最佳答案 我终于找到了解决方案。
我需要开发一个Vue.jsSPA，其中一些页面需要被搜索引擎引用。我已经阅读了多种使SPA对SEO友好的方法，因此我找到了以下解决方案服务器呈现的页面预呈现由于我们有很多动态内容需要索引，为数据库中的每一“行”生成一个静态页面似乎是NotAcceptable，因为我们有数百甚至数千个内容页面。创建多条路线(一条供用户可视化，一条供机器人抓取)这个解决方案是我的经理提出的，我很感兴趣，因为它更适合我们的情况。IfoundthisarticlethatillustratestheideausinganotherSPAframework我的问题是如何检测爬虫或索引机器人访问了我们的SPA以便
关闭。这个问题是off-topic.它目前不接受答案。想改善这个问题吗？Updatethequestion所以它是on-topic对于堆栈溢出。8年前关闭。Improvethisquestion我们于去年2012年12月更新了网站。之后我们对需要的页面进行了301重定向，并避免了旧站点的一些页面到新站点。例如:在旧站点中，我们有http://www.mydomain.com/article/在新网站中，我们将其删除。新站点中的页面不存在/删除，我们将其重定向到404页面。一段时间以来Webmaster->CrawlerErrors->NotFound类别报告显示旧URL已被编入索引，它
我正在使用Wordpress开发联属网络营销网站。根据SEO政策，我们已将rel="nofollow"放入我网站上的所有附属链接。但是，有一个AmazonSearchWidget作为插件放置在我的网站上。它包含一些指向亚马逊的附属链接。此外，它被放置在IFRAME中。我只想知道..谷歌是否抓取IFRAMES？如果是，如果我不在包含附属链接的IFRAME中添加rel="nofollow"标签，Google会惩罚我的网站排名吗？如果是，请告诉我如何在javascript中放置一个rel="nofollow"标签。 最佳答案 M_Emam
关闭。这个问题需要更多focused.它目前不接受答案。想改进这个问题吗？更新问题，使其只关注一个问题editingthispost.关闭6年前。Improvethisquestion概述我想在使用真实域名的生产服务器上使用随机数据测试一些Django网站，但这些网站将是使用可能重复数据的简单测试(很可能不遵循Google规则)。我知道通常为此你使用开发/暂存/虚拟框来完成这样的任务，但我确实想直接使用带有真实DNS的生产框。现在，我对网站开发和SEO有点陌生，我不想搞乱SEO和Google。在这里进行的正确方法是什么？我应该尽量避免以某种方式被谷歌索引/抓取吗？还有其他建议吗？
我有2个网站，即www.sample1.com和www.sample2.com。我有一个项目ID，即1。此项目1具有名为channel的属性，实际上属于www.sample2.com。但在www.sample1.com中，我有一个逻辑来检查请求的项目(在本例中为项目1)是否具有channel=sample2。如果是这样，我会将其重定向到www.sample2.com。我的问题是:即使项目1属于www.sample2.com，它也会在www.sample1.com下被抓取谷歌爬虫。知道如何解决这个问题吗？更新1www.sample1.com和www.sample2.com共享同一个数据库
我的网站有大约500.000页。我制作了sitemap.xml并在其中列出了所有页面(我知道每个文件限制50.000个链接，所以我有10个站点地图)。无论如何，我在webmastertool中提交了站点地图，一切似乎都正常(没有错误，我可以看到提交和索引链接)。Hoverer我经常遇到蜘蛛网问题。GoogleBot每天抓取同一页面4次，但在sitemap.xml中我告诉该页面每年都会更改。这是一个例子http://www.domain.com/destitution2015-01-01T16:59:23+02:00yearly0.11)那么如何告诉GoogleBot不要过于频繁地抓取，
为了简化我的工作，我开发了一个原型(prototype)，可以由不一定具备更新我的代码所需技能的用户进行更新。这样HTML就可以不用管了，所有需要更新的都是更新链接、文本和图像的变量。所以我的问题是，如果它是手动输入的，Google是否能够像往常一样抓取它？var$banner=$('#banner');varbannerTxt="BannerTitle";varbannerUrl="/banner-url";$banner.attr('title',bannerTxt);$banner.html(""+bannerTxt+"");$banner.attr('href',bannerU
