Google将www.example.com/myPage作为搜索结果显示。我不希望此/myPage被google索引，因此在页面中放置了一个robots.txt。停止在google中显示需要多长时间？我知道如果人们知道URL，他们仍然可以访问它，但我的目标只是将它从谷歌的搜索结果中删除。我对SEO的了解很少，我觉得答案可能会因网站流量和其他与SEO相关的因素而有所不同，但一般来说，这需要多长时间？ 最佳答案 抓取基于许多因素，例如PageRank、页面链接和抓取限制(例如URL中的参数数量)。许多因素都会影响单个网站的抓取频率。抓
我的老板让我研究各种改进我们网站SEO的方法，我一直在对此进行一些研究。我知道搜索引擎喜欢适合移动设备的网站，我使用了Google的网站管理员工具，发现它认为我们的网站适合移动设备。但是，我们缺少足够的robots.txt文件。我们想要做的是避免同一页面被索引两次(桌面版和移动版)，他建议我在robots.txt文件中包含我们网站的移动URL。但是，这样做会损害我们网站的排名吗？我了解到robots.txt下列出的文件不应该被编入索引，这引起了人们对人们在手机上搜索我们网站时是否能够看到我们网站的结果的担忧。 最佳答案 虽然我不建议
嗨，这是我在Stackoverflow中的第一个问题，你能帮忙吗？它涉及htaccess文件和robot.txt文件。十月份，我从以前的非WordPress网站创建了一个WordPress网站。我在现有站点的子域上构建了新站点，因此在我构建新站点时，事件站点可以保持事件状态。我在子域上建立的网站是活的，但我担心旧的htaccess文件和机器人txt文件是否应该删除它们；我在新站点上创建了新的htaccess和robots.txt文件，并将旧的htaccess文件留在那里。只需提及所有旧内容文件仍位于服务器上名为“旧文件”的文件夹下，因此我假设这些不会影响问题。以下是每个文件的内容:我通
我有一个用于内部目的的ExpressJS网络应用程序，我不希望Google为其编制索引。所以我实现了以下路线:app.get('/robots.txt',function(req,res){res.set('Content-Type','text/plain');res.send('User-agent:*\nDisallow:/');}我通过点击URL并检查响应来验证这工作正常，这是User-agent:*Disallow:/尽管如此，当我搜索网站标题时，我可以在Google上看到我的页面结果。该应用程序已经上线一年左右了，所以它不可能被缓存结果。发生这种情况还有其他可能的原因吗？有
案例如下:User-agent:*Disallow:/User-agent:GooglebotDisallow:/test在这种情况下，Googlebot是否能够完成它的工作？我想也许是因为该文件只指定不允许对Googlebot进行/test，所以Googlebot可以在除/test之外的其他目录上执行它们的工作？ 最佳答案 问题:在这种情况下，Googlebot是否能够完成它的工作？回答:不是这种情况User-agent:*Disallow:/问题:我想也许是因为该文件只指定不允许对Googlebot进行/test，所以Googl
我有一个关于SEO、Robots.txt和wordpress的问题这是我的robots.txt的样子:User-agent:*Disallow:/cgi-binDisallow:/wp-adminDisallow:/wp-includesDisallow:/wp-content/pluginsDisallow:/feedDisallow:/*/feedDisallow:/wp-login.phpDisallow:/tagDisallow:/trackbackDisallow:/*?*Disallow:/archive/Disallow:/rss/Disallow:/about/trac
我有一个关于Google抓取的页面数量的“双重”问题，它可能与可能的重复内容(或不重复)以及对SEO的影响有关。关于我的页面数量和被Google抓取的页面的事实我在两个月前推出了一个新网站。今天，它有近150页(每天都在增加)。无论如何，这是我的站点地图中的页面数。如果我查看Google网站管理员的“抓取统计信息”，我可以看到Google每天抓取的页面数量要大得多(见下图)。我不确定它是否真的好，因为它不仅让我的服务器更忙(一天下载903页5.6MB)，而且我担心它也会产生一些重复的内容。我在Google(site:mysite.com)上查看过，它给了我1290页(但只有191页显示
大家早上好我在www.mydomain.com/myAppp部署了一个应用程序。我创建了一个虚拟服务器并将myApp作为默认Web应用程序。因此，任何访问www.myDomain.com的人都会被重定向到www.myDomain.com/myApp。现在如何在google查找www.domain.com/robots.txt时将robots.txt文件添加到我的域。该应用程序由apachehttpd前端。如果您需要更多信息，请告诉我。谢谢，古瑟姆 最佳答案 robots.txt应该在应用服务器的ROOT目录下。对于tomcat，它位
我有以下具有相同内容的URL:http://www.mysite.com/forum/viewthread.php?thread_id=39&pid=1349http://www.mysite.com/forum/viewthread.php?forum_id=2&thread_id=39目前这是一个SEO明智的问题。我可以通过简单地将此添加到我的robots.txt来解决我的SEO问题吗:不允许:/forum/viewthread.php?forum_id=*&还是这不会解决任何问题？ 最佳答案 要回答是的问题，您可以使用robo
关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗？通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion我不想在搜索结果列表中看到Robots.txt。我正在处理一个asp.net项目。我发现了一些失败的解决方案，其中之一如下:Using"X-Robots-Tag"inheader.但我想隐藏一个txt文件，所以里面没有“标题”部分。感谢您的帮助。
