我的网站可以同时处理 40,000 人或更多人并且运行速度很快，但是搜索引擎机器人会杀死 mysql。这让我发疯，因为一旦机器人来了，网站就会显示“无法连接:连接太多”，我必须手动重启 mysqld 才能恢复网站。我已经处理这个问题一年了。我对 apache 和 mysql 调优做了很多调整，但似乎没有任何效果。我已将 max_connections 从 300 更改为 1800 再到 10000，但这并没有解决机器人问题。
我使用 Amazon Linux 并拥有一个巨大的实例/服务器。拉姆不是问题。我做了无数的技术支持，他们从来没有发现任何问题。所以我不得不假设它与我的编程有关。我不使用 Wordpress，我从头开始构建我的网站，但就像我说的那样，它可以处理 40,000 人没问题。机器人虽然崩溃了。
我的连接脚本很简单:
$connect=mysql_connect("localhost","user","password");
if (!$connect)
{
die('Could not connect: ' . mysql_error());
}
mysql_select_db("db",$connect);
奇怪的是，即使站点上有 2000 人，当前连接数始终为“1”。所以这就是为什么我觉得我在连接数据库时做错了什么。
有没有人有关于在机器人流量大的情况下保持网站始终运行的经验或建议？请!!!我再说一遍，这不是增加 max_connections 的问题。
最佳答案
MySQL 正在接受新连接，但无法处理所有查询。等待连接的数量会堆积起来，直到达到很多为止。
问题不在于 MySQL，而是行为不端的机器人。您可能不需要所有这些机器人每次都扫描您的整个站点。幸运的是，您可以控制它们。
第 1 步:创建一个 robots.txt 并禁止所有机器人，除了您关心的机器人。
User-agent: google
Disallow:
User-agent: yahoo
Disallow:
User-agent: msn
Disallow:
User-agent: *
Disallow: /
第 2 步: 创建站点地图。设置每个页面的最后修改时间，意味着机器人只会访问您网站上已更改的页面。您可以使用 PHP 库动态创建站点地图(查询您的数据库):thepixeldeveloper/sitemap .
在这个例子中，我们假设您有一个带有 pages 表的数据库。该表有一个 permalink 和 last_modified 列。
// sitemap.php
$urlSet = new Thepixeldeveloper\Sitemap\Urlset();
// Adding the URL for '/' to the XML map
$homeUrl = (new Thepixeldeveloper\Sitemap\Url('/'))
->setChangeFreq('daily')
->setPriority(1.0);
$urlSet->addUrl($homeUrl);
// Add URL of each page to sitemap
$result = mysql_query("SELECT permalink, last_modified FROM pages");
while ($page = mysql_fetch_asoc($result)) {
$url = (new Thepixeldeveloper\Sitemap\Url($page['permalink']))
->setLastMod($page['last_modified'])
->setChangeFreq('monthly')
->setPriority(0.5);
$urlSet->addUrl($url);
}
header('Content-Type: text/plain');
echo (new Thepixeldeveloper\Sitemap\Output())->getOutput($sitemapIndex);
您可以使用 Apache 中的重写规则(或其他 HTTP 服务器中的类似规则)将 sitemap.xml 重写为 sitemap.php。
RewriteEngine On
RewriteRule sitemap.xml sitemap.php [L]
这应该足够了，尽管可能有不遵守 robots.txt 的机器人。在您的 HTTP 服务器配置中检测并阻止它们(通过 IP 和/或用户代理)
还请考虑以下事项:
存在最大连接数，因此您的服务器不会过载。您应该进行基准测试以确定您的应用程序可以处理的最大并行请求数。将这个数字减少 20% 并将其设置为 HTTP 网络服务器和 MySQL 配置中的最大值。
这意味着您的服务器会在过载之前给出一个很好的 503 Service Unavailable 响应。这将使(表现良好的)机器人放弃并稍后再试，这意味着您的系统将在没有人工关注的情况下恢复。
您的脚本也应该以正确的 HTTP 响应退出。
$connect = mysql_connect("localhost", "user", "password");
if (!$connect) {
header("HTTP/1.1 503 Service Unavailable");
echo 'Could not connect: ' . mysql_error();
exit();
}
mysql_select_db("db", $connect);
关于php - 机器人正在使用 "too many connections"杀死 mysql。这不是增加最大连接数的问题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/42473102/
我正在尝试测试是否存在表单。我是Rails新手。我的new.html.erb_spec.rb文件的内容是:require'spec_helper'describe"messages/new.html.erb"doit"shouldrendertheform"dorender'/messages/new.html.erb'reponse.shouldhave_form_putting_to(@message)with_submit_buttonendendView本身，new.html.erb，有代码:当我运行rspec时，它失败了:1)messages/new.html.erbshou
我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中，我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-
我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库，所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po
尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub
为了将Cucumber用于命令行脚本，我按照提供的说明安装了arubagem。它在我的Gemfile中，我可以验证是否安装了正确的版本并且我已经包含了require'aruba/cucumber'在'features/env.rb'中为了确保它能正常工作，我写了以下场景:@announceScenario:Testingcucumber/arubaGivenablankslateThentheoutputfrom"ls-la"shouldcontain"drw"假设事情应该失败。它确实失败了，但失败的原因是错误的:@announceScenario:Testingcucumber/ar
我正在使用Sequel构建一个愿望list系统。我有一个wishlists和itemstable和一个items_wishlists连接表(该名称是续集选择的名称)。items_wishlists表还有一个用于facebookid的额外列(因此我可以存储opengraph操作)，这是一个NOTNULL列。我还有Wishlist和Item具有续集many_to_many关联的模型已建立。Wishlist类也有:selectmany_to_many关联的选项设置为select:[:items.*,:items_wishlists__facebook_action_id].有没有一种方法可以
我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止，这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search
由于fast-stemmer的问题，我很难安装我想要的任何rubygem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=
我遵循MichaelHartl的“RubyonRails教程:学习Web开发”，并创建了检查用户名和电子邮件长度有效性的测试(名称最多50个字符，电子邮件最多255个字符)。test/helpers/application_helper_test.rb的内容是:require'test_helper'classApplicationHelperTest在运行bundleexecraketest时，所有测试都通过了，但我看到以下消息在最后被标记为错误:ERROR["test_full_title_helper",ApplicationHelperTest,1.820016791]test
我使用的是Firefox版本36.0.1和Selenium-Webdrivergem版本2.45.0。我能够创建Firefox实例，但无法使用脚本继续进行进一步的操作无法在60秒内获得稳定的Firefox连接(127.0.0.1:7055)错误。有人能帮帮我吗？ 最佳答案 我遇到了同样的问题。降级到firefoxv33后一切正常。您可以找到旧版本here 关于ruby-无法在60秒内获得稳定的Firefox连接(127.0.0.1:7055)，我们在StackOverflow上找到一个类