我有一个很奇怪的问题。
我在 Ubuntu 上运行一个非常繁忙的 LAMP 网络服务(每天有超过一百万的访问者)，最近我遇到了 apache 响应缓慢的问题。
奇怪的是，网络服务器机器和数据库机器都没有达到任何限制。 CPU 使用率和内存看起来都不错(它们基本上甚至没有达到最大值的 10%)。 Apache 有足够的空闲进程来处理传入的请求。目前它每秒处理 350 到 500 个请求，配置为 800。
我试过 Mysql 设置 (innodb) 但没有成功。我检查了慢查询日志、进程列表等，没有任何慢查询或任何阻碍系统的迹象。
目前我唯一能做的就是在用户访问时禁用一些数据库调用来保持系统的速度。换句话说，限制每次用户访问时进行的数据库调用量。但我必须这样做的事实让我感到震惊，因为机器远未接近其极限。
我用 iotop 检查了磁盘使用情况，结果也不多。两台服务器都是双 AMD 16 核机器，配备 Vertex 4 SSD 和 16GB RAM。
我开始有点迷茫了，所以我想知道:你们对我还可以尝试或寻找的东西有什么建议吗？
小更新: 如果我运行以下查询，它会得到 21343。这可能意味着我的 12G innodb_buffer_pool_size 太小了？有没有可能是我遇到了问题？
SELECT CEILING(Total_InnoDB_Bytes/POWER(1024,2)) RIBPS FROM
(SELECT SUM(data_length+index_length) Total_InnoDB_Bytes
FROM information_schema.tables WHERE engine='InnoDB') A;
这是我的配置设置，两台机器的 top 和 iftop。
Apache:
Timeout 30
KeepAlive On
MaxKeepAliveRequests 0
KeepAliveTimeout 2
StartServers 100
MinSpareServers 100
MaxSpareServers 200
MaxClients 1000
MaxRequestsPerChild 0
Mysql:
default-character-set = utf8
skip-external-locking
skip-name-resolve
skip-locking
open_files_limit = 102400
wait_timeout = 30
interactive_timeout = 30
key_buffer = 16M
max_allowed_packet = 16M
thread_stack = 256K
thread_cache_size = 50
max_connections = 50000
table_cache = 4096
thread_concurrency = 8
innodb_thread_concurrency = 8
innodb_buffer_pool_size=12G
innodb_additional_mem_pool_size=10M
innodb_log_file_size=1500M
innodb_log_buffer_size=8M
innodb_flush_log_at_trx_commit = 0
tmp_table_size = 128M
max_heap_table_size = 128M
query_cache_limit = 5M
query_cache_size = 128M
log_slow_queries = /var/log/mysql/mysql-slow.log
long_query_time = 3
Top output apacheserver:
Tasks: 842 total, 1 running, 841 sleeping, 0 stopped, 0 zombie
Cpu(s): 3.0%us, 0.5%sy, 0.0%ni, 96.3%id, 0.0%wa, 0.0%hi, 0.2%si, 0.0%st
Mem: 16446884k total, 11921852k used, 4525032k free, 183140k buffers
Swap: 9541624k total, 58596k used, 9483028k free, 7439992k cached
Top output mysql server:
Tasks: 197 total, 1 running, 196 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.2%us, 0.2%sy, 0.0%ni, 99.5%id, 0.0%wa, 0.0%hi, 0.1%si, 0.0%st
Mem: 16446544k total, 16197496k used, 249048k free, 147632k buffers
Swap: 16755756k total, 277020k used, 16478736k free, 1976760k cached
iftop apache server:
TX: cumm: 5.68MB peak: 4.84Mb rates: 4.56Mb 3.11Mb 3.25Mb
RX: 973KB 647Kb 643Kb 556Kb 556Kb
TOTAL: 6.63MB 5.48Mb 5.19Mb 3.65Mb 3.79Mb
iftop mysql server
TX: cumm: 954B peak: 1.36Kb rates: 0b 541b 347b
RX: 4.59KB 4.69Kb 4.69Kb 2.89Kb 1.67Kb
TOTAL: 5.52KB 4.69Kb 4.69Kb 3.41Kb 2.01Kb
最佳答案
随着最新信息和评论的添加，一切都开始变得有意义了。
您的插入语句锁定表，造成瓶颈，可能是因为您的 userlog 表中的索引。
所以(假设的)流程是
用户请求页面
插入 userlog 表需要 x 毫秒，对于 x 毫秒的持续时间，表(或索引或自动增量列)被锁定，不允许在同一个表上执行其他插入语句
下一个用户在上一个插入完成之前出现，因此在插入到 userlog 表之前必须等待。有如此多的用户，队列迅速增长，导致响应时间非常慢，即使服务器刚刚启动也是如此。
解决方案(？):
这是大多数数据库系统的主要问题。我前段时间遇到过类似的问题，并通过创建一个包含单列(当然没有索引)的表来解决它，我在其中插入了我想要运行的 sql 语句。然后运行一个连接到数据库并在单个事务中执行所有语句的 cronjob(每 5 分钟一次)。我的流量低得多，硬件也差得多，因此您可能需要对上述解决方案进行一些微调。
您可以尝试的其他事情包括:
删除用户日志表的所有索引和自动增量
创建一个具有相同值但没有 ID 的辅助表，然后插入到真实的用户日志表并从辅助表中删除。 (与第一个类似)
为用户日志使用像 memcached 或 redis 这样的快速存储，并运行守护进程或 cron 来导出统计数据
使用异步数据库插入，例如使用监听套接字并将数据插入用户日志表的守护进程。然后您的脚本使用要插入的数据联系守护程序，守护程序立即响应，但将插入命令附加到 FIFO 队列中并在可能时插入。
附言。在高流量网页中发生时，插入和更新语句总是需要特别小心。 Select 语句要容易得多，只要您有适当的索引，您就不必担心它们
关于mysql - apache/mysql 响应缓慢但未达到 cpu/内存和限制，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/19939068/
作为我的Rails应用程序的一部分，我编写了一个小导入程序，它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是，与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存，我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关，因为当我删除对LDAP内容的调用时，内存使用情况会很好地稳定下来。此外，不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray，它们都是LDAP库的一部分。当我运行导入时，内存使用量最终达到超过1GB的峰值。如果问题存在，我需要找到一些方法来更正我的代
我是Google云的新手，我正在尝试对其进行首次部署。我的第一个部署是RubyonRails项目。我基本上是在关注thisguideinthegoogleclouddocumentation.唯一的区别是我使用的是我自己的项目，而不是他们提供的“helloworld”项目。这是我的app.yaml文件runtime:customvm:trueentrypoint:bundleexecrackup-p8080-Eproductionconfig.ruresources:cpu:0.5memory_gb:1.3disk_size_gb:10当我转到我的项目目录并运行gcloudprevie
ruby如何管理内存。例如:如果我们在执行过程中采用C程序，则以下是内存模型。类似于这个ruby如何处理内存。C:__________________|||stack|||------------------||||------------------|||||Heap|||||__________________|||data|__________________|text|__________________Ruby:? 最佳答案 Ruby中没有“内存”这样的东西。Class#allocate分配一个对象并返回该对象。这就是程序
导读：随着叮咚买菜业务的发展，不同的业务场景对数据分析提出了不同的需求，他们希望引入一款实时OLAP数据库，构建一个灵活的多维实时查询和分析的平台，统一数据的接入和查询方案，解决各业务线对数据高效实时查询和精细化运营的需求。经过调研选型，最终引入ApacheDoris作为最终的OLAP分析引擎，Doris作为核心的OLAP引擎支持复杂地分析操作、提供多维的数据视图，在叮咚买菜数十个业务场景中广泛应用。作者｜叮咚买菜资深数据工程师韩青叮咚买菜创立于2017年5月，是一家专注美好食物的创业公司。叮咚买菜专注吃的事业，为满足更多人“想吃什么”而努力，通过美好食材的供应、美好滋味的开发以及美食品牌的孵
文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co
在我做的一些网络开发中，我有多个操作开始，比如对外部API的GET请求，我希望它们同时开始，因为一个不依赖另一个的结果。我希望事情能够在后台运行。我找到了concurrent-rubylibrary这似乎运作良好。通过将其混合到您创建的类中，该类的方法具有在后台线程上运行的异步版本。这导致我编写如下代码，其中FirstAsyncWorker和SecondAsyncWorker是我编写的类，我在其中混合了Concurrent::Async模块，并编写了一个名为“work”的方法来发送HTTP请求:defindexop1_result=FirstAsyncWorker.new.async.
你好，我无法成功如何在散列中删除key后释放内存。当我从哈希中删除键时，内存不会释放，也不会在手动调用GC.start后释放。当从Hash中删除键并且这些对象在某处泄漏时，这是预期的行为还是GC不释放内存？如何在Ruby中删除Hash中的键并在内存中取消分配它？例子:irb(main):001:0>`ps-orss=-p#{Process.pid}`.to_i=>4748irb(main):002:0>a={}=>{}irb(main):003:0>1000000.times{|i|a[i]="test#{i}"}=>1000000irb(main):004:0>`ps-orss=-p
我看到其他人也遇到过类似的问题，但没有一个解决方案对我有用。0.3.14gem与其他gem文件一起存在。我已经完全按照此处指示完成了所有操作:https://github.com/brianmario/mysql2.我仍然得到以下信息。我不知道为什么安装程序指示它找不到include目录，因为我已经检查过它存在。thread.h文件存在，但不在ruby目录中。相反，它在这里:C:\RailsInstaller\DevKit\lib\perl5\5.8\msys\CORE\我正在运行Windows7并尝试在Aptana3中构建我的Rails项目。我的Ruby是1.9.3。$gemin
我已经开始使用mysql2gem。我试图弄清楚一些基本的事情——其中之一是如何明确地执行事务(对于批处理操作，比如多个INSERT/UPDATE查询)。在旧的ruby-mysql中，这是我的方法:client=Mysql.real_connect(...)inserts=["INSERTINTO...","UPDATE..WHEREid=..",#etc]client.autocommit(false)inserts.eachdo|ins|beginclient.query(ins)rescue#handleerrorsorabortentirelyendendclient.commi
这会导致Ruby出现内存问题吗？我知道如果大小超过10KB，Open-URI会写入TempFile。但是HTTParty会在写入TempFile之前尝试将整个PDF保存到内存吗？src=Tempfile.new("file.pdf")src.binmodesrc.writeHTTParty.get("large_file.pdf").parsed_response 最佳答案 您可以使用Net::HTTP。参见thedocumentation(特别是标题为“流媒体响应机构”的部分)。这是文档中的示例:uri=URI('http://e