草庐IT

MySQL统计表优化

coder 2023-10-01 原文

我需要在 MySQL 5.5 版本中创建一个表

该表将包含如下信息:

  • 用户浏览器(例如 Firefox 或 chrome)
  • 浏览器版本(例如:8.0 或 10)
  • 用户IP
  • 日期和时间(用户访问网站的时间)
  • 引荐来源网址(URL 或空)

这是我的想法:

create table statistics (
 browser varchar(255) not null,
 version float not null,
 ip varchar(40) not null,
 dateandtime datetime,
 referrer varchar(255)
);

我阅读了mysql.com我需要使用索引来加快查询速度，但现在我的问题是我应该创建什么索引才能使该表查询速度更快？

我需要查询所有字段eg:

  • 我想知道过去 7 天哪些浏览器访问过我们的网站，有多少
  • 我想知道我今天有多少用户
  • 我想知道上一小时我们得到了哪些 url(引荐来源网址)

谢谢

最佳答案

我会推荐这个:

使用整数代替字符/变量。这样你索引更快(引用者除外)。另外，我可以推荐获取汇总表。虽然它没有真正规范化，但查询将立即执行 - 特别是如果您有一个拥有大量流量的大型组织。

下面是表格:

create table statistics (
 browser tinyint(3) UNSIGNED not null default 0,
 version float(4,2) not null default 0,
 ip INT(10) UNSIGNED not null default 0,
 createdon datetime,
 referrer varchar(5000),
 key browserdate (browser, createdon),
 key ipdate (ip, createdon),
 // etc..
);

浏览器 0 = 未知，1 = firefox 等。这可以在您的代码中完成(因此您加载相同的代码来插入和选择)。我在这里不使用枚举，因为如果您需要更改表格并且您有数百万条记录，这可能会很痛苦。新浏览器 = 代码中的新编号，更改速度更快。

如果发生某些事情，此表可用于重新汇总所有其他表。所以你为内联汇总表创建一个索引(示例浏览器)

现在是汇总表:

create table statistics_browser_2011_11 (
 browser tinyint(3) UNSIGNED not null default 0,
 version float(4,2) not null default 0,
 number bigint(20) not null default 0,
 createdon datetime,
 unique key browserinfo (createdon, browser, version)
); // browsers stats for november 2011

这样当你插入(你得到用户访问网站时的日期并创建一个与表名匹配的$string)到这个表中你只需要使用 on duplicate key number =号码 +1。这样，当您检索浏览器统计信息时，速度非常快。

现在在这里您将必须创建一个合并表，因为如果您是该月的第二个并且您想要查询最近 7 天，您将需要当前月份和最后一个月的表。这里有更多信息:http://dev.mysql.com/doc/refman/5.1/en/merge-storage-engine.html

然后您对其他信息重复该过程:ip、referrer 等...

为了维护这些表，您必须创建一个 cronjob 来为下个月创建表。获取当前年/月的简单 PHP 脚本，如果不存在则为下个月创建表，然后合并它们)

这可能需要一些工作，但这是我在工作中(使用类似数据)处理 12 TB 数据和获取数据库的 5,000 名员工的方式。每个查询的平均加载时间约为每个请求 0.60 秒。

关于MySQL统计表优化，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/8270484/

MySQL统计表sectionnullbrowserindexing

有关MySQL统计表优化的更多相关文章

  1. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

  2. ruby-on-rails - 无法安装 mysql2 0.3.14 gem - 2

    我看到其他人也遇到过类似的问题，但没有一个解决方案对我有用。0.3.14gem与其他gem文件一起存在。我已经完全按照此处指示完成了所有操作:https://github.com/brianmario/mysql2.我仍然得到以下信息。我不知道为什么安装程序指示它找不到include目录，因为我已经检查过它存在。thread.h文件存在，但不在ruby​​目录中。相反，它在这里:C:\RailsInstaller\DevKit\lib\perl5\5.8\msys\CORE\我正在运行Windows7并尝试在Aptana3中构建我的Rails项目。我的Ruby是1.9.3。$gemin

  3. ruby - 如何使用 ruby​​ mysql2 执行事务 - 2

    我已经开始使用mysql2gem。我试图弄清楚一些基本的事情——其中之一是如何明确地执行事务(对于批处理操作，比如多个INSERT/UPDATE查询)。在旧的ruby-mysql中，这是我的方法:client=Mysql.real_connect(...)inserts=["INSERTINTO...","UPDATE..WHEREid=..",#etc]client.autocommit(false)inserts.eachdo|ins|beginclient.query(ins)rescue#handleerrorsorabortentirelyendendclient.commi

  4. ruby-on-rails - 当我通过 rvm 使用 rails3 时，如何在 ubuntu 上安装 mysql2 gem？ - 2

    我正在尝试绕过rails配置这个极其复杂的迷宫。到目前为止，我设法在ubuntu上设置了rvm(出于某种原因，ruby在ubuntu存储库中已经过时了)。我设法建立了一个Rails项目。我希望我的测试项目使用mysql而不是mysqlite。当我尝试“rakedb:migrate”时，出现错误:“!!!缺少mysql2gem。将其添加到您的Gemfile:gem'mysql2'”当我尝试“geminstallmysql”时，出现错误，告诉我需要为安装命令提供参数。但是，参数列表很大，我不知道该选择哪些。如何通过在ubuntu上运行的rvm和mysql获取rails3？谢谢。

  5. Ruby 缺少常量表达式优化？ - 2

    我希望Ruby的解析器会进行这种微不足道的优化，但似乎并没有(谈到YARV实现，Ruby1.9.x、2.0.0):require'benchmark'deffib1a,b=0,1whileb由于这两种方法除了在第二种方法中使用预定义常量而不是常量表达式外是相同的，因此Ruby解释器似乎在每个循环中一次又一次地计算幂常数。是否有一些Material说明为什么Ruby根本不进行这种基本优化或只在某些特定情况下进行？ 最佳答案 很抱歉给出了另一个答案，但我不想删除或编辑我之前的答案，因为它下面有有趣的讨论。正如JörgWMittag所说，

  6. ruby-on-rails - 优化读取数据库和写入csv文件 - 2

    我正在尝试从数据库中读取大量单元格(超过100.000个)并将它们写入VPSUbuntu服务器上的csv文件。碰巧服务器没有足够的内存。我正在考虑一次读取5000行并将它们写入文件，然后再读取5000行，等等。我应该如何重构我当前的代码以使内存不会被完全消耗？这是我的代码:defwrite_rows(emails)File.open(file_path,"w+")do|f|f该函数由sidekiqworker调用:write_rows(user.emails)感谢您的帮助! 最佳答案 这里的问题是，当您调用emails.each时，

  7. ruby - 如何获取我的 Sinatra 应用程序的代码覆盖率统计信息？ - 2

    我编写了一个Sinatra应用程序(网站)，我想收集网站代码的代码覆盖率信息。我是Ruby的新手，但Google告诉我rcov是一个很好的代码覆盖工具。不幸的是，我在网上可以找到的所有信息只显示了如何获取有关测试用例的代码覆盖率信息-我想要有关我的站点本身的代码覆盖率信息。我想要分析的特定站点文件位于“sdk”和“sdk/vendor”目录中，因此我通常使用“rubysite.rb”运行我的站点的地方我改为尝试以下操作:rcov-Isdk-Isdk/vendorsite.rb它显示了Sinatra启动文本，但随后立即退出，而不是像我的Sinatra应用程序通常那样等待网络请求。有人能告

  8. ruby-on-rails - 收集 Rails 应用程序使用统计信息的最佳方式 - 2

    我有一个Rails应用程序，用户可以在其中设置他们的域并在其中发布内容。我需要收集公共(public)流量统计信息，例如网页浏览量等。此功能的一个很好的例子是我作为客户可以看到的flickr使用统计信息。问题是收集使用信息的最佳方式是什么。应该通过解析日志文件来完成还是应该在运行时收集并存储在数据库中？是否有任何工具或Rails插件已经提供了此功能？此解决方案应该可以很好地扩展，即使每月有数千个域和数百万次网页浏览。 最佳答案 GoogleAnalytics可能是您最好的选择... 关于

  9. 软约束、硬约束、Minimum Snap的轨迹优化方法 - 2

    文章目录前言约束硬约束的轨迹优化Corridor-BasedTrajectoryOptimizationBezierCurveOptimizationOtherOptions软约束的轨迹优化Distance-BasedTrajectoryOptimization优化方法前言可以看看我的这几篇Blog1，Blog2，Blog3。上次基于MinimumSnap的轨迹生成，有许多优点，比如：轨迹让机器人可以在某个时间点抵达某个航点。任何一个时刻，都能数学上求出期望的机器人的位置、速度、加速度、导数。MinimumSnap可以把问题转换为凸优化问题。缺点：MnimumSnap可以控制轨迹一定经过中间的

  10. ruby-on-rails - 负载测试期间 Unicorn CPU 使用率激增，优化方法 - 2

    我对为我的RubyonRails3.1.3应用优化我的Unicorn设置的方法很感兴趣。我目前正在高CPU超大实例上生成14个工作进程，因为我的应用程序在负载测试期间似乎受CPU限制。在模拟负载测试中，每秒大约20个请求重放请求，我的实例上的所有8个内核都达到峰值，盒子负载飙升至7-8个。每个unicorn实例使用大约56-60%的CPU。我很好奇可以通过哪些方式对其进行优化？我希望能够每秒将更多请求汇集到这种大小的实例上。内存和所有其他I/O一样完全正常。在我的测试过程中，CPU越来越低。 最佳答案 如果您受CPU限制，您希望使用

随机推荐