草庐IT

MySQL:数据库结构选择-大数据-重复数据还是桥接

coder 2023-10-10 原文

我们有一个 90GB 的 MySQL 数据库，里面有一些非常大的表(超过 1 亿行)。我们知道这不是最好的数据库引擎，但这不是我们目前可以改变的。

计划进行一次认真的重构(性能和标准化)，我们正在考虑几种有关如何重构表的方法。

数据流/存储目前是这样完成的:

  • 我们有一张表叫articles，一张连接表叫article_authors 和一张表authors
  • 一个作者可以有 1..n 个名字、1..n 个姓氏、1..n 个电子邮件
  • 每个作者都有一个唯一的父级 (unique_author)，除非该作者是父级

    • 可能的数据查询场景如下:
  • 获取给定文章的作者名字、姓氏和电子邮件
  • 获取名为 John Smith 的作者的唯一authors.id
  • 获取作者 John Smith 的所有文章

    • 当前的数据库架构如下所示:


    编辑:这个结构的主要问题是我们总是重复相似的 given_names 和 last_names。

    我们现在在两种不同的结构之间犹豫:
  • 大量的表，数据被拆分并且有ID的连接。主表中没有重复项:文章和作者。不确定这将如何影响性能，因为我们需要使用多个连接来检索数据，例如:


  • 数据被拆分到合理数量的表中，在表 article_authors(作者名字、姓氏和电子邮件替代项)中具有重复条目，以减少表的数量和应用程序代码的复杂性。一位作者可能有 10 个备选方案，因此我们将在 article_authors 表中为同一作者提供 10 个条目:

    • 最佳答案

    当前的模式可能是最好的。中间的表是多对多的映射表，对吗？遵循以下提示可以提高效率:http://mysql.rjweb.org/doc.php/index_cookbook_mysql#many_to_many_mapping_table

    重写 #1 闻起来像“过度规范化”。很大的浪费。

    重写#2 有一些优点。让我们谈谈电话号码而不是姓氏，因为一个人有多个电话号码(家庭、工作、手机、传真)是很常见的，但不太可能有多个名字。 (好吧，有些作者有化名)。

    将一堆电话号码放在一个单元格中是不切实际的；最好有一个单独的电话号码表，链接回他们所属的人。这将是 1:many。 (忽略两个人共用同一个电话号码的情况——因为共用一个房子，或者因为在同一家公司工作。让这个号码出现两次。)

    我不明白你为什么要拆分名字和姓氏。 “J.K.罗琳”的“名字”是什么？我建议将名称拆分为名字和姓氏是没有用的。

    单个作者将有一个唯一的“id”。 MEDIUMINT UNSIGNED AUTO_INCREMENT对这样的人有好处。 “J.K.罗琳”和“JK罗琳”都可以链接到同一个id .

    更多

    我认为拥有独一无二的id很重要对于每个作者。 id然后可以用于链接到书籍等。

    您已经指出将不同的拼写映射到一个 id 是具有挑战性的。我认为这本质上应该是一个单独的任务，有单独的表。你问的正是这个任务。

    也就是把数据库拆分，把你脑子里的任务拆分成:

  • 一组包含有助于推断正确内容的表格 author_id来自外部提供的不一致信息。
  • 一组表，其中author_id被认为是独一无二的。

    • (在 MySQL 的意义上，这是否是一对二 DATABASEs 无关紧要。)

    精神 split 可帮助您专注于两个不同的任务，此外还可以防止一些模式约束和困惑。你提出的架构都没有我提议的干净分割。

    您的主要问题似乎是关于第一组表格——如何将文本字符串(“JK Rawling”)转换为特定的 id。在这一点上，问题首先是关于算法的，其次才是关于模式的。

    也就是说，表的设计应该支持算法，而不是驱动它。此外，当新提供者带有一些奇怪的新文本格式时，您可能需要修改架构 - 可能为该提供者的数据添加一个特殊表。所以，不要担心在游戏早期就制作出完美的模式；运行计划 ALTER TABLE和 CREATE TABLE下个月甚至明年。

    如果提供者拼写一致，那么带有 ( provider_id , full_author_name , author_id ) 的表可能是一个很好的切入点。但这并不能处理拼写、新作者和新提供者的变化。我们正在进入快速需要人工干预的灰色地带。更糟糕的是两个同名作者的问题。

    因此，设计算法时假设简单数据可以轻松有效地从数据库中获得。从那以后，模式设计将很容易流动。

    这里的另一个提示......对于难以匹配的情况，一定程度的“蛮力”是可以的。大多数情况下，您可以轻松地将名称字符串映射到 author_id非常有效。

    从表中获取一百行可能更容易，它们会在您的应用程序代码中的算法中进行处理。 (SQL 对于算法来说相当笨拙。)

    关于MySQL:数据库结构选择-大数据-重复数据还是桥接，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/47555563/

    大数MySQLcodebr的bigdataschema

    有关MySQL:数据库结构选择-大数据-重复数据还是桥接的更多相关文章

    1. ruby - 使用 ruby​​ 将 HTML 转换为纯文本并维护结构/格式 - 2

      我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。 最佳答案 首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h

    2. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

      我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

    3. ruby - Ruby 有 `Pair` 数据类型吗？ - 2

      有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？ 最佳

    4. ruby - 是否有用于序列化和反序列化各种格式的对象层次结构的模式？ - 2

      给定一个复杂的对象层次结构，幸运的是它不包含循环引用，我如何实现支持各种格式的序列化？我不是来讨论实际实现的。相反，我正在寻找可能会派上用场的设计模式提示。更准确地说:我正在使用Ruby，我想解析XML和JSON数据以构建复杂的对象层次结构。此外，应该可以将该层次结构序列化为JSON、XML和可能的HTML。我可以为此使用Builder模式吗？在任何提到的情况下，我都有某种结构化数据-无论是在内存中还是文本中-我想用它来构建其他东西。我认为将序列化逻辑与实际业务逻辑分开会很好，这样我以后就可以轻松支持多种XML格式。 最佳答案 我最

    5. ruby - Rails 3 的 RGB 颜色选择器 - 2

      状态:我正在构建一个应用程序，其中需要一个可供用户选择颜色的字段，该字段将包含RGB颜色代码字符串。我已经测试了一个看起来很漂亮但效果不佳的。它是“挑剔的颜色”，并托管在此存储库中:https://github.com/Astorsoft/picky-color.在这里我打开一个关于它的一些问题的问题。问题:请建议我在Rails3应用程序中使用一些颜色选择器。 最佳答案 也许页面上的列表jQueryUIDevelopment:ColorPicker为您提供开箱即用的产品。原因是jQuery现在包含在Rails3应用程序中，因此使用基

    6. ruby - 我如何添加二进制数据来遏制 POST - 2

      我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

    7. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

      无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD

    8. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

      本教程将在Unity3D中混合Optitrack与数据手套的数据流，在人体运动的基础上，添加双手手指部分的运动。双手手背的角度仍由Optitrack提供，数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照：https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming，开始向Unity3D广播数据；MotionVenus中设置->选项选择Unit

    9. 使用canal同步MySQL数据到ES - 2

      文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

    10. ruby-on-rails - 创建 ruby​​ 数据库时惰性符号绑定(bind)失败 - 2

      我正在尝试在Rails上安装ruby​​，到目前为止一切都已安装，但是当我尝试使用rakedb:create创建数据库时，我收到一个奇怪的错误:dyld:lazysymbolbindingfailed:Symbolnotfound:_mysql_get_client_infoReferencedfrom:/Library/Ruby/Gems/1.8/gems/mysql2-0.3.11/lib/mysql2/mysql2.bundleExpectedin:flatnamespacedyld:Symbolnotfound:_mysql_get_client_infoReferencedf

    随机推荐