草庐IT

大数据技术体系（长期更新）

Shockang 2023-07-19 原文

序言

2018~2021 年期间，笔者阅读了200+大数据相关的书籍和专栏。

本专栏为笔者，在多年读书笔记的基础上，结合自身的大数据开发心得体会，呕心沥血之作。

同时笔者也根据个人推荐度对引用的文献进行了排行，详情请见参考文献。

来点关注吧，万分感谢！

本专栏姊妹篇

100个问题搞定大数据理论体系

100个问题搞定Java虚拟机

100个问题搞定Java并发

目录结构

HDFS（3.2.2）

  1. Hadoop是什么？
  2. 为什么使用Hadoop？
  3. Hadoop3.x有哪些新特性？
  4. Hadoop1.x 和 Hadoop2.x 有什么区别？
  5. HDFS的设计目标是什么？
  6. HDFS的设计需求有哪些？
  7. HDFS是什么？
  8. 怎么看待 HDFS 的设计思想？
  9. HDFS和普通的文件系统有什么差异？
  10. 图文详解HDFS体系架构
  11. SecondaryNameNode有什么作用？
  12. HDFS心跳机制是什么？
  13. HDFS上大文件如何切分？
  14. Block块是不是设置的越大越好？Block块是不是设置的越小越好？
  15. HDFS的高可用和联邦是什么？
  16. HDFS Snapshot 是什么？
  17. HDFS高可用原理是什么？
  18. HDFS容错性设计有哪些？
  19. HDFS读写流程是怎样的？
  20. HDFS是如何删除数据的？
  21. HDFS存储大量小文件有什么问题？如何存储大量小文件？
  22. SequenceFile 是什么？怎么用？
  23. HDFS MapFile 是什么？
  24. Hadoop 序列化是什么？
  25. Hadoop RPC是什么？
  26. Block块的存储策略是什么？HDFS副本放置策略是什么？
  27. HDFS副本机制是什么？
  28. HDFS机架感知是什么？
  29. HDFS的数据负载均衡策略有哪些？
  30. 你认为HDFS该如何解决三副本带来的存储成本问题？Hadoop3.x 的文件纠删码技术是什么？
  31. HDFS支持SSD存储吗？
  32. HDFS集中式缓存管理是什么？
  33. HDFS的启动流程怎样的？
  34. HDFS是如何进行权限管理的？
  35. HDFS是如何进行配额管理的？
  36. HDFS的文件归档（Archive）是什么？
  37. 如何理解HDFS的安全模式？
  38. 如何保障 HDFS 的数据安全？
  39. HDFS 的 Kerberos 认证是什么？
  40. HDFS 常用的命令行操作有哪些？
  41. HDFS 代码怎么写？
  42. 如何在两个HDFS集群之间如何传输数据？
  43. 生产环境 Hadoop 集群对操作系统有哪些要求？
  44. HDFS如何调优？
  45. HDFS如何运维？
  46. HDFS常见的异常如何处理？

MapReduce（3.2.2）

  1. MapReduce是什么？有什么特点？
  2. MapReduce编程模型是怎样的？
  3. 为什么要淘汰MapReduce？
  4. MapReduce工作流程？
  5. 图文详解 MapReduce on YARN
  6. 如何解决MapReduce数据倾斜的问题？
  7. MapReduce 代码怎么写？
  8. MapReduce 的计数器（Counter）是什么？
  9. MapReduce如何调优？

YARN（3.2.2）

  1. YARN 的架构是怎样的？YARN 的核心组件有哪些？
  2. 谈谈你对 YARN 这个框架的理解？
  3. YARN应用提交过程是怎样的？
  4. YARN中有哪些调度器？
  5. YARN 的高可用设计有哪些？
  6. YARN 如何调优？
  7. 你认为传统的Yarn、Mesos调度方案存在哪些缺陷？Quasar 是什么？

Zookeeper（3.7.0）

  1. Zookeeper 3.6.3 安装部署教程
  2. Zookeeper是什么？
  3. ZooKeeper 有什么特性？
  4. ZooKeeper有哪些应用场景？
  5. 如何用 ZooKeeper 实现分布式锁？
  6. ZooKeeper的选举机制是怎样的？
  7. ZooKeeper 的 Watch 机制是什么？
  8. Paxos 算法详解

Hive（3.1.2）

  1. Hive 如何安装部署？
  2. Hive是什么？有什么特点？
  3. Hive与数据库的区别？
  4. Hive读时模式和写时模式的区别？
  5. Hive系统架构是怎样的？
  6. Hive的数据类型有哪些？
  7. Hive数据模型是什么？
  8. Hive 的内部表与外部表有什么区别？
  9. Hive 的分区表是什么？
  10. Hive 的工作原理是什么？
  11. Hive 的数据怎么导入导出？
  12. Hive 的静态分区和动态分区是怎么回事？
  13. 将数据直接上传到分区目录(hdfs)上，让Hive分区表和数据产生关联有哪些方式？
  14. Hive 中分区是否越多越好？
  15. Hive 的分桶表是什么？有什么作用？
  16. Hive 桶表是否可以通过直接 load 将数据导入？
  17. Hive 分区和分桶的区别？
  18. order by,sort by,distribute by,cluster by的区别是什么？
  19. 聚合函数是否可以写在 order by 后面,为什么？
  20. 什么情况下 Hive 可以避免进行 MapReduce？
  21. Hive 的数据压缩格式怎么选择？
  22. Hive 的文件存储格式怎么选择？
  23. Hive 的 SerDe 是什么？
  24. Hive 中如何解决多字符分割场景？
  25. Hive 如何调优？

HBase（2.4.4）

  1. HBase 怎么安装部署？
  2. HBase是什么？有什么特点？
  3. HBase 和 RDBMS 相比有什么区别？
  4. HBase 整体架构是什么？
  5. HBase 表的数据模型是什么？
  6. HBase 的数据存储原理是什么？
  7. HBase 的 flush 机制和 compact 机制是什么？
  8. HBase 的 region 拆分机制是什么？
  9. HBase 表的预分区是什么？为什么要预分区？如何预分区？
  10. HBase 热点是什么？怎么解决 HBase 热点？
  11. 如何搞懂 HBase 的内部原理？
  12. HBase 读写数据流程是咋样的？
  13. 一篇文章搞懂 HBase 的 BlockCache
  14. 一篇文章搞懂 HBase 的 Coprocessor
  15. 一篇文章搞懂 HBase 的 BulkLoad 机制
  16. 一篇文章搞懂 HBase 的 MSLAB
  17. 一篇文章入门 HBase 的 Java API
  18. HBase 怎样负载均衡？
  19. HBase 客户端 RPC 重试如何配置？
  20. HBase 如何避免 Full GC ？
  21. 哪些原因可能会导致 HBase 的 RegionServer 宕机？
  22. HBase 的 Shell 操作一应俱全

Flume（1.9.0）

  1. Flume 是什么？Flume 有什么特点？
  2. Flume的架构是怎样的？
  3. Flume 是怎么保障可靠性的？
  4. Flume 的可靠性级别有哪些？
  5. Flume 如何自定义 Mysql Source？
  6. Flume 如何自定义 Mysql Sink？
  7. Flume 怎样实现数据的断点续传？
  8. Flume 的使用场景是什么？

Sqoop（已经停止维护）

  1. Sqoop 是什么？
  2. Sqoop 的使用场景是什么？

Azkaban（3.30.1）

  1. 为什么需要工作流调度系统？
  2. Azkaban 是什么？有什么特点？
  3. Azkaban 基本架构是什么？
  4. Azkaban 的三种部署模式是什么？

Kafka（2.8）

  1. 为什么要有消息队列/消息引擎系统？
  2. Kafka 是什么？
  3. 为什么使用 Kafka？
  4. Kafka 核心概念有哪些？
  5. Kafka 的线上集群部署方案是怎样的？
  6. Kafka 集群常用命令有哪些？
  7. Kafka的 ack 的三种机制是什么？
  8. 如何提升 Kafka 生产者的吞吐量？
  9. 如何保证 Kafka 消息不丢失？
  10. Kafka 如何保证消息的有序性？
  11. Kafka 积压了百万消息如何处理？
  12. Kafka 如何实现自定义分区？
  13. Kafka 的客户端代码怎么写？
  14. Kafka 生产者压缩算法有哪些？
  15. Kafka 的幂等生产者是什么？
  16. Kafka 的事务生产者是什么？
  17. Kafka 的幂等性 Producer 和 事务型 Producer 有什么区别？
  18. Kafka 的 Java 生产者如何管理 TCP 连接？
  19. Kafka 的 Java 消费者如何管理 TCP 连接？
  20. Kafka 的拦截器是什么？怎么用？

Flink（1.13.2）

  1. 流计算框架对比？
  2. Flink 怎么部署安装？
  3. Flink 是什么？有什么特点？
  4. Flink 的编程模型是什么？
  5. Flink 功能模块是怎样的？
  6. Flink 的系统架构是怎样的？
  7. Flink 的集群部署模式有哪些？
  8. 一篇文章搞懂 Flink 的 Window
  9. Flink 的 Time 三兄弟
  10. 一篇文章搞懂 Flink 的 watermark 机制
  11. Flink 的状态保存和恢复
  12. Apache Flink 的 YARN Session 提交流程
  13. Apache Flink 的 Per-Job 提交流程
  14. Apache Flink 的 K8s Session 提交流程

ELK（6.7.0）

  1. Elasticsearch 怎么安装部署？
  2. ELK 是什么？
  3. 如何安装 elasticsearch-head 插件？
  4. Elasticsearch 的核心概念有哪些？
  5. Elasticsearch 怎么管理索引？
  6. 一篇文章入门 Elasticsearch 查询
  7. Elasticsearch 如何定义字段类型mappings ？
  8. Elasticsearch 的分页解决方案
  9. Elasticsearch 中文分词器 IK 的安装与使用

Maxwell

  1. Maxwell 是什么？

Presto

  1. 一篇文章了解 Presto

ClickHouse

ClickHouse 是什么？ClickHouse 有哪些特性？

Kylin

  1. Apache Kylin 是什么？
  2. Apache Kylin 有哪些特性？
  3. Apache Kylin 的预计算是怎么回事？
  4. Apache Kylin 的工作流程是什么？
  5. 一篇文章搞懂 Apache Kylin 4.x 的技术架构

Kubernetes

  1. Kubernetes 是什么？
  2. Kubernetes 有哪些特性？
  3. Kubernetes 的核心概念一网打尽
  4. Kubernetes 中的 Pod 是什么？
  5. Kubernetes 的系统架构是怎样的？

CDH/CDP

  1. CDH/CDP 是什么？
  2. Cloudera Manager —— 端到端的企业数据中心管理工具

Spark Core（3.3.0-SNAPSHOT）

因为笔者一直在研究 Apache Spark 的源码，故专栏中涉及 Spark 的源码版本都是基于 github 的 master 分支，当前版本号为：3.3.0-SNAPSHOT

Spark RDD 论文详解

Spark RDD 论文详解（一）摘要和介绍

Spark RDD 论文详解（二）RDDs

Spark RDD 论文详解（三）Spark 编程接口

Spark RDD 论文详解（四）表达 RDDs

Spark RDD 论文详解（五）实现

Spark RDD 论文详解（六）评估

Spark RDD 论文详解（七）讨论

Spark RDD 论文详解（八）相关工作和结尾

Spark 3.2.0 版本新特性 push-based shuffle 论文详解

Spark 3.2.0 版本新特性 push-based shuffle 论文详解（一）概要和介绍

Spark 3.2.0 版本新特性 push-based shuffle 论文详解（二）背景和动机

Spark 3.2.0 版本新特性 push-based shuffle 论文详解（三）系统设计

Spark 3.2.0 版本新特性 push-based shuffle 论文详解（四）实现优化

Spark 3.2.0 版本新特性 push-based shuffle 论文详解（五）评估结果

Spark 3.2.0 版本新特性 push-based shuffle 论文详解（六）相关工作

Spark 3.2.0 版本新特性 push-based shuffle 论文详解（七）结论

随笔

  1. 如何成为 Apache Spark 的 Contributor？
  2. Spark 2.3 安装部署
  3. 为什么Spark这么牛逼？
  4. Spark Core核心概念一网打尽
  5. RDD是什么？
  6. SparkContext是什么？有什么作用？
  7. SparkConf 是什么？有什么作用？
  8. SparkEnv 是什么？有什么作用？
  9. SecurityManager 是什么？有什么作用？
  10. DAGScheduler 是什么？有什么作用？
  11. DAGScheduler 是如何划分 Stage 的？
  12. DAGScheduler的调度流程是什么？
  13. TaskScheduler 是什么？有什么作用？
  14. 参考 Apache Spark 实现 Java 和 Scala 的 maven 混合编译
  15. Scala 的代码风格怎么统一？这份 scalastyle 配置你可以无脑复制
  16. 参考 Apache Spark 的源码自定义实现 Logging 日志打印工具
  17. 编译 Apache Spark 源码报错？那是因为你漏掉了关键操作
  18. 使用 Spark MLlib 实现线性回归
  19. 使用 Spark GraphX 实现 PageRank 算法
  20. Spark 3.0 新特性——加速器感知的任务调度
  21. Spark 异常问题汇总

Spark SQL（3.3.0-SNAPSHOT）

Spark SQL 内置函数

Spark SQL 内置函数（一）Array Functions（基于 Spark 3.2.0）

Spark SQL 内置函数（二）Map Functions（基于 Spark 3.2.0）

Spark SQL 内置函数（三）Date and Timestamp Functions（基于 Spark 3.2.0）

Spark SQL 内置函数（四）JSON Functions（基于 Spark 3.2.0）

Spark SQL 内置函数（五）Aggregate Functions（基于 Spark 3.2.0）

Spark SQL 内置函数（六）Window Functions（基于 Spark 3.2.0）

Spark SQL functions.scala 源码解析

Spark SQL functions.scala 源码解析（一）Sort functions （基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（二）Aggregate functions（基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（三）Window functions （基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（四）Non-aggregate functions （基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（五）Math Functions （基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（六）Misc functions （基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（七）String functions （基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（八）DateTime functions （基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（九）Collection functions （基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（十）Partition transform functions（基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（十一）Scala UDF functions（基于 Spark 3.3.0）

Spark SQL functions.scala 源码解析（十二）Java UDF functions（基于 Spark 3.3.0）

Spark SQL 工作流程源码解析

Spark SQL 工作流程源码解析（一）总览（基于 Spark 3.3.0）

Spark SQL 工作流程源码解析（二）parsing 阶段（基于 Spark 3.3.0）

Spark SQL 工作流程源码解析（三）analysis 阶段（基于 Spark 3.3.0）

Spark SQL 工作流程源码解析（四）optimization 阶段（基于 Spark 3.3.0）

Spark SQL 工作流程源码解析（五）planning 阶段（基于 Spark 3.3.0）

随笔

  1. Spark SQL是怎么发展起来的？
  2. Spark SQL是什么？
  3. Spark SQL 通过什么来实现？
  4. DataFrame 编程模型是什么？
  5. RDD 和 DataFrame 的区别是什么？
  6. 从 Spark 源码角度解读 Dataset
  7. 浅谈 Spark SQL 实现任务质量治理的思路
  8. Spark 中 Dataset.show 如何使用？有哪些值得注意的地方？
  9. Spark SQL 的 AQE 机制
  10. Spark SQL 如何自定义扩展？
  11. Spark SQL 支持哪些类型的 JOIN ？
  12. Apache Spark 怎么选择 JOIN 策略？
  13. Spark 3.x 版本的 Table Catalog API 是怎样的？
  14. Spark 3.x 的 WSCG 机制源码解析
  15. Spark 3.x 的 Exchange 体系源码解析
  16. 一篇文章学会 Spark 数据读写代码开发
  17. 一篇文章搞懂 Spark 3.x 的 CacheManager
  18. 一篇文章了解 Spark 3.x 的 Catalog 体系

参考文献（按推荐度排序）

官方文档都是要先阅读的，极客时间几个专栏都还不错，书籍推荐榜前几名强烈推荐！
后几名没什么必要去看，我都是引用了几句话所以加了进来。
博客引用不在推荐榜单排名内
随着专栏更新会不断更新~

  1. Hadoop 3.2.2 官方文档
  2. Spark 3.1.2 官方文档
  3. Kafka 2.8 官方文档
  4. HBase 2.4.4 官方文档
  5. Hive 3.1.2 官方文档
  6. 极客时间专栏《Kafka核心技术与实战》胡夕
  7. 极客时间专栏《从0开始学大数据》李智慧
  8. 极客时间专栏《大规模数据处理实战》蔡元楠
  9. 极客时间专栏《Spark核心原理与实战》王磊
  10. 《大数据架构详解:从数据获取到深度学习》朱洁，罗华霖编著
  11. 《图解 Spark:核心技术与案例实战》郭景瞻编著
  12. 《Spark SQL 内核剖析》朱锋、张韶全、黄明著
  13. 《Spark大数据商业实战三部曲:内核解密商业案例性能调优 第 2 版》王家林,段智华,夏阳编著
  14. 《Spark内核设计的艺术:架构设计与实现》耿嘉安著
  15. 《Hadoop专家:管理、调优与 Spark YARN HDFS安全》(美)山姆·阿拉帕蒂(SamR. Alapati)著; 赵国贤等译
  16. 《Hadoop权威指南（第3版）》（美）怀特(White,T.)著;华东师范大学数据科学与工程学院译
  17. 《企业数据湖》(印)汤姆斯・约翰(Tomcy John),(印)潘卡・米斯拉(Pankaj Misra)著；张世武,李想,张浩林译
  18. 《Spark内核机制解析及性能调优》王家林等编著
  19. 《Hadoop海量数据处理-技术详解与项目实战第2版》范东来著
  20. 《大数据技术体系详解:原理、架构与实战》董西成著
  21. 《Hadoop大数据技术原理与应用》 黑马程序员编著
  22. 《Hadoop大数据挖掘从入门到进阶实战:视频教学版》邓杰编著
  23. 《Hadoop & Spark大数据开发实战》肖睿、雷刚跃主编
  24. 《大数据开发与应用》青岛英谷教育科技股份有限公司,山东工商学院编著
  25. 《大数据时代 hadoop 技术及应用分析》韦鹏程,施成湘,蔡银英著
  26. 《从 Paxos到 Zookeeper:分布式一致性原理与实践》倪超著
  27. 《大数据技术及应用探究》胡沛，韩璞著
  28. 《云时代的大数据技术与应用实践》朱利华著
  29. 《云计算中的大数据技术与应用》梁凡著
  30. 《大数据技术概论》陈明编著
  31. 《大数据应用基础》娄岩主编
  32. 《Hadoop大数据分析》高水彬,钱亮宏,方志军编著
  33. 《大数据资源》朱扬勇主编
  34. 《大数据高可用环境搭建与运维》天津滨海迅腾科技集团有限公司编著
  35. MapReduce-Counter使用-快速实现大文件行数的统计
大数大数据Shockangarticledetails

有关大数据技术体系（长期更新）的更多相关文章

  1. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

    给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

  2. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  3. ruby-on-rails - 使用 rails 4 设计而不更新用户 - 2

    我将应用程序升级到Rails4，一切正常。我可以登录并转到我的编辑页面。也更新了观点。使用标准View时，用户会更新。但是当我添加例如字段:name时，它​​不会在表单中更新。使用devise3.1.1和gem'protected_attributes'我需要在设备或数据库上运行某种更新命令吗？我也搜索过这个地方，找到了许多不同的解决方案，但没有一个会更新我的用户字段。我没有添加任何自定义字段。 最佳答案 如果您想允许额外的参数，您可以在ApplicationController中使用beforefilter，因为Rails4将参数

  4. ruby - Ruby 有 `Pair` 数据类型吗？ - 2

    有时我需要处理键/值数据。我不喜欢使用数组，因为它们在大小上没有限制(很容易不小心添加超过2个项目，而且您最终需要稍后验证大小)。此外，0和1的索引变成了魔数(MagicNumber)，并且在传达含义方面做得很差(“当我说0时，我的意思是head...”)。散列也不合适，因为可能会不小心添加额外的条目。我写了下面的类来解决这个问题:classPairattr_accessor:head,:taildefinitialize(h,t)@head,@tail=h,tendend它工作得很好并且解决了问题，但我很想知道:Ruby标准库是否已经带有这样一个类？ 最佳

  5. ruby - 我如何添加二进制数据来遏制 POST - 2

    我正在尝试使用Curbgem执行以下POST以解析云curl-XPOST\-H"X-Parse-Application-Id:PARSE_APP_ID"\-H"X-Parse-REST-API-Key:PARSE_API_KEY"\-H"Content-Type:image/jpeg"\--data-binary'@myPicture.jpg'\https://api.parse.com/1/files/pic.jpg用这个:curl=Curl::Easy.new("https://api.parse.com/1/files/lion.jpg")curl.multipart_form_

  6. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD

  7. Unity 热更新技术 | （三） Lua语言基本介绍及下载安装 - 2

    ?博客主页：https://xiaoy.blog.csdn.net?本文由呆呆敲代码的小Y原创，首发于CSDN??学习专栏推荐：Unity系统学习专栏?游戏制作专栏推荐：游戏制作?Unity实战100例专栏推荐：Unity实战100例教程?欢迎点赞?收藏⭐留言?如有错误敬请指正！?未来很长，值得我们全力奔赴更美好的生活✨------------------❤️分割线❤️-------------------------

  8. FOHEART H1数据手套驱动Optitrack光学动捕双手运动(Unity3D) - 2

    本教程将在Unity3D中混合Optitrack与数据手套的数据流，在人体运动的基础上，添加双手手指部分的运动。双手手背的角度仍由Optitrack提供，数据手套提供双手手指的角度。 01  客户端软件分别安装MotiveBody与MotionVenus并校准人体与数据手套。MotiveBodyMotionVenus数据手套使用、校准流程参照：https://gitee.com/foheart_1/foheart-h1-data-summary.git02  数据转发打开MotiveBody软件的Streaming，开始向Unity3D广播数据；MotionVenus中设置->选项选择Unit

  9. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

  10. ruby-on-rails - 创建 ruby​​ 数据库时惰性符号绑定(bind)失败 - 2

    我正在尝试在Rails上安装ruby​​，到目前为止一切都已安装，但是当我尝试使用rakedb:create创建数据库时，我收到一个奇怪的错误:dyld:lazysymbolbindingfailed:Symbolnotfound:_mysql_get_client_infoReferencedfrom:/Library/Ruby/Gems/1.8/gems/mysql2-0.3.11/lib/mysql2/mysql2.bundleExpectedin:flatnamespacedyld:Symbolnotfound:_mysql_get_client_infoReferencedf

随机推荐