草庐IT

ES迁移到TiDB总结

泰山与水 2023-04-08 原文

        ES迁移到同构库可以直接用ES的集群迁移工具，但是异构库就不能直接用现有的工具了；
参考ES reindex工具的底层实现api，我们选择用ScroolApi来通过程序迁移；

迁移之前需要准备

  1. es表所有字段的长度的最大值，因为历史数据跨度5年，且是非结果化数据，所有长度没有固定长度，tidb的所有字段需要设置成最大值，或者按照业务允许的原则截取存储
  2. es因为是非结构化数据，历史数据可能的字段个数和名字都有不一样的，这种需要提前统计分析出来
  3. 评估迁移数量数量，以此评估目标数据库需要准备的磁盘空间大小及目标库的存储方案
  4. 评估迁移周期
  5. 评估迁移数据任务是否影响目标库的生产业务开展

迁移程序设计

  1. 数据准确性：迁移的数据字段数量，内容要保证准确性
    1. 有核对准确性的方案
  2. 数据的总量正确：迁移总的数据量要能核对上
    1. 需要考虑迁移过程中增量数据怎么办？
    2. 迁移过程中如果失败了是不是可以断点续传接着失败前的任务继续
      1. 程序可以自己恢复的重试
      2. 需要修复程序再重试
    3. 数据唯一性保证，不能有重复数据，因此需要唯一键保证
  3. 迁移的过程中任务的管控
    1. 启动新任务
    2. 暂停任务
    3. 恢复暂停的任务
    4. 一键暂停所有任务
    5. 任务终结后资源可以自动释放回收
  4. 可靠性及安全保障
    1. 指定时间段，可以配置指定速率，保证业务不受影
TiDB移到

有关ES迁移到TiDB总结的更多相关文章

  1. 使用canal同步MySQL数据到ES - 2

    文章目录一、概述简介原理模块二、配置Mysql使用版本环境要求1.操作系统2.mysql要求三、配置canal-server离线下载在线下载上传解压修改配置单机配置集群配置分库分表配置1.修改全局配置2.实例配置垂直分库水平分库3.修改group-instance.xml4.启动监听四、配置canal-adapter1修改启动配置2配置映射文件3启动ES数据同步查询所有订阅同步数据同步开关启动4.验证五、配置canal-admin一、概述简介canal是Alibaba旗下的一款开源项目，Java开发。基于数据库增量日志解析，提供增量数据订阅&消费。Git地址：https://github.co

  2. SPI接收数据异常问题总结 - 2

    SPI接收数据左移一位问题目录SPI接收数据左移一位问题一、问题描述二、问题分析三、探究原理四、经验总结最近在工作在学习调试SPI的过程中遇到一个问题——接收数据整体向左移了一位（1bit）。SPI数据收发是数据交换，因此接收数据时从第二个字节开始才是有效数据，也就是数据整体向右移一个字节（1byte）。请教前辈之后也没有得到解决，通过在网上查阅前人经验终于解决问题，所以写一个避坑经验总结。实际背景：MCU与一款芯片使用spi通信，MCU作为主机，芯片作为从机。这款芯片采用的是它规定的六线SPI，多了两根线：RDY和INT，这样从机就可以主动请求主机给主机发送数据了。一、问题描述根据从机芯片手

  3. ES基础入门 - 2

    ES一、简介1、ElasticStackES技术栈：ElasticSearch：存数据+搜索；QL；Kibana：Web可视化平台，分析。LogStash：日志收集，Log4j:产生日志；log.info(xxx)。。。。使用场景：metrics：指标监控…2、基本概念Index（索引）动词：保存（插入）名词：类似MySQL数据库，给数据Type（类型）已废弃，以前类似MySQL的表现在用索引对数据分类Document（文档）真正要保存的一个JSON数据{name:"tcx"}二、入门实战{"name":"DESKTOP-1TSVGKG","cluster_name":"elasticsear

  4. Simulink方法总结和避坑指南（一）——Simulink入门与基本调试方法 - 2

    文章目录一、项目场景二、基本模块原理与调试方法分析——信源部分：三、信号处理部分和显示部分：四、基本的通信链路搭建：四、特殊模块：interpretedMATLABfunction：五、总结和坑点提醒一、项目场景  最近一个任务是使用simulink搭建一个MIMO串扰消除的链路，并用实际收到的数据进行测试，在搭建的过程中也遇到了不少的问题（当然这比vivado里面的debug好不知道多少倍）。准备趁着这个机会，先以一个很基本的通信链路对simulink基础和相关的debug方法进行总结。  在本篇中，主要记录simulink的基本原理和基本的SISO通信传输链路（QPSK方式），计划在下篇记

  5. 【动态规划】背包问题（详细总结，很全） - 2

    【动态规划】一、背包问题1.背包问题总结1）动规四部曲：2）递推公式总结：3）遍历顺序总结：2.01背包1）二维dp数组代码实现2）一维dp数组代码实现3.完全背包代码实现4.多重背包代码实现一、背包问题1.背包问题总结暴力的解法是指数级别的时间复杂度。进而才需要动态规划的解法来进行优化！背包问题是动态规划（DynamicPlanning）里的非常重要的一部分,关于几种常见的背包，其关系如下：在解决背包问题的时候，我们通常都是按照如下五部来逐步分析，把这五部都搞透了，算是对动规来理解深入了。1）动规四部曲：（1）确定dp数组及其下标的含义（2）确定递推公式（3）dp数组的初始化（4）确定遍历顺

  6. 关于ES集群信息的一些查看 - 2

    文章目录查看ES信息查看节点信息查看分片信息实际场景下ES分片及副本数量应该怎么分关于ES的灵活使用查看ES信息查看版本kibana：GET/查看节点信息GET/_cat/nodes?v解释：ip：集群中节点的ip地址；heap.percent：堆内存的占用百分比；ram.percent：总内存的占用百分比，其实这个不是很准确，因为buff/cache和available也被当作使用内存；cpu：cpu占用百分比；load_1m：1分钟内cpu负载；load_5m：5分钟内cpu负载；load_15m：15分钟内cpu负载；node.role：上图的dilmrt代表全部权限master：*代表

  7. linux查看es节点使用情况,elasticsearch（es） 如何查看当前集群中哪个节点是主节点（master） - 2

    elasticsearch查看当前集群中的master节点是哪个需要使用_cat监控命令，具体如下。查看方法es主节点确定命令，以kibana上查看示例如下：GET_cat/nodesv返回结果示例如下：ipheap.percentram.percentcpuload_1mload_5mload_15mnode.rolemastername172.16.16.188529952.591.701.45mdi-elastic3172.16.16.187329950.990.991.19mdi-elastic2172.16.16.231699940.871.001.03mdi-elastic4172

  8. c# - 如何从 .NET 风格的 TDD 迁移到 Ruby？ - 2

    我一直在努力将我用于测试驱动.NET代码的标准方法调整为Ruby。例如，我正在编写一个类，它将:graball*.markdownfilesfromadirectoryforeachfile:extractcodesamplesfromfilesavecodetofile.csinoutputdirectory通常对于.NET，我最终会得到类似这样的东西:classExamplesToCode{publicExamplesToCode(IFileFinderfinder,IExampleToCodeConverterconverter){...}publicvoidConvert(st

  9. ruby-on-rails - 从 Rails 2 迁移到 Rails 3 - 2

    这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:Rails3deprecatedmethodsandAPIs有哪些资源(免费或付费)可以帮助您完成将RubyonRails2应用程序迁移到Rails3的过程？我在RoR网站的某个地方看到了一些博客文章(其中一些似乎已经过时)和一本出售的电子书，但是您可以推荐什么作为对从版本2到版本3的变化以及需要什么的准确和完整的解释移植到Rails3环境时要更新？

  10. 五-1、elasticsearch集群搭建(ES集群搭建) - 2

    目录一、下载Elasticsearch1.选择你要下载的Elasticsearch版本二、采用通用搭建集群的方法三、配置三台es1.上传压缩包到任意一台虚拟机中2.解压并修改配置文件(配置单台es)3.配置三台es集群4.设置后台启动和开机自启(可选)一、下载Elasticsearch1.选择你要下载的Elasticsearch版本es下载地址这里我下载的是二、采用通用搭建集群的方法集群搭建方法三、配置三台es1.上传压缩包到任意一台虚拟机中上传方式有两种第一种：使用xftp上传直接拖动过去就可以了。第二种：使用lrzsz先安装yum-yinstalllrzsz切换到要上传的位置cd/opt/

随机推荐