好久不见（鞠躬
今年以来的主要工作方向之一就是部门内流批一体能力的建设与落地。虽然这个概念早已成为老生常谈，并且笔者现在还没什么fancy的成果（惭愧），但今天还是想随便写几句来聊聊。
考虑经典的Lambda Architecture。
这种架构的出现是历史必然，因为那时的流计算引擎以Storm为代表，而它们都无法提供Exactly-Once语义，所以任何一点小的扰动（延迟、网络问题、系统异常、etc.）就很可能导致实时数据失真。而以Hive on MapReduce为代表的批计算引擎和数据仓库组件早已成熟，因此能够提供准确的离线数据，并且还能为实时数据做出修正。
Lambda Architecture的问题在于两点：其一，speed layer和batch layer采用的是两套技术栈、两套API，开发及维护成本高；其二，流处理和批处理的范式一致性无法保证，产生的结果往往割裂。而Dataflow Model、流批一体及其后的各种implementations的出现，恰好解决了这两个问题，用户可以通过实现流批一体来降本增效，并对齐数据口径。
关于流批一体，至今实际上仍然缺乏统一的定义（如果有的话，请看官务必留言）。个人比较认同的定义如下，这句话来自Flink Forward Asia 2021 Online上莫问大佬的主题演讲<<Flink Next, Beyond Stream Processing>>：
使用同一套API、同一套开发范式来实现大数据的流计算和批计算，进而保证处理过程与结果的一致性。
Google Dataflow Model提出，与Streaming / Batch这种像是描述计算引擎语义的字眼相对，它们原生面向的Unbounded / Bounded Data才更接近本质。由于有界数据天然地是无界流的一部分，就使得“流处理先行，将批处理作为流处理特例”的思路成为可能，同时形成了流批一体的理论基础。
当然，相对于批处理，流处理要更多地考虑数据准确性、延迟、资源消耗之间的trade-off，所以需要施加额外的约束，主要包括窗口模型、触发模型和增量更新模型。看官可参考论文原文，或笔者很久之前写过的解析文章，不再赘述。
计算和存储是大数据这枚硬币的两面，具体到流批一体这个细分领域，仍然免不了要套用这样的思路。
Flink从诞生起就遵循Dataflow Model的设计思想，也是这条道路上的先驱。从1.9版本开始到目前的1.15版本，Flink社区做了大量努力来将它打造成一个真正流批一体的引擎，包括但不限于：
关于以上要点，笔者今后会写文章专门阐述。
目前来看，Flink SQL由于其易学习性、通用性、互操作性和元数据能力，已经成为实现流批一体计算的事实标准。特别地，Flink SQL对CDC数据接入、流批join/维表join操作、Hive集成、UDF等特性的深入支持，使得它在流批一体构建ETL pipeline和实时数仓方向具有天然的优势。Flink SQL的Connector / Format体系被设计为模块化、易于扩展的，这也让它能够方便地对接各类外部系统和数据模型，打通数据壁垒。
众所周知，OLAP引擎没有银弹，但是流批一体存储似乎有比较接近银弹的solution。
纯Kappa Architecture已经被证明是不靠谱的，因为虽然它的链路简单、时效性最好，但传统的消息队列只有有限的存储能力，一般只能保存有限量的Changelog，不能保存全量数据。并且分析型负载需要重放数据的overhead过大，也没有谓词下推等特性。新一代的消息队列如Pulsar、Pravega等在这方面做了增强，如Pulsar采用以Segment为中心的设计，支持层级化存储和海量数据归档，并提供了类文件操作的API，但应用还不广泛。
很多用户可能也会选择在streaming layer的上方额外接入类似ClickHouse、Doris等近实时OLAP组件，但这样会导致架构退化到Lambda Architecture。
排除以上两个option，数据湖组件显然最合适。不管是Iceberg还是Hudi，它们都具备以下优点：
当然，数据湖本身也是近实时存储，所以要牺牲一定的时效性。但在实际的业务中，要求达到亚秒级时效的场景很少，所以数据湖以及湖仓一体概念的兴起也就很自然了。
emm，写得太潦草了。
晚安。
无论您是想搭建桌面端、WEB端或者移动端APP应用，HOOPSPlatform组件都可以为您提供弹性的3D集成架构，同时，由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台（桌面/WEB/APP，而且某些客户端是“瘦”客户端）快速、方便地将数据接入到3D应用系统的解决方案，并且当访问数据时，在各个平台上的性能和用户体验保持一致，HOOPSPlatform将帮助您完成。利用HOOPSPlatform，您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品，HOOPSSDK包含的技术有：快速且准确的CAD
伴随农业机械化和智能化的发展，越来越多的人开始使用农机自动驾驶系统助力耕作，千耘农机导航的“星地一体”能力可有效解决信号受限的问题，实现作业提效。究竟什么是“星地一体”，又是如何解决智能化农机作业的痛点的？下面为大家揭秘。农机效率通常受限于通信网络目前虽然我国通讯网络的人口覆盖率达到99%，但地面移动通讯网络覆盖率仍小于国土面积的40%，而很多农田所在区域恰是山区、戈壁滩等偏远地区。两省交界地也会出现通信信号不稳定的状况；而国内大部分农机自动驾驶系统非常依赖通信网络，当通信网络弱的时候会出现系统掉线的现象，必须得携带小基站才能正常使用，极为繁琐。Q:什么是千耘农机导航“星地一体”能力？A:是星
前言：今天去校医院拔了两颗牙，太痛了，今天写的博客就比较水。1、有序数组的平方（双指针法）classSolution{public:vectorsortedSquares(vector&nums){intk=nums.size()-1;vectorresult(nums.size(),0);//创造一个数组result长度与nums相同for(inti=0,j=nums.size()-1;i2、长度最小的子数组（滑动窗口）classSolution{public:intminSubArrayLen(inttarget,vector&nums){intresult=INT32_MAX;//返回值
Python3.6.9Flink1.15.2消费KafakaTopicPyFlink基础应用之kafka通过PyFlink作业处理Kafka数据1环境准备1.1启动kafka(1)启动zookeeperzkServer.shstart(2)启动kafkacd/usr/local/kafka/nohup./bin/kafka-server-start.sh./config/server.properties>>/tmp/kafkaoutput.log2>&1&或者./bin/kafka-server-start.sh-daemon./config/server0.properties(3)查看进
英文标题：ANovelSignalDesignandAnalysisforNavcom中文标题：一种导通一体化信号设计分析作者：JiJing，ChenWei，LiuYuting，DuLuyao，LuHongyang一、背景简介 北斗三号全球系统已于2020年完成全球部署和联网服务（图1），而北斗三号之后,国家综合定位、导航、授时体系（PNT）的工作也被提上日程，即2030年将构建成一个以北斗系统为核心，弹性、泛在的国家综合PNT体系（图2）建成天地一体、覆盖无缝、安全可信、高效便捷的国家综合PNT体系，显著提升国家时空信息服务能力，满足国民经济和国家安全需求，为全球用户提供更为优质的服务
今天只有1道题，属于动态规划的01背包问题的应用。首先理解一下动态规划的01背包问题。推荐一个视频，动态规划DP0-1背包，这是我认为讲得最为通透的。很多讲解动态背包问题的，一上来就画二维表格，遍历背包或者遍历容量，其实本质上，根本就看不懂那个二维表格是什么意思，为什么容量每次都要从0开始遍历。从原理上讲，容量从0开始只是一种假设，为的是让后面的背包如果装东西了，那么背包容量就会减少，再减少了容量后，怎么挑选物品才会使得质量最高，因此需要从0遍历，这些都是起了给后面的递归初始化一个值的作用。 小偷偷东西，有一个8容量背包，那么他开始从编号4开始偷（也可以从编号1开始偷），他有两种选择，偷或者不
汽车供应链管理系统开发可以降低供应链成本和库存，并提高运营效率。如何打造高效B2B供应链电商平台？汽车供应链系统制作平台数商云表示，B2B供应链采购管理系统方案服务优势何在，汽车供应链管理系统解决方案既提高供应商的可视度、实现企业间沟通并提供高级系统集成，又为企业带来高投资回报率。现阶段国内汽车保有量、销量远低于全球发达国家市场水平，可见我国汽车以及汽配市场发展有较大的增长空间。因为国内大多数汽车交易、维修等汽车后市场服务具有高度的专业性、个性化、信息不对称特征，汽车企业仅凭线下模式难以实现大规模发展。B2B供应链电商系统平台解决方案，如何实现全网资源整合？汽车电商供应链采购系统服务商【数商云
思维随想录–ChatGPT商业预见仅代表个人的一些浅见想法，不具有任何权威指导性，欢迎各位同仁批评交流！后疫情时代，国内市场一片衰颓，百废待兴，国外头部企业裁员浪潮也是接踵而至，甚至是一度逆市场增长的互联网也显得疲软无力，人们已经对市场已经失去了期待。而这时，2022到2023之交，ChatGPT的出线，一石激起千层浪，引发了互联网世界的一场小高潮，尤其刺激了AIGC创业者们的神经，犹如垂死病中惊坐起，给人们带来了新世界的期望。大力出奇迹！OpenAI真的通过大模型、强算力使ChatGPT实现了比拟人类的自然语义理解能力，这真的算是一个历史性的突破了，AI真正意义上的从“人工智障”时代迈进了真
我正在将Rails应用程序部署到Windows机器上。我使用OSX和Linux进行所有开发，但最终的应用程序实际上将在Windows机器上运行。也就是说，我的客户正在寻找一个一体化的Apache(我不得不说服他放弃IIS)+Rails+应用程序部署/安装程序。他想为他的所有(基于Windows的)客户提供一张用于他们各自服务器的安装CD(他们都想要自己的设置)。有这样的东西吗？我意识到Capistrano存在，但这需要事先在主机上进行大量设置(尤其是对于Windows)，并且在这种特殊情况下不太可行。过去我使用InnoSetup(http://www.jrsoftware.org/is
完全背包其实就是每个物品可以使用无数次，给我们一个容器，装满这个容器的最大价值是多少。思路：如果求组合数就是外层for循环遍历物品，内层for遍历背包。如果求排列数就是外层for遍历背包，内层for循环遍历物品。完全背包的组合和排序518.零钱兑换II题目给你一个整数数组coins表示不同面额的硬币，另给一个整数amount表示总金额。请你计算并返回可以凑成总金额的硬币组合数。如果任何硬币组合都无法凑出总金额，返回0。假设每一种面额的硬币有无限个。题目数据保证结果符合32位带符号整数。示例1：输入：amount=5,coins=[1,2,5]输出：4解释：有四种方式可以凑成总金额：5=55=2
