草庐IT

PB级区块链开源存储引擎“泓”Huge

长安链开源社区 2023-04-03 原文

区块链的特有属性使数据可追溯、不可篡改的同时弊端也很明显,采用的分布式存储技术需要每一个节点保存一份数据库,存储成本高;网络中发生的每笔交易都需要其它节点认证和记录,处理速度慢;这让区块链的系统的存储效率相较集中式存储受到诟病。作为数字经济新型信息基础设施,区块链需面对全国乃至全球的用户带来的海量数据上链存储需求。

长安链从超大规模数据存储场景出发,推出 PB 级区块链开源存储引擎“”,英文名定为“Huge”,预计将在 2022 年底正式开源。泓在保证区块链系统中数据一致性和唯一性外还将具备:大规模、低成本、高性能、强隐私的特点。

效率成本兼容

采用混合式存储架构、数据分片、冷热分离等技术,具备海量数据存储能力,兼顾效率和成本。

1.混合式存储架构

区块链上存储的数据有多种不同读写特性,比如:区块和交易这类数据一旦写入就不再修改,且数据量大,适合采用文件存储,同时对文件中的数据项创建索引以方便查询;而状态数据需要频繁修改与查询,适合采用KV数据库或OLTP类(联机事务处理 Online Transaction Processing)的数据库;对于合约事件这类需要进行数据分析的场景,也可以采用OLAP类(联机分析处理 Online Analytical Processing)的存储系统;对于区块链以区块为单位的批量处理流程,我们采用预写式日志(WAL)加内存缓存的方式来优化存储效率。因此泓基于混合式的存储架构来实现。混合式存储需要解决多个不同存储系统之间的数据一致性问题,我们采用区块作为检查点,来实现不同存储系统之间的异常校验与数据自动恢复。

2.数据分片

要面向海量数据,区块链存储系统必须具备水平扩展能力,基于我们混合存储架构中的数据一致性管理能力,可以将区块数据拆分成更细粒度的数据项进行存储,使得系统中的不同存储组件都可以实现分片能力,可以兼容市面上常用的分布式存储服务,包括:分布式文件存储,分布式数据库等。

3.冷热分离

区块链要求数据可追溯,需要保存全量的历史数据,通过对数据进行冷热分级,可以兼顾性能和成本。对于近期写入的区块、交易、热点状态数据可以定义为热点数据,通过对热点缓存到内存中,来提升效率。对于某个区块高度之前(某个时间戳之前)的历史数据称为冷数据,冷数据可以归档转移到成本更低,容量更大的网络存储中。同时对冷数据可以通过去中心化文件存储(如IPFS InterPlanetary File System 星际文件系统 )进行共享,使得多个节点共用一套存储服务。如果热数据与冷数据比例为1:9,并且块存储和文件存储成本为3:1,那么用了归档,可以把90%的旧区块,归档到成本只有33%的文件存储中。从而节省60%的存储成本。在PB级场景中,一年节省600万以上的成本。

性能安全并进

泓面向大数据量采用多种方式提升数据处理性能及安全性,持续释放大数据价值。

1.两阶段提交,并行处理提升性能

存储模块不是一个独立运行的系统,需要和长安链共识模块、核心模块、虚拟机模块等配合,以组成一个完整的区块链系统。泓与长安链共识模块、核心模块、虚拟机模块等充分适配,在长安链共识产生新区块的过程中,存储模块采用“两阶段提交”,并行处理提升性能。

2.先写缓存后异步写入分布式数据库

为了提升写入区块的性能,同时保证读到已提交数据的事务隔离级别,长安链采用先写缓存后异步写入分布式数据库的模式。当一个新区块对应的数据需要写入数据库时,系统将数据写入内存中的缓存区域,并开启一个后台线程,按顺序将缓存区域数据写入数据库,此时系统便可正常返回,从而达到快速写和支持读已提交数据的要求。

3.交易ID过滤器,加速交易防重检查

提升交易查重性能方面,泓提供了3个过滤系统来实现交易查重,用户可以基于自己的场景自定义选配是否开启,配合使用会极大的提高交易防重检查的效率。

4.透明数据加密,保障存储安全

为了增强区块链落盘后的数据安全,应对硬盘被盗、黑客入侵系统或内部IT人员违规操作等情形,长安链提供了透明数据加密特性。该特性可以基于硬件密码机也可以基于软件加解密,区块链数据在落盘时自动加密,在读取数据时自动解密,增强了数据安全。

结  语

泓将在AIot、工业互联网、金融的大数据量的场景下发挥作用,也可以对元宇宙、web3等新技术场景提供支撑。泓包含10余个主要模块,预计将于2022年底正式开源,后续将对主要模块进行介绍。

有关PB级区块链开源存储引擎“泓”Huge的更多相关文章

  1. ruby - 解析 RDFa、微数据等的最佳方式是什么,使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作,但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式,例如使用这个yaml文件,它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  2. ruby - 在没有 sass 引擎的情况下使用 sass 颜色函数 - 2

    我想在一个没有Sass引擎的类中使用Sass颜色函数。我已经在项目中使用了sassgem,所以我认为搭载会像以下一样简单:classRectangleincludeSass::Script::FunctionsdefcolorSass::Script::Color.new([0x82,0x39,0x06])enddefrender#hamlengineexecutedwithcontextofself#sothatwithintemlateicouldcall#%stop{offset:'0%',stop:{color:lighten(color)}}endend更新:参见上面的#re

  3. ruby-on-rails - Rails 中的推荐引擎 - 2

    我想为我的Rails网络应用程序提供推荐功能。特别是,我想向新注册的用户推荐他可能想要关注的其他用户。Rails中是否有用于此目的的引擎/gem?如果没有,我应该从哪里开始构建它?谢谢。 最佳答案 有Coletivogemhttps://github.com/diogenes/coletivo我试了一下。在MySQL上运行。Neo4jhttp://neo4j.org真的很容易实现一个“跟随谁”。事实上,大多数展示其能力的样本都涉及“跟随谁”。快速提示-只有在JRuby上运行时,Neo4j.rb才会很酷。如果不是-使用Neograph

  4. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD

  5. ruby - Rack:如何将 URL 存储为变量? - 2

    我正在编写一个简单的静态Rack应用程序。查看下面的config.ru代码:useRack::Static,:urls=>["/elements","/img","/pages","/users","/css","/js"],:root=>"archive"map'/'dorunProc.new{|env|[200,{'Content-Type'=>'text/html','Cache-Control'=>'public,max-age=6400'},File.open('archive/splash.html',File::RDONLY)]}endmap'/pages/search.

  6. 叮咚买菜基于 Apache Doris 统一 OLAP 引擎的应用实践 - 2

    导读:随着叮咚买菜业务的发展,不同的业务场景对数据分析提出了不同的需求,他们希望引入一款实时OLAP数据库,构建一个灵活的多维实时查询和分析的平台,统一数据的接入和查询方案,解决各业务线对数据高效实时查询和精细化运营的需求。经过调研选型,最终引入ApacheDoris作为最终的OLAP分析引擎,Doris作为核心的OLAP引擎支持复杂地分析操作、提供多维的数据视图,在叮咚买菜数十个业务场景中广泛应用。作者|叮咚买菜资深数据工程师韩青叮咚买菜创立于2017年5月,是一家专注美好食物的创业公司。叮咚买菜专注吃的事业,为满足更多人“想吃什么”而努力,通过美好食材的供应、美好滋味的开发以及美食品牌的孵

  7. 区块链之加解密算法&数字证书 - 2

    目录一.加解密算法数字签名对称加密DES(DataEncryptionStandard)3DES(TripleDES)AES(AdvancedEncryptionStandard)RSA加密法DSA(DigitalSignatureAlgorithm)ECC(EllipticCurvesCryptography)非对称加密签名与加密过程非对称加密的应用对称加密与非对称加密的结合二.数字证书图解一.加解密算法加密简单而言就是通过一种算法将明文信息转换成密文信息,信息的的接收方能够通过密钥对密文信息进行解密获得明文信息的过程。根据加解密的密钥是否相同,算法可以分为对称加密、非对称加密、对称加密和非

  8. UE4 源码阅读:从引擎启动到Receive Begin Play - 2

    一、引擎主循环UE版本:4.27一、引擎主循环的位置:Launch.cpp:GuardedMain函数二、、GuardedMain函数执行逻辑:1、EnginePreInit:加载大多数模块int32ErrorLevel=EnginePreInit(CmdLine);PreInit模块加载顺序:模块加载过程:(1)注册模块中定义的UObject,同时为每个类构造一个类默认对象(CDO,记录类的默认状态,作为模板用于子类实例创建)(2)调用模块的StartUpModule方法2、FEngineLoop::Init()1、检查Engine的配置文件找出使用了哪一个GameEngine类(UGame

  9. ruby-on-rails - 为什么在 Rails 5.1.1 中删除了 session 存储初始化程序 - 2

    我去了这个website查看Rails5.0.0和Rails5.1.1之间的区别为什么5.1.1不再包含:config/initializers/session_store.rb?谢谢 最佳答案 这是删除它的提交:Setupdefaultsessionstoreinternally,nolongerthroughanapplicationinitializer总而言之,新应用没有该初始化器,session存储默认设置为cookie存储。即与在该初始值设定项的生成版本中指定的值相同。 关于

  10. ruby-on-rails - 尝试设置 Amazon 的 S3 存储桶 : 403 Forbidden error & setting permissions - 2

    我正在关注Hartl的railstutorial.org并已到达11.4.4:Imageuploadinproduction.我做了什么:注册亚马逊网络服务在AmazonIdentityandAccessManagement中,我创建了一个用户。用户创建成功。在AmazonS3中,我创建了一个新存储桶。设置新存储桶的权限:权限:本教程指示“授予上一步创建的用户读写权限”。但是,在存储桶的“权限”下,未提及新用户名。我只能在每个人、经过身份验证的用户、日志传送、我和亚马逊似乎根据我的名字+数字创建的用户名之间进行选择。我已经通过选择经过身份验证的用户并选中了上传/删除和查看权限的框(而不

随机推荐