随着云计算、大数据、AI的发展和普及,各行各业的业务场景日益复杂,数据呈现出大规模、多样性的特点,企业对数据仓库的需求也进一步拓展至对多元化数据实时处理的场景。数据湖是多元数据存储与使用的便捷选择,而云原生具有数据资产统一、基础资源成本低、高性能计算体验升级等优势,是数据湖未来部署的重要形态。湖仓一体架构结合了数据仓库和数据湖的性能优势,在成本、灵活性、事务一致性、多元数据分析等方面具备显著的优势,可以为企业提供高效、兼容、低成本的数据存储和管理解决方案,帮助企业更好地实现数据驱动决策和业务创新。在这次的直播中,我们介绍了HashData对湖仓一体方案的思考,并对Hive数据同步进行详细讲解和
6月30日,由IT168主办的第十六届中国系统架构师大会(SACC2023)在北京开幕。本届大会以“数字转型架构演进”为主题,议题涵盖AIGC大数据、多云多活、云成本等多个热门领域。在会上,酷克数据首席科学家杨胜文发表了题为《当LLM遇到数据仓库》的主旨演讲,分享了对大模型热潮的观察和思考,并介绍了借助酷克数据研发的下一代高级分析和数据科学工具HashML,简化从数据处理、模型微调到知识增强的智能应用构建流程,助力LLM在企业实现规模化落地应用。杨胜文表示,目前百亿级参数LLM已经具备优秀的语言理解和生成能力。在LLM技术还在快速演进的过程中,相对于千亿级参数模型,百亿级参数模型具有非常明显的
2023年4月7日,由中国DBA联盟(ACDU)和墨天轮社区联合主办的第十二届『数据技术嘉年华』(DTC2023)在北京新云南皇冠假日酒店盛大开启。HashData资深解决方案架构师李俊在4月8号专题会场6-“融合应用:湖仓技术创新”上发表了《基于HashData的湖仓一体解决方案的探索与实践》的专题演讲。本文根据演讲实录整理而成,演讲正文如下(全文阅读需要20分钟以上):一、湖仓一体的演进数据仓库的概念是比尔·恩门(BillInmon)在1991年出版的《BuildingtheDataWarehouse》一书正式提出后被广泛接受。经过30年发展,在金融、通信、航空等各行各业都是有广泛应用。数