草庐IT

elasticsearch 百亿级数据检索案例与原理

版权说明: 本文章版权归本人及博客园共同所有,转载请标明原文出处( elasticsearch百亿级数据检索案例与原理-mikevictor-博客园 ),以下内容为个人理解,仅供参考。一、前言   数据平台已迭代三个版本,从头开始遇到很多常见的难题,终于有片段时间整理一些已完善的文档,在此分享以供所需朋友的实现参考,少走些弯路,在此篇幅中偏重于ES的优化,关于HBase,Hadoop的设计优化估计有很多文章可以参考,不再赘述。【目前生产已存储百亿数据,性能良好(但未使用分词功能)】二、需求说明项目背景:   在一业务系统中,部分表每天的数据量过亿,已按天分表,但业务上受限于按天查询,并且DB中

【转载】百亿规模API网关服务Shepherd的设计与实现

插:前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。坚持不懈,越努力越幸运,大家一起学习鸭~~~以下文章来源于美团技术团队,作者充泽志洋李敏美团技术团队10000+工程师,如何支撑中国领先的生活服务电子商务平台?数亿消费者、数百万商户、2000多个行业、几千亿交易额背后是哪些技术在支撑?这里是美团、大众点评、美团外卖、美团配送、美团优选等技术团队的对外窗口。总第450篇2021年第020篇百亿规模API网关服务Shepherd的设计与实现在微服务架构下,服务拆分会让API的规模成倍增长,使用API网关来管理API逐渐成为一种趋势。美团统一API

百亿级数据 分库分表 后面怎么分页查询?

随着数据的日益增多,在架构上不得不分库分表,提高系统的读写速度,但是这种架构带来的问题也是很多,这篇文章就来讲一讲跨库/表分页查询的解决方案。架构背景笔者曾经做过大型的电商系统中的订单服务,在企业初期时业务量很少,单库单表基本扛得住,但是随着时间推移,数据量越来越多,订单服务在读写的性能上逐渐变差,架构组也尝试过各种优化方案,比如前面介绍过的:冷热分离、查询分离各种方案。虽说提升一些性能,但是在每日百万数据增长的情况下,也是杯水车薪。最终经过架构组的讨论,选择了分库分表;至于如何拆分,分片键如何选择等等细节不是本文重点,不再赘述。在分库分表之前先来拆解一下业务需求:C端用户需要查询自己所有的订

用BigDL-LLM 即刻加速百亿级参数LLM推理

我们正迈入一个由大语言模型(LargeLanguageModel,LLM)驱动的AI新时代,LLM在诸如客户服务、虚拟助理、内容创作、编程辅助等各类应用中正发挥着越来越重要的作用。然而,随着LLM规模不断扩大,运行大模型所需的资源消耗也越来越大,导致其运行也越来越慢,这给AI应用开发者带来了相当大的挑战。为此,英特尔最近推出了一个名为BigDL-LLM[1]的大模型开源库,可助力AI开发者和研究者在英特尔® 平台上加速优化大语言模型,提升大语言模型在英特尔® 平台上的使用体验。下面就展示了使用BigDL-LLM加速过的330亿参数的大语言模型Vicuna-33b-v1.3[2]在一台搭载英特尔

百亿补贴通用H5导航栏方案

背景在移动端页面中,由于屏幕空间有限,导航条扮演着非常重要的角色,提供了快速导航到不同页面或功能的方式。用户也通常会在导航条中寻找他们感兴趣的内容,因此导航条的曝光率较高。在这样的背景下,提供一个动态灵活的导航条,为产品赋能,变得尤其重要。使用原生导航栏现状拿iOS原生导航条为例,导航条作为页面进出栈的根视图连接器,以及生命周期的管理器。尤其是在作为webViewController的父容器的时候,面对webview中h5页面灵活的的路由属性,以及一些难料的异常情况,原生很难也不便于频繁操作根试图容器,因此也产生了一些性能差、体验差、开发成本高、测试场景难覆盖等问题。安卓也有类似情况。1、性能

良品铺子年报:将冲击百亿营收门槛 斥资1.8亿现金分红

雷递网雷建平3月23日报道良品铺子(603719.SH)日前公布2021年度业绩。财报显示,良品铺子2021年公司营收93.24亿元,较2020年的78.94亿元增长18.11%,近五年营收翻番。这意味着,良品铺子2022年将冲击百亿门槛。良品铺子2021年归母净利润2.82亿元,经营性现金流净额4.12亿元,同比增长24.82%。良品铺子2021年第四季度营收为27.55亿元,有小幅亏损。良品铺子称,面对线上经营环境变化、原材料价格上涨、多点散发疫情等因素扰动,2021年主动优化调整经营业务策略,快速拓展新兴渠道,加大营销投放,提升全渠道市占率,对四季度净利润造成暂时性影响。良品铺子宣布,向

性能超越Llama2-13B,可免费商用,姚星创业公司开源百亿参数通用大模型

高性能、可商用,国产大模型又有开源新动向。8月7日,百亿参数高性能通用大模型「XVERSE-13B」宣布开源。HuggingFace:https://huggingface.co/xverse/XVERSE-13BGithub:https://github.com/xverse-ai/XVERSE-13B而XVERSE-13B的打造者,正是前腾讯公司副总裁姚星老师于2021年初创立的AI与元宇宙技术服务公司元象XVERSE。在离职创业之前,姚星主导创建了腾讯首个人工智能实验室AILab(2016年)和首个机器人实验室RoboticsX(2018年),曾推进腾讯在机器学习、计算机视觉、语音到自然

百亿规模京东实时浏览记录系统的设计与实现

1.系统介绍浏览记录系统主要用来记录京东用户的实时浏览记录,并提供实时查询浏览数据的功能。在线用户访问一次商品详情页,浏览记录系统就会记录用户的一条浏览数据,并针对该浏览数据进行商品维度去重等一系列处理并存储。然后用户可以通过我的京东或其他入口查询用户的实时浏览商品记录,实时性可以达到毫秒级。目前本系统可以为京东每个用户提供最近200条的浏览记录查询展示。2.系统设计与实现2.1系统整体架构设计整个系统架构主要分为四个模块,包括浏览数据存储模块、浏览数据查询模块、浏览数据实时上报模块和浏览数据离线上报模块:浏览数据存储模块:主要用来存储京东用户的浏览历史记录,目前京东有近5亿的活跃用户,按照每

54百亿参数大模型进化树重磅更新!85页盘点LLM发展史,附最详细prompt技巧

在4月一经推出就火爆开发者社区的大语言模型综述更新了!此前,人大等学校的多位研究者回顾了大语言模型在背景知识、关键发现和主流技术等方面的进展,尤其强调了大语言模型的预训练、自适应调优、使用和能力评估。最近,研究者对于这些研究进行了更新。在这次更新中,添加了34多个新页面,200多个新参考。包括:-新论文(LLaMA系列)-新章节(例如,LLMs的复杂任务规划)-26个有用的prompt技巧-对LLM的8种完成特定任务的能力进行实证评估论文地址:https://arxiv.org/abs/2303.18223LLM大事记下图是近年来大于100亿的大语言模型的时间轴。其中,时间轴主要根据模型的技术

三年亏百亿仍要造“跑车”,哪吒还有几次试错?

文丨智能相对论作者丨leo陈燃油车时代,国产品牌没有一款真正意义上成功的“低价跑车”,那在新能源时代,“电”是否可以创造这种可能?第一个交出答卷的是哪吒汽车。不久前,哪吒发布首款纯电跑车“哪吒GT”,车型分别有560Lite版、560版、660版和580AWD版。以GT来命名非常值得玩味,过去这么用的车里,最有名的当属法拉利、宾利和玛莎拉蒂等超豪华品牌。似乎对于跑车市场,哪吒显得颇有野心。从发布会中,我们能提炼出几个哪吒GT的亮点:“中国唯一双门四座纯电跑车”;号称“200万以内最好的跑车,外观、性能碾压200万元左右的跑车”;预售价区间仅为17.88-22.68万元。归纳一下,其实就是哪吒G