草庐IT

数仓成本下降近一半,StarRocks 存算分离助力云览科技业务出海

成都云览科技有限公司倾力打造了凤凰浏览器,专注于为海外用户提供服务,公司致力于构建一个全球性的数字内容连接入口,为用户带来更为优质、高效、个性化的浏览体验。作为数据驱动的高科技公司,从数据中挖掘价值一直是公司核心任务,公司以前选用了众多组件来提升内部大数据分析效率,如Trino作为即席查询的工具、用ClickHouse和StarRocks来加速报表业务查询,但经过长期实践,最终决定将所有内部数据分析平台统一至StarRocks。而且,社区在3.0.0版本中发布了存算分离能力,与公司内部大数据平台部门正在推动的降本增效理念非常契合,部门也在第一时间测试验证,确定评测各方面满足业务需求后,已经开始

离视觉大一统更近一步:分割一切之后,Meta又开源一组多用途大模型

在开源了「分割一切」的SAM模型后,Meta在「视觉基础模型」的路上越走越远。这次,他们开源的是一组名叫DINOv2的模型。这些模型能产生高性能的视觉表征,无需微调就能用于分类、分割、图像检索、深度估计等下游任务。这组模型具有如下特征:使用自监督的方式进行训练,而不需要大量的标记数据;可以用作几乎所有CV任务的骨干,不需要微调,如图像分类、分割、图像检索和深度估计;直接从图像中学习特征,而不依赖文本描述,这可以使模型更好地理解局部信息;可以从任何图像集合中学习;DINOv2的预训练版本已经可用,并可以在一系列任务上媲美CLIP和OpenCLIP。论文链接:https://arxiv.org/p

留给兼容安卓时间不多了!华为原生鸿蒙系统越来越近:跟iOS、安卓一样独立

前言据国内媒体报道称,余承东已经明确表态,华为明年将会推出鸿蒙原生应用与原生体验,HarmonyOSNEXT的产品。现在的情况就是,鸿蒙留给兼容安卓生态的时间越来越少了,而在之前已经有不少App厂商转入到他们的生态,并已经在开发相关的App了。余承东还预告,华为明年将会推出鸿蒙原生应用与原生体验的产品,“那将会是整个中国终端类操作系统里真正的王者”。按照之前华为相关人士表示,其推出时间还不确定,未来iOS、鸿蒙、安卓将为三个各自独立的系统。高校教育大力支持近日,2023年教育部产学合作协同育人项目华为第二批项目立项公示,共有55个项目获得立项通过。其中包括哈尔滨工业大学、天津大学、电子科技大学

吞吐量提升近30倍!田渊栋团队最新论文解决大模型部署难题

大型语言模型(LLM)在今年可谓是风光无限。不过惊艳的效果背后是一个巨大的模型以及夸张的硬件资源。LLM在现实中部署时通常会面临两个难题:昂贵的KV缓存成本,以及对长序列的泛化能力差。近日,田渊栋团队发表了一篇论文,成功解决以上两个难题,并将推理系统的吞吐量提高了近30倍!论文地址:https://arxiv.org/pdf/2306.14048.pdf代码地址:https://github.com/FMInference/H2O这个成果也将在NeurIPS'23上展示。下面,我们来看一下这两个难题的具体情况,以及论文提供的解决方案。首先是缓存,KV缓存用于存储生成过程中的中间注意力键和值,以

APG(Accelerate Proximal Gradient)加速近端梯度算法 和 NAG(Nesterov accelerated gradient)优化器原理 (一)

文章目录前言APG(AccelerateProximalGradient)加速近端梯度算法[^1]PGD(ProximalGradientDescent)近端梯度下降法推导[^2]ExampleofProximalGradientDescentAPG(AccelerateProximalGradient)加速近端梯度算法推导Backtolassoexample:总结引用前言近期在阅读Data-DrivenSparseStructureSelectionforDeepNeuralNetworks论文时,用到里面APG-NAG相关优化器的知识,原论文方法采用mxnet去实现的,在这里想迁移到pyt

NeRF与自动驾驶的前世今生,近10篇论文汇总!

神经辐射场(NeuralRadianceFields)自2020年被提出以来,相关论文数量呈指数增长,不但成为了三维重建的重要分支方向,也逐渐作为自动驾驶重要工具活跃在研究前沿。NeRF这两年异军突起,主要因为它跳过了传统CV重建pipeline的特征点提取和匹配、对极几何与三角化、PnP加BundleAdjustment等步骤,甚至跳过mesh的重建、贴图和光追,直接从2D输入图像学习一个辐射场,然后从辐射场输出逼近真实照片的渲染图像。也就是说,让一个基于神经网络的隐式三维模型,去拟合指定视角下的2D图像,并使其兼具新视角合成和能力。NeRF的发展也和自动驾驶息息相关,具体体现在真实的场景重

DeepMind曝新一代AlphaFold,预测准确率暴涨近10%!DNA和RNA的AlphaFold时刻来了

就在今天,DeepMind公布了AlphaFold最新进展——「AlphaFold-latest」。根据DeepMind最新发布的技术报告,新一代的AlphaFold不仅仅能够以更高的准确性处理和预测蛋白质的结构。,时长01:32它还能将相似的能力推广到核酸、任意小分子配体等其他的生物分子结构上。虽然新的AlphaFold还没有完全开发完成,但是因为性能实在太好了,DeepMind忍不住要提前透露给大家看看。报告地址:https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/a-glimpse-of-the-next-gen

ES的近实时性是什么意思?原理是什么?

ES的"近实时"(nearreal-time)是指当你往ES索引(Index)中插入、更新或删除文档时,这些变更几乎立刻就对用户可见和可查询。然而,它并不是真正的实时,因为ES采用了一些优化和缓冲机制,以提高性能和吞吐量。🟥具体来说,ES的近实时性质包括以下几个方面:索引操作的延迟:当我们执行索引操作(插入、更新、删除文档)时,ES会将这些操作存储在一个缓冲区(buffer)中。这意味着虽然变更几乎立刻对用户可见,但实际上它们可能并没有立刻写入硬盘。ES会定期将缓冲区中的操作批量写入磁盘,这个操作可能会有少量延迟。刷新机制:ES会定期执行一个操作叫做"刷新"。这个操作会确保在硬盘上的所有操作都

C# MongoDB 驱动程序 2.0 - 从近查询中获取距离

我正在使用C#MongoDB驱动程序2.0执行NearSphere查询,它工作正常。结果按距离自动排序,但我想为每个搜索结果返回该距离,以便能够将其显示回来。我发现这篇文章说如何为旧版本的驱动程序做这件事RetrievingtheDistance"dis"resultfromaNearquery但没能找到如何使用新驱动程序做到这一点。这是我的代码:varcollection=database.GetCollection("myTypes");varlocFilter=Builders.Filter.NearSphere(x=>x.GeoLocation,criteria.Long,cr

【人工智能】AI 人工智能技术近十年演变发展历程

人工智能技术近十年演变发展历程过去十年对于人工智能(AI)领域来说是一段激动人心的多事之秋。对深度学习潜力的适度探索变成了一个领域的爆炸性扩散,现在包括从电子商务中的推荐系统到自动驾驶汽车的对象检测以及可以创建从逼真的图像到连贯文本的所有内容的生成模型。在本文中,我们将沿着记忆之路漫步,并重新审视使我们走到今天这一步的一些关键突破。无论您是经验丰富的AI从业者,还是只是对该领域的最新发展感兴趣,本文都将为您提供有关使AI成为家喻户晓的显着进展的全面概述。文章目录人工智能技术近十年演变发展历程第一章:人工智能的定义和发展历程1.1人工智能的定义和分类1.2人工智能的发展历程第二章:机器学习技术的