草庐IT

推动生成式 AI 技术的普惠化 亚马逊云科技发布四大创新

鸢玮 2024-01-11 原文

如今,AIGC 无疑是最火热的话题之一。国内外各大科技企业纷纷追随,推出自家的大模型以及相关应用产品。近日,亚马逊云科技推出了生成式 AI 领域的四大创新,致力于推动技术的普惠化,希望将AIGC技术从研究和试验领域释放,让更多公司都可以从中受益。

亚马逊云科技大中华区产品部总经理陈晓建在采访中表示,“我们的使命是让各种技能水平的开发人员和各种规模的组织都有机会使用生成式 AI 进行创新。亚马逊云科技提供的四大能力,希望可以降低各行各业的客户使用生成式 AI 的技术门槛和资金门槛,能够让更多的人更容易地、更有性价比地使用生成式 AI。”

Amazon Bedrock:降低模型使用门槛

一般情况下,企业在使用大模型时,需要找到最适合企业业务场景的大模型,并且可以和企业的业务程序无缝集成。然而,很多企业不具备能力和时间来搭建一个全新环境来训练自己的大模型。为此,亚马逊云科技推出全新的生成式AI全托管服务 Amazon Bedrock,用户通过API 调用方式即可访问亚马逊云科技和第三方基础模型提供商的预训练基础模型(Foundation model),从而降低用户在大规模训练和部署方面的使用门槛。

据了解,Amazon Bedrock 具有四大优势。第一,Amazon Bedrock 是全托管的服务,用户无需担心后端所使用的各种基础资源的申请、管理和各种运营的服务,这些工作都是由亚马逊云科技来执行。

其次,Amazon Bedrock 预设了五大模型,包括亚马逊云科技所开发的两大基础模型Amazon Titan Text 和 Amazon Titan Embeddings,以及三个第三方合作伙伴的模型,用户可以为其场景选择最适合自己应用场景的模型。由于现在市场变化很快,各家都有大模型,客户希望找到更加适用于他们行业和业务的模型。为此,亚马逊云科技根据客户的需求帮助客户挑选行业领先的模型,包括 Stability AI、Anthropic 和 AI21 Labs 三个外部模型。Stability AI 模型更偏向于多模态的文生图或者自然语言能生成图片;Anthropic Claude 则更多地关注对话文字生成;AI21 Labs 模型在多语言支持上表现比较好,包括小语种以及文章的文本摘要等方面。

第三,Amazon Bedrock 可以帮助用户定制模型。每个用户的场景需求和业务逻辑都不同,用户也需要通过自身积累的业务数据来训练一个最适合的场景模型。亚马逊云科技在 Amazon Bedrock 中特意加强了数据训练的隐私和安全性,确保数据安全和隐私保护的前提下,用户可以使用自身的数据来对模型进行定制。

第四,在安全加密方面,所有用户的环境都基于自身的 VPC(私有网络环境),与其他客户完全隔离,同时所有数据都进行加密。这意味着用户不仅可以使用 Amazon Bedrock,还可以方便且安全地使用亚马逊云科技的各种类型云服务,对整个业务进行定制化改造。

亚马逊云科技大中华区数据技术专家团队总监王晓野表示,Amazon Bedrock 是亚马逊云科技主导和运营的模型平台,也向业内领先的其他模型提供商开放,未来也有可能加入更多领先模型。但是需要强调的是,Amazon Bedrock 并不是一个开放的模型市场,亚马逊云科技不会将其规模无限扩大。

Titan 模型:基础模型普惠化

此次亚马逊云科技推出的 Titan 模型,包括 Titan Text 和 Titan Embeddings 两种模型。Titan Text 是基于总结文本生成、分类、开放式回答和信息提取等任务的生成式大语言模型。Titan Embeddings 是一个文本嵌入式的大语言模型,能够把文本的输入翻译成包含语义的数字表达。虽然该大模型不生成文本,但是它对于个性化推荐和搜索等等应用程序非常有帮助的。相比于文字,编码可以帮助模型反馈更加相关、更符合情境的结果。

为了实现负责任的 AI 的实践,Titan 基础模型已经预设了很多功能,用于识别和删除用户提交的数据中的一些有害的内容,拒绝用户输入不当的内容,过滤模型中包括不当内容的输入结果,比如说仇恨、脏话和语言暴力等等。目前,已经有客户预览了亚马逊云科技全新的 Titan 基础模型,未来几个月,亚马逊云科技会进一步扩展其使用范围。王晓野强调,Titan 模型只有通过 Amazon Bedrock 才能使用。

自研芯片:降低训练和推理成本

日前,亚马逊云科技宣布了 Amazon EC2 Trn1n 和 Inferentia2 两个实例的正式可用。Trn1 是亚马逊云科技自研的训练芯片 Trainium 所支持的计算实例,这次推出的 Trn1n 是一个网络增强型的新实例,相比于 Trn1 网络带宽提升了 1 倍,达到 1.6 TB,旨在为大型的网络密集型的模型训练来使用。

在推理芯片方面,亚马逊云科技推出了 Inferentia2 实例,相比第一代芯片不仅吞吐量提升了 4倍、延迟降低了 10 倍,还实现了加速器之间的超高速网络连接,并且将云中推理成本降到最低。

众所周知,训练大模型需要花费高额成本,那么亚马逊云科技是如何提升性价比呢?陈晓建举例道,BERT 是众多训练环境中常用的一种。一个简单的 BERT 环境,如果基于英伟达的 GPU 实例并使用 16 个节点,简单的模型训练可能需要 13 个小时。在亚马逊云科技内部测试中,基于亚马逊云科技自研的 Trainium 训练芯片,同样使用 16 个节点,只要 5 个小时就可以完成模型训练。因此,自研芯片可以帮助用户实现数倍的性价比提升。

同样,针对大模型部署方面,例如基于 NLP 流行的模型,如果把同样模型部署到基于 GPU的环境之中,需要有 8 个 GPU 卡才能完成。但是如果使用 Inferentia2,同样的负载只需要 4 个 Inferentia2 芯片就可以完成。在整个硬件部署的环境、复杂性和成本资金等方面都有效降低,大大帮助用户降低成本和复杂性,以更好地提升业务的性能。

Amazon CodeWhispere:AI编程助手

Amazon CodeWhisperer 可以实时生成代码的建议,是目前唯一一个具备安全扫描的 AI编程助手,可以用于发现一些非常难以查找的漏洞,并且提出补救建议。目前,Amazon CodeWhisperer 针对个人开发者完全免费。此外,Amazon CodeWhisperer 可以过滤掉一些可能认为有偏见或者不公平的代码,并且还是唯一一个可以对可疑的开源代码进行过滤和标记的编程助手。

王晓野介绍了 Amazon CodeWhisperer 的使用方法。Amazon CodeWhisperer 相当于一款插件,可以直接安装在现有的开发环境中,就可以享有 Amazon CodeWhisperer 的帮助。“在使用的时候,开发者可以通过注释的方式与 Amazon CodeWhisperer 交互。一般写代码的时候我们都会给自代码加注释,在注释写 “请帮我生成一段上传图片到云端的代码”,它就会给出这一段代码的建议,如果我们都接受的话,就只需要按一下Tab键,就相当于接受了建议。这样的交互体验使得 Amazon CodeWhisperer 更像是开发者的智能助手。同时,它也提供一些安全的扫描功能,例如检查开源授权等。”

大模型的未来格局

自成立之日起,人工智能一直是亚马逊关注的焦点,在未来将更加如此。亚马逊云科技已经帮助超过 10 万个不同规模和行业的客户,利用行业领先的能力进行机器学习和人工智能创新。我们现在将见证机器学习的下一波广泛应用,无论客户体验还是应用程序都有机会通过使用生成式 AI 进行重塑。

陈晓建认为,多模态的大模型肯定是未来的热点。“最后大模型能够活下来,能够成为真正可以为大家所使用,可能取决于市场化的情况。通过这些通用的模型,用户在此基础上发展适合自己场景的细分行业模型,最终可能会成为常态。”

有关推动生成式 AI 技术的普惠化 亚马逊云科技发布四大创新的更多相关文章

  1. 世界前沿3D开发引擎HOOPS全面讲解——集3D数据读取、3D图形渲染、3D数据发布于一体的全新3D应用开发工具 - 2

    无论您是想搭建桌面端、WEB端或者移动端APP应用,HOOPSPlatform组件都可以为您提供弹性的3D集成架构,同时,由工业领域3D技术专家组成的HOOPS技术团队也能为您提供技术支持服务。如果您的客户期望有一种在多个平台(桌面/WEB/APP,而且某些客户端是“瘦”客户端)快速、方便地将数据接入到3D应用系统的解决方案,并且当访问数据时,在各个平台上的性能和用户体验保持一致,HOOPSPlatform将帮助您完成。利用HOOPSPlatform,您可以开发在任何环境下的3D基础应用架构。HOOPSPlatform可以帮您打造3D创新型产品,HOOPSSDK包含的技术有:快速且准确的CAD

  2. ruby-on-rails - 如何在发布新的 Ruby 或 Rails 版本时收到通知? - 2

    有人知道在发布新版本的Ruby和Rails时收到电子邮件的方法吗?他们有邮件列表,RubyonRails有一个推特,但我不想听到那些随之而来的喧嚣,我只想知道什么时候发布新版本,尤其是那些有安全修复的版本。 最佳答案 从therailsblog获取提要.http://weblog.rubyonrails.org/feed/atom.xml 关于ruby-on-rails-如何在发布新的Ruby或Rails版本时收到通知?,我们在StackOverflow上找到一个类似的问题:

  3. ruby-on-rails - 获取 ActionController::RoutingError(当尝试使用 AngularJS 将数据发布到 Rails 服务器时,没有路由匹配 [OPTIONS] "/users" - 2

    尝试从我的AngularJS端将数据发布到Rails服务器时出现问题。服务器错误:ActionController::RoutingError(Noroutematches[OPTIONS]"/users"):actionpack(4.1.9)lib/action_dispatch/middleware/debug_exceptions.rb:21:in`call'actionpack(4.1.9)lib/action_dispatch/middleware/show_exceptions.rb:30:in`call'railties(4.1.9)lib/rails/rack/logg

  4. iNFTnews | 周杰伦18年前未发布的作品Demo,藏在了区块链技术里 - 2

    当音乐碰上区块链技术,会擦出怎样的火花?或许周杰伦已经给了我们答案。8月29日下午,B站独家首发周杰伦限定珍藏Demo独家访谈VCR,周杰伦在VCR里分享了《晴天》《青花瓷》《搁浅》《爱在西元前》四首经典歌曲Demo背后的创作故事,并首次公布18年前未发布的神秘作品《纽约地铁》的Demo。在VCR中,方文山和杰威尔音乐提及到“多亏了区块链技术,现在我们可以将这些Demos,变成独一无二具有收藏价值的艺术品,这些Demos可以在薄盒(国内数藏平台)上听到。”如何将音乐与区块链技术相结合,薄盒方面称:“薄盒作为区块链技术服务方,打破传统对于区块链技术只能作为数字收藏的理解。聚焦于区块链技术赋能,在

  5. ruby-on-rails - 如何使用 JSON 的 Nokogiri 中的 XPath 从 eBay 和亚马逊抓取图像 - 2

    我正在尝试使用Nokogiri和XPath从网站上抓取图像,但到目前为止收效甚微。对于其HTML具有img和src的典型网站,我可以使用:tmp2=Nokogiri::HTML(open(site_url))tmp2.xpath("//img/@src").eachdo|src|...dowhateverend但是,某些网站(如Amazon和eBay)仅使用JavaScript触发特定图像。如果我查看代码,我可以看到数组中的数据。例如,来自Amazon:P.when('jQuery','cf').execute(function($,cf){P.load.js('http://z-ec

  6. ruby - 如何在 Ruby 中从内存中 HTTP 发布流数据? - 2

    我想上传我在运行时用Ruby生成的数据,就像从block中提供上传数据一样。我找到的所有示例仅展示了如何流式传输必须在请求之前位于磁盘上的文件,但我不想缓冲该文件。除了滚动我自己的套接字连接之外,最好的解决方案是什么?这是一个伪代码示例:post_stream('127.0.0.1','/stream/')do|body|generate_xmldo|segment|body 最佳答案 有效的代码。require'thread'require'net/http'require'base64'require'openssl'class

  7. python - 亚马逊搜索 API - 2

    有没有一种用Ruby或Python访问亚马逊搜索结果(给定查询)的好方法?我一直在寻找API,发现了一个产品广告API,它似乎与搜索不同。我宁愿不必在给定查询(嵌入在url中)的情况下抓取亚马逊搜索网页。 最佳答案 我已经使用AmazonAPI好几年了,我承认他们似乎试图隐藏他们在使用他们的常规附属产品(例如AmazonSearch)所做的事情,就好像他们不希望您使用该API或者至少让它变得困难。因此,在您的附属仪表板中,单击顶部的“产品API”选项卡。接下来,您需要创建公钥和私钥。如果未创建和设置这些,您将无法访问API。另请注意

  8. IDEA 2023.1 正式发布,新特性简介 - 2

     昨晚看到IDEA官推宣布IntelliJIDEA2023.1正式发布了。简单看了一下,发现这次的新版本包含了许多改进,进一步优化了用户体验,提高了便捷性。至于是否升级最新版本完全是个人意愿,如果觉得新版本没有让自己感兴趣的改进,完全就不用升级,影响不大。软件的版本迭代非常正常,正确看待即可,不持续改进就会慢慢被淘汰!根据官方介绍:IntelliJIDEA2023.1针对新的用户界面进行了大量重构,这些改进都是基于收到的宝贵反馈而实现的。官方还实施了性能增强措施,使得Maven导入更快,并且在打开项目时IDE功能更早地可用。由于后台提交检查,新版本提供了简化的提交流程。IntelliJIDEA

  9. Unity数据可视化图表插件XCharts3.0发布 - 2

    Unity数据可视化图表插件XCharts3.0发布历时8个多月,业余时间,断断续续,XCharts3.0总算发布了。如果要打个满意度,我给3.0版本来个80分。对于代码框架结构设计的调整改动,基本符合预期,甚是满意。相比之前的1.0和2.0版本,我认为3.0才是一个拿得出手给广大开发者使用的版本。1.0发布的时候,很兴奋,从0.1到1.0,也磨了一年,真的等不及想给大家试用了,还特地写过一篇文章以示庆祝。那个时候,1.0虽然还还不够完善,功能也不够丰富,但它是XCharts的开始,没有1.0,也就没有后面的2.0和3.0。后面的2.0发布,做了很多改进和优化,随着版本迭代,慢慢的发现有不少硬

  10. 未来的趋势————以ChatGPT为标杆的AI对生活的影响是巨大的 - 2

    文章目录前言1.AI的发展历程2.我是如何接触到人工智能的概念和产品的3.对于ChatGPT的一点看法4.AI对大学毕业生的职业发展的利与弊5.对于AI的思考和问题前言随着ChatGPT的爆火,生成式AI,大模型的人工智能被越来越多的人注意到,同时他也带来了许多问题。本文将对几方面进行探讨。1.AI的发展历程远古时期在公元前第一个千禧年,中国,印度和希腊哲学家都提出了一些推理的研究理论,比如亚里士多德(Aristotle)进行了演绎推理三段论的完整分析,欧几里得(Euclid)所著Elements是一种形式推理的模型,MuḥammadibnMūsāal-Khwārizmī,发明了代数学,即我们

随机推荐