关键字:[AmazonWebServicesre:Invent2023,Ray,Llms,CostEfficiency,AnthropicEndpoints,FineTuning,FutureProof]本文字数:1000,阅读完需:5分钟视频如视频不能正常播放，请前往bilibili观看本视频。>>https://www.bilibili.com/video/BV1KH4y1k7aj导读如果你能在自己的云端运行专门为你的业务定制和优化的大型语言模型会怎样呢?ChatGPT向世人展示了大型语言模型的强大,但也带来了关于成本、隐私和控制权的挑战。这次闪电式演讲利用基准测试和真实客户案例来展示开源

前一天发布LLMPerf排行榜，宣称要推动大型语言模型推理领域的发展，鼓励创新与超越。第二天就收获AI社区的大量吐槽，原因是排行榜的「基准甚至没有得到很好的校准」。这是Anyscale这家初创公司正在经历的事情。Anyscale是一家专注分布式计算领域的美国初创公司，虽然创立仅三年时间，但却收获了不少的关注。首先就是Anyscale旗下开源项目Ray带来的光环。Ray是一个开源的分布式计算框架，可以将AI/ML和Python的workload从单机拓展至多台计算机上，从而提高workload的运行效率，目前已经在Github上收获了两万多个Star。带动了最新一波大模型热潮的ChatGPT，也