网站首页

b体育产品中心

智能终端处理器 智能云服务器 软件开发环境

b体育新闻中心

关于b体育

公司概况 核心优势 核心团队 发展历程

联系我们b体育

官方微信 官方微博
b体育·(中国)官方入口在线登录网站 > b体育新闻中心

16000颗H200超级芯片最强云计算亚马逊云科技和英伟达“合体”了:推出云AI超级计算机B体育

发布时间:2023-11-30 14:24浏览次数: 来源于:网络

  B体育,而这个超级计算机是配备了H200 NVL32与Amazon EFA互连技术的大规模系统,将部署在亚马逊云科技之上。

  它共计搭载了16384颗英伟达H200超级芯片,能够处理65 exaflops速度等级的AI运算B体育。

  为了这个合作项目,老黄也是亲自来到亚马逊云科技年度盛会re:Invent的现场站台,重视程度可见一斑。

  与此同时,亚马逊云科技也成为了英伟达H200 Grace Hopper超级芯片的第一个大客户。

  我们与英伟达合作了13年,推出了最广泛的英伟达 GPU解决方案可用于各种工作负载,包括绘图、游戏、HPC高性能计算、机器学习,以及现在的生成式AI。

  我们共同目标是为每个客户提供具有成本效益、先进生成式AI,为此英伟达与亚马逊云科技在整个计算堆栈展开合作,横跨AI基础设施、加速库、基础模型以及生成式AI服务。

  而这次强强联手的合作,也仅仅是亚马逊云科技 re:Invent活动中的一隅。

  据了解,与上一代Graviton3相比,Graviton4的计算性能提高了30%,核心数量增加了50%,内存带宽增加了75%B体育。

  Graviton4带来的一个新转变之一,便是通过对所有快速物理硬件接口的全面加密,这就显著提升了它的安全性。

  亚马逊云科技透露,这款芯片将被应用于内存优化型的Amazon EC2 R8g实例,帮助客户提升高性能数据库、内存缓存和大数据分析工作的效率。

  而且,R8g实例的大小更大,其vCPU和内存容量比前一代的R7g实例最多增加了三倍。

  自从大约五年前推出Graviton项目以来,他们已经生产了超过200万个Graviton处理器。

  而且,亚马逊云科技 EC2的前100位用户都已经选择使用Graviton,这证明了其在市场上的受欢迎程度。

  相比于上一代Trainium1,Trainum2在速度上快出了4倍,同时在能效方面也有2倍的提升。

  这些Trn2实例的目的是为了支持客户在下一代EC2 UltraCluster中大规模扩展,最多可达10万个Trainium2芯片,通过亚马逊云科技弹性织物适配器(EFA)的petabit级网络连接,能够提供高达65 exaflops的强大计算能力。

  有了这种规模,客户就可以在数周而不是数月时间内训练3000亿参数的大语言模型!

  我们正在与亚马逊云科技密切合作,使用Trainium芯片开发我们未来的基础模型。

  Trainium2将帮助我们大规模构建和训练模型,我们预计它比第一代Trainium芯片快至少4倍,适用于我们的一些关键工作负载。

  在生成式AI方面,亚马逊云科技还发布了自家工作版的ChatGPT——Amazon Q,重新构想了未来的工作方式。

  Amazon Q主要面向的是企业用户,它让员工可以利用公司的数据和专业知识获得答案、解决问题。

  Amazon Q基于亚马逊云科技17年的知识来训练,所以很懂亚马逊云科技,于是在使用亚马逊云科技过程中,可以随时随地提供帮助。

  Adam说,Amazon Q改变了开发人员在亚马逊云科技上构建、部署和操作应用程序的方式。

  Amazon Q不仅能介绍亚马逊云科技的各项功能,还可以根据用户需求,提供利用亚马逊云科技各项服务构建应用的方法。

  在使用亚马逊云科技遇到问题和故障时,Amazon Q也可以一键分析原因并想办法解决B体育。

  在亚马逊云科技控制台之外,Amazon Q还可以在IDE中调用,实时帮助开发者生成或解释代码,并进行测试和优化。

  更为精彩的是,Amazon Q可以完成从计划到代码,再到完成后的测试和用户文档的全流程自动开发。

  假如要给应用添加新功能,开发人员只需要用自然语言描述需求,然后检查Amazon Q给出的建议并进行必要调整就可以了。

  而如果这之中涉及到了编程语言的更新迭代,开发者可能需要花费几个月甚至几年对代码进行逐行调整。

  开发人员只需在 IDE 中打开他们想要转换的代码,然后要求Amazon Q对其进行“/transform”即可。

  最近,5名开发人员用Amazon Q在短短两天内将1000个应用从Java 8升级到Java 17,平均每个用时还不到10分钟。

  除了面向开发者的Builder版本, Amazon Q还有为商业从业者提供的Business版本。

  可以在亚马逊QuickSight数据分析平台和亚马逊云科技 Connect中使用。

  将Amazon Q连接到企业系统,还能得到定制版的Q,我们还可以看到Amazon Q帮助用户分析了下游客户的需求。

  在此基础之上B体育,Amazon Q更是可以直接充当使用者的客服代表,解决下游用户提出的问题。

  做个总结的话,Business版本的Amazon Q一共拥有四重“专家”身份:

  亚马逊云科技专家,对亚马逊云科技的每一个功能、模块都有充分的了解。生意专家,能够分析行业状况下游客户的需求。商业智能专家,能够对大量商业数据进行分析。客服专家,对用户企业情况充分了解,可以充当智能客服工作。

  价格方面,Business和Builder版本的价格分别是每用户每月20美元和25美元。

  与这些芯片和聊天机器人Amazon Q同时发布的,还有全新的云存储服务亚马逊云科技 S3 Express One Zone。

  它的速度是标准版S3的10倍,可以在1分钟之内处理数百万次请求,请求成本和计算成本分别降低了50%和60%。

  按照基础设施层、工具层和应用层这三个层级进行划分,此次发布中涉及生成式AI的产品都在下面这张图里了:

  本文来自微信公众号“量子位”(ID:QbitAI),作者:关注前沿科技,36氪经授权发布。

  16000颗H200超级芯片,最强云计算亚马逊云科技和英伟达“合体”了:推出云AI超级计算机

  Keras 3.0正式发布,一统TF/PyTorch/Jax三大后端框架,网友:改变游戏规则

  斯坦福美女博士创业项目爆火,AI视频生成出道即顶流B体育,半年融资5500万美元

  Keras 3.0正式发布,一统TF/PyTorch/Jax三大后端框架,网友:改变游戏规则

下一篇:明天是要补仓还是割肉?B体育
上一篇:好B体育消息传来中国芯片重大突破美国根本拦不住

咨询我们

输入您的疑问及需求发送邮箱给我们