网站首页

ng体育产品中心

智能终端处理器 智能云服务器 软件开发环境

ng体育新闻中心

关于ng体育

公司概况 核心优势 核心团队 发展历程

联系我们ng体育

官方微信 官方微博
ng体育 > ng体育新闻中心

韩国自研ANG体育官网app下载I芯片势头正猛

发布时间:2024-08-31 14:21浏览次数: 来源于:网络

  NG体育官网app下载DeepX在嵌入式视觉峰会上展示了其两款第一代芯片,分别针对不同的市场,并向EE Times透露了其下一代用于AI设备和自主机器人的芯片的一些信息。

  V1(之前名为L1)是一款系统级芯片(SoC),集成了DeepX 5-TOPS的神经网络处理器(NPU)和四核RISC-V处理器。此外,它还具有一个1200万像素的图像信号处理器(ISP)。这是一款为边缘设备设计的、价格低于10美元的小型SoC,基于三星28纳米工艺技术,具有较高的能效。DeepX的V1演示能够以30帧每秒的速度运行YOLO v7,实现实时处理,其功耗在1到2瓦之间。

  M1是一款更大的加速器,设计用于与独立的主处理器配合工作。它具有25-TOPS的DeepX NPU,功耗为5瓦。演示中,M1在M.2卡上运行YOLO v5进行姿势估计,可能用于协作机器人环境的安全应用。相同的M.2卡还可以运行诸如工业PC中的人脸识别等应用,适用于摄像系统、无人机和机器人。

  H1是一款使用M1芯片的多芯片PCIe卡NG体育官网app下载,可以通过单张卡运行62个通道的YOLO v7。目前,原型卡上有8个M1加速器,但由于主处理器的瓶颈,预计量产版本将使用4个M1加速器,安装在半长卡上NG体育官网app下载。

  DeepX的关键技术之一是其量化技术。公司听取了潜在客户的反馈,这些客户希望将他们在高功耗GPU上运行的算法移植到DeepX的NPU上进行部署。为了实现这一目标,需要将数据从FP32量化为INT8,但客户不能接受准确度相比GPU版本有所下降。

  通常,量化和预测准确度之间存在权衡,而为部署系统平衡这两者的迭代可能“耗时过长,以至于产品可能被淘汰,”DeepX CEO金乐源(Lokwon Kim)告诉EE Times。

  DeepX致力于分析量化过程中准确度损失的具置,从而开发出在这些关键点上减轻准确度损失的技术。效果好到甚至在某些模型中,量化后的INT8版本比FP32原版具有更好的预测准确性。

  “我们最初以为做错了,无法理解这个现象,”金说。“我让我们的工程师去调查并检查结果。他们告诉我:没有错误,这只是很聪明!我们一次又一次地验证,证明这是可能的。”

  金拥有图像系统实现的博士学位,他表示,虽然这似乎违背了香农定律,但经过一年时间终于理解了其中的奥秘。DeepX的量化算法实际上减少了过拟合,生成了能够更好泛化的模型。

  “我们很幸运——这不是我们的发明,而是我们的发现,”他说。“这很有趣!虽然令人震惊,但确实可能。”

  DeepX目前拥有60项专利,并已申请了282项专利,金表示,这比任何其他设备端AI芯片公司都多,不过他对公司量化技术的具体工作原理保持沉默,仅透露其涉及硬件和软件中的“四五”种不同技术。

  “这是我们技术的独特功能,”金说。“DeepX是全球唯一一家在使用INT8时提供比GPU更好AI准确度的公司……我们比GPU更聪明。”

  V1样品自2023年11月起已投放市场。金表示,公司目前正在与来自欧洲、北美和亚洲的约100个客户展开合作。

  此前公司曾向EE Times透露将向汽车客户授权其NPU。金表示,这部分业务也在顺利推进,主要与欧洲和日本的汽车制造商合作。汽车原始设备制造商(OEM)正在改变他们的策略——以前芯片制造商会与一级供应商会面,现在OEM直接向芯片制造商发送提案请求,希望与特斯拉等制造自主AI加速芯片的公司竞争。

  “在中国也有机会,”他说。“到2027年,中国的汽车制造商必须为所有汽车应用使用国产芯片,但他们没有先进的NPU技术。因此,对来自中国的NPU IP需求很大。”

  “我们目前支持一小部分的Transformer——支持NPU上的Transformer编码器,但不支持解码器,”金说。“我们可以在技术上实现,但我们不会专注于这一部分,正在为下一代芯片做支持。”

  下一代芯片将在明年年底推出,支持在边缘设备中运行的大型语言模型(LLM)。金估计,一块M.2模块应能够在功耗不到5瓦的情况下每秒处理20-30个token。这是为了回应包括韩国消费电子巨头LG在内的潜在客户的需求,DeepX目前正在与其AI研究团队合作。金表示,LG有兴趣将LLM移植到DeepX的芯片上,应用于移动设备、汽车和家电中,因为在数据中心中进行AI推理的成本在电视生命周期中会超过电视的售价。

  “[设备端AI]对于他们的LLM商业模式非常合理,这就是为什么我们正在合作的原因,”他说。“他们提供了他们的LLM技术,以便我们了解模型的特性,以便为设备端应用进行优化。”

  最终结果将是一个为设备端LLM优化的NPU芯片。金表示,第一代将是一个加速器,需要3到5年时间才能实现支持LLM的SoC,因为端点设备目前所需的内存容量无法满足NG体育官网app下载。

  “我们将坚持使用LPDDR,这是一个重要的点,”他说。“HBM虽然在带宽上表现不错,但在成本和功耗上不适用于移动设备。这就是为什么我们专注于LPDDRNG体育官网app下载,尽管由于其带宽有限,在实现LLM时会比较困难。”

  金表示,在DeepX芯片上实现LLM也面临巨大的软件挑战,并指出公司尚未将其量化技术应用于LLM。

  与此同时,DeepX的下一个硅芯片是V3,这是之前提议的L2的重新设计,基于来自中国和台湾客户的建议进行重新设计。它将配备一个15-TOPS的双核DeepX NPU,四核Arm Cortex A52处理器,平均功耗低于5瓦。它还将与V1一样配备1200万像素的ISP,以及75 GFLOPS的DSP,以支持SLAM和雷达应用。

  “我们之前使用了RISC-V CPU,但客户希望使用Arm,”他说。“这就是为什么我们选择了Arm的四核处理器。客户还希望支持USB 3.1和更强大的ISP,而不是升级NPU。这就是我们重新设计它的原因。”

  部分客户想要Arm CPUNG体育官网app下载,是因为Arm生态系统可以提供更好的安全解决方案——许多客户正在构建安全摄像系统。其他客户希望运行机器人操作系统(ROS),该系统现在支持Arm,但尚未支持RISC-V。金表示,RISC-V目前尚不具备这样的生态系统。

  *免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。

  特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

  奇点临近推出 QIDI Vida 骑行运动眼镜:AR 码表/导航,3498 元起

  ATK 推出烈空 F1 EXTREME 探索版鼠标:34.6 克,429 元

  苹果扩充Vision Pro头显生态,将推多款游戏、电影和电视剧、应用

  开学季的这些“坑”,你踩了几个?《教育纵深》今晚20:17分,一起为开学季保驾护航!

下一篇:欧洲《芯片法案》正式生效:NG体育到2030年全球市场份额要翻番
上一篇:NG体育娱乐AI芯片企业燧原科技启动A股IPO 中金为辅导机构

咨询我们

输入您的疑问及需求发送邮箱给我们