返回资讯中心
外部精选
ai-models
#大模型#国内动态#资讯#Agent#CPU#英特尔

Agent时代,CPU的价值该重估了

数据中心里的一个切入口,就是刚才我们提到的数据预处理。陈葆立介绍,英特尔希望利用至强处理器内置的加速能力,加快相关工作,帮助客户减少等待。

量子位十三2 分钟阅读中文

以下正文同步自 量子位,版权归原站所有,已转换为易读排版。

数据中心里的一个切入口,就是刚才我们提到的数据预处理。陈葆立介绍,英特尔希望利用至强处理器内置的加速能力,加快相关工作,帮助客户减少等待。

另一个切入口则是在存储。大模型的上下文越来越长,Agent又需要反复处理任务信息,KV Cache的容量和调度就成了需要考虑的问题。这类缓存保留了模型计算中可复用的中间数据,可以减少重复计算,但本身也会占用存储空间。

缓存规模增大以后,只靠GPU上的高带宽内存未必装得下,还需要借助系统内存、SSD等资源。数据放在哪里、怎样压缩、如何搬运,都会影响使用效率。

针对这些问题,陈葆立介绍了英特尔的KV Cache优化方案,包括利用处理器内置能力进行无损压缩,以及加快数据传输。

这些工作看起来没有模型参数那么抢眼,却关系到设备能否有效运转。数据少占一些空间、传输少花一些时间,都可能减少系统里的等待和浪费。

他还提到,英特尔正在和国内的软件合作伙伴合作,打造高性能存储系统。目标很直接,让数据更快送到需要它的计算资源手里,减少CPU、GPU闲置。

CPU能带来多少价值,要放到整套系统的效率里衡量。这也解释了英特尔为什么在现场反复提及软件与合作伙伴,包括Linux、PyTorch等开源项目,以及英特尔在其中的投入。毕竟硬件能力要在客户业务里发挥作用,还需要软件支持和适配。

当然,类似的分工,在个人设备上也存在。英特尔副总裁兼端侧计算和物理AI事业部中国区总经理高嵩,便在演讲中介绍了CPU、GPU、NPU的协同方式:

CPU承担智能体的计划、决策等需要及时响应的工作;GPU发挥矩阵计算方面的能力,处理相应的AI计算任务;NPU则以较低功耗,支持需要长时间运行的音视频处理、计算机视觉等任务。

这背后的一个很实际的要求,是Agent既要及时回应,也可能需要持续感知环境,不同任务对性能和功耗的要求并不一样,需要软件把工作分配给合适的计算单元。

正文由 FLUX 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。