快讯|地平线旭日3成功部署14亿参数大语言模型
分类: 最新资讯
窍门词典
编辑 : 窍门大全
发布 : 09-13
阅读 :192
【科技9月12日报道】近日，记者获悉，地平线成功在旭日3中的BPU®计算单元上，部署运行参数规模高达14亿的大语言模型。据介绍，此次部署源于旭日3所搭载的双核BPU®伯努利计算单元对神经网络计算的原生性支持，能够在处理大语言模型方面提供高性能、低功耗的计算处理能力。另一方面，地平线通过软硬协同编译，采用算子重写、算子重排、算子融合和KV-Cache等技术，优化了模型结构，实现推理速度的提升。据了解，该模型的运行效能相较于LLaMA.cpp等纯CPU方案有所提升。这也意味着，旭日3对此大语言模型的支持性可达到产品级应用水平。（江淼）
