国内开源大模型优化词元压缩技术，推理成本大幅降低

发表时间:2026/08/24 17:58:44 浏览次数:9890

字体大小: 【小】【中】【大】

国内开源基座大模型完成词元压缩技术升级，在损失少量精度前提下，压缩输入输出词元数量。长文本场景推理速度提升40%，算力消耗显著下降。该技术有利于中小厂商降低API调用开销，推动大模型落地到边缘硬件，方便部署在机器人、无人机等终端设备上。