🧿 | 20年电测设备研发制造专家 | 全球自动化测试解决方案领航者

【导语】8月12日，华为推出了AI推理创新技术UCM，该技术以KV Cache为中心，融合多类型缓存加速算法，旨在提升推理性能并降低成本。目前，UCM已在中国银联的多个业务场景中试点应用并取得成效。华为计划于2025年9月正式开源UCM，逐步贡献给业界主流推理引擎社区及存储厂商和生态伙伴。

　　8 月 12 日消息，华为正式发布 AI 推理创新技术 UCM（推理记忆数据管理器）。

　　据了解，作为一款以 KV Cache 为中心的推理加速套件，UCM 融合了多类型缓存加速(sù)算(suàn)法工具，分级管理推理过程中产生的 KV Cache 记忆数据，可扩大推理上下文窗口，实现高吞吐、低时延的推理体验，降低每 Token 推理成本。该技术已率先在中国银联“客户之声”“营销策划”“办公助手”三大业务场(chǎng)景(jǐng)中(zhōng)，开(kāi)展(zhǎn)智(zhì)慧(huì)金(jīn)融(róng) AI 推(tuī)理(lǐ)加(jiā)速(sù)应(yīng)用(yòng)试(shì)点(diǎn)，并(bìng)已(yǐ)取(qǔ)得(de)成(chéng)果(guǒ)。

　　华(huá)为(wèi)计(jì)划(huà)于(yú) 2025 年(nián) 9 月(yuè)正(zhèng)式(shì)开(kāi)源(yuán) UCM，届(jiè)时(shí)将(jiāng)在(zài)魔(mó)擎(qíng)社(shè)区(qū)首(shǒu)发(fā)，后(hòu)续(xù)逐(zhú)步(bù)贡(gòng)献(xiàn)给(gěi)业(yè)界(jiè)主流(liú)推(tuī)理(lǐ)引(yǐn)擎社区，并共享给业内所(suǒ)有(yǒu) Share Everything (共(gòng)享(xiǎng)架(jià)构(gòu)) 存(cún)储(chǔ)厂(chǎng)商(shāng)和(hé)生(shēng)态(tài)伙(huǒ)伴(bàn)。