【導讀】作為國內領先的高端PCIe SSD主控芯片和方案提供商
，憶芯科技一直走在技術創新的前沿，為了滿足各行業對於數【導讀】在zai科ke技ji之zhi光guang的de照zhao耀yao下xia，大da模mo型xing從cong雲yun端duan的de殿dian堂tang飄piao然ran而er至zhi終zhong端duan的de舞wu台tai。這zhe一yi曆li史shi性xing的de跨kua越yue，不bu僅jin賦fu予yu了le數shu據ju處chu理li以yi迅xun捷jie之zhi翼yi，更geng將jiang智zhi能neng體ti驗yan推tui向xiang了le前qian所suo未wei有you的de高gao度du。終zhong端duan上shang的大模型以靈動的姿態，即時捕捉並回應著每一個細微的需求
，將AI的觸角延伸至世界的每一個角落。

在(zai)科(ke)技(ji)之(zhi)光(guang)的(de)照(zhao)耀(yao)下(xia)，大(da)模(mo)型(xing)從(cong)雲(yun)端(duan)的(de)殿(dian)堂(tang)飄(piao)然(ran)而(er)至(zhi)終(zhong)端(duan)的(de)舞(wu)台(tai)。這(zhe)一(yi)曆(li)史(shi)性(xing)的(de)跨(kua)越(yue)，不(bu)僅(jin)賦(fu)予(yu)了(le)數(shu)據(ju)處(chu)理(li)以(yi)迅(xun)捷(jie)之(zhi)翼(yi)，更(geng)將(jiang)智(zhi)能(neng)體(ti)驗(yan)推(tui)向(xiang)了(le)前(qian)所(suo)未(wei)有(you)的(de)高(gao)度(du)。終(zhong)端(duan)上(shang)的(de)大(da)模(mo)型(xing)以(yi)靈(ling)動(dong)的(de)姿(zi)態(tai)
，即(ji)時(shi)捕(bu)捉(zhuo)並(bing)回(hui)應(ying)著(zhe)每(mei)一(yi)個(ge)細(xi)微(wei)的(de)需(xu)求(qiu)
，將(jiang)AI的觸角延伸至世界的每一個角落。

近日
，在EEVIA主辦的第12屆中國硬科技產業鏈創新趨勢峰會暨百家媒體論壇上，安謀科技產品總監鮑敏祺發表了精彩的主題演講《端側AI應用芯機遇，NPU加速終端算力升級》。他深入剖析了端側AI發展的廣闊前景，並詳細介紹了安謀科技自研NPU的最新進展。

端側AI正在崛起

AIGC大模型帶來的算力提升是端側AI迎來的最大機遇。鮑敏祺表示，從近期頭部大廠的發布中都可以看出
，端側AI的應用已經得到了業界的一致認可。

當前，國際和國內實際部署的主流端側大模型體量主要集中在100億參數以下。這一限製主要是由於端側設備的內存帶寬範圍通常在50-100GB/s之間。為了滿足用戶對應用實時性的需求，10-30億參數的大模型最適合部署在現有的帶寬條件下。這些模型能夠在保持高效性能的同時
，提供快速響應和高質量的服務。

頭部終端廠商如OPPO、vivo、小米、榮耀和華為等

，都在積極推動端側AI的發展。他們不僅自研了適合端側部署的大模型

，還將其與具體業務場景緊密結合。芯片廠商也達成了共識，認為AI NPU（神經網絡處理單元）將是未來消費類電子產品發展的重點。NPU通過專門優化的硬件架構
，能夠大幅提升端側設備的AI計算能力，同時降低功耗。

盡管端側AI的發展勢頭強勁，但鮑敏祺強調，這並不意味著要徹底放棄雲端AI。相反，他認為兩者應該實現互補
，才能產生最大的收益。端側AI的(de)優(you)勢(shi)在(zai)於(yu)其(qi)時(shi)效(xiao)性(xing)和(he)數(shu)據(ju)本(ben)地(di)化(hua)帶(dai)來(lai)的(de)安(an)全(quan)性(xing)。由(you)於(yu)數(shu)據(ju)處(chu)理(li)發(fa)生(sheng)在(zai)設(she)備(bei)本(ben)地(di)
，用(yong)戶(hu)的(de)隱(yin)私(si)得(de)到(dao)更(geng)好(hao)的(de)保(bao)護(hu)，同(tong)時(shi)也(ye)能(neng)實(shi)現(xian)實(shi)時(shi)響(xiang)應(ying)。而(er)雲(yun)端(duan)AI則ze具ju備bei更geng強qiang的de推tui理li能neng力li和he大da規gui模mo數shu據ju處chu理li能neng力li，可ke以yi進jin行xing更geng複fu雜za的de任ren務wu。因yin此ci，結jie合he端duan側ce和he雲yun端duan的de優you勢shi，將jiang為wei用yong戶hu提ti供gong更geng加jia全quan麵mian和he高gao效xiao的deAI體驗。

從人機交互界麵的發展曆史來看，從最初的物理按鍵到觸摸屏和語音交互，再到當前的Agent智能體
，每一次變革都極大地提升了用戶體驗。未來的趨勢將是多模態場景，即結合圖像、音頻、視頻等多種輸入方式，使設備能夠更全麵地理解用戶的需求。通過觀察和學習，未來的AI係統將能夠更好地預測和滿足用戶的期望，從而實現真正的智能化。

以三重升級應對三重挑戰

端側AI的快速發展給硬件設備帶來了三重挑戰：成本、功耗和生態係統。

成本的挑戰主要來自於設備的存儲容量、帶寬和芯片計算資源。功耗則源自對數據的大量搬運
，而且大模型無法像CNN一樣實現高度複用
，也會大幅提升功耗。最後，開發工具的不斷優化和支持也是挑戰所在。

針對這些挑戰，安謀科技自研的“周易”NPU圍繞微架構、能效和並行處理等方麵進行了升級。

l 微架構：鑒於CNN與Transformer的差異性，“周易”NPU在保留CNN能力的基礎上
，又針對Transformer進行了優化，克服了實際計算中的瓶頸。

l 效率：進行混合精度的量化，比如int4和fp16，在算法和工具鏈層麵上實現低精度量化。同時，對數據進行無損壓縮和改變稀疏度，從而增加有效帶寬。另外，采用In-NPU interconnection技術
，實現了對總線帶寬的擴展。

l 並行處理：采用數據並行或模型並行
，使用負載均衡和Tiling，減少了數據的搬運。

鮑敏祺還詳細介紹了下一代的周易“NPU”架構，不僅包含了能夠適應多任務場景的Task Schedule Manager，而且整個架構具備可擴展能力，並增加DRAM以實現高帶寬的匹配，還增加了OCM（Optional on Chip SRAM），以支持有特殊要求的算法。

鮑敏祺在演講中特別強調了“周易”NPU對異構計算的支持
，並指出無論是從能效還是整個SoC（係統級芯片）的麵積角度來看，異構計算都是端側AI芯片的最佳選擇。他解釋道，麵對不同的應用場景，異構計算能夠實現算力的靈活裁剪
，並將不必要的功耗降到最低。

跨領域的應用專家

周易“NPU”已經在多個關鍵領域展示了其強大的性能和靈活性，特別是在汽車應用、AI加速卡以及AIoT場景中。

在汽車應用中
，不同的場景會對應不同的算力需求。如果是車載信息娛樂係統，對算力的要求不會太高，但是在ADAS應用中


，很多情況下要執行多任務
，對算力的要求就會大幅提升。而“周易”NPU的算力範圍是20~320TOPS
，可以根據需求裁剪出所需的算力。鮑敏祺表示
，搭載了“周易”NPU的芯擎科技“龍鷹一號”已累計出貨超過40萬片，並成功定點應用於吉利旗下的領克
、銀河係列以及一汽紅旗等20餘款主力車型中。

在AI加速卡的應用中，周易“NPU”能夠與智能汽車、PC、機器人等不同類型的主機處理器（Host AP）進行高效交互，處理音頻、圖像、視頻等多種數據形式。這種多模態模型的支持能力使得周易“NPU”能夠在複雜的數據環境中保持高性能和靈活性。在AIoT場景中，設備通常受到麵積和功耗的嚴格限製。盡管如此，周易“NPU”仍能提供高效的算力支持，同時保證高度的安全性。這使得它成為多個應用場景的理想選擇。

鮑敏祺最後表示
，下一代周易“NPU”將會繼承並顯著增強前代產品的強算力、易部署以及可編程等特點和優勢，並圍繞精度

、帶寬

、調度管理
、算子支持等多個方麵進行持續優化。同時，NPU不僅要考慮適配現在的存儲介質，還要考慮到對未來各種存儲介質的適配，使得NPU能夠更好地滿足當前及未來市場需求。

免責聲明：本文為轉載文章，轉載此文目的在於傳遞更多信息，版權歸原作者所有。本文所用視頻
、圖片、文字如涉及作品版權問題，請聯係小編進行處理。

推薦閱讀：

高速率時代下的電源完整性分析

【幹貨】開啟可編程邏輯器件的無限可能

從富士通到RAMXEED，以全新一代FeRAM迎接邊緣智能高可靠性無延遲數據存儲需求

憑借超低功耗圖像傳感器係列
，安森美榮獲AspenCore全球電子成就獎

意法半導體生物感測創新技術賦能下一代智能穿戴個人醫療健身設備