AI正在端側(cè)發(fā)揮著越來越重要的作用，它將進(jìn)一步改變?nèi)藗儸F(xiàn)有的行為邏輯，為用戶的生活生產(chǎn)帶來深刻的變革。生成式AI的熱潮意味著用戶向探索更加多樣化、個(gè)性化的數(shù)字世界邁出了重要一步。

近兩年光景，由ChatGPT和Stable Diffusion等生成式AI模型引領(lǐng)涌現(xiàn)出了全新的企業(yè)級(jí)和消費(fèi)級(jí)用例，在實(shí)用性、生產(chǎn)力和娛樂性方面帶來了增強(qiáng)體驗(yàn)。毫無疑問，AI即未來。

最好的科技是讓人感覺不到存在，但AI已經(jīng)從幕后走向臺(tái)前。經(jīng)過十?dāng)?shù)年的發(fā)展，眾多廠商的努力讓AI從邊緣小透明變成了深度參與終端運(yùn)行的強(qiáng)大一環(huán)。在AI發(fā)展的關(guān)鍵節(jié)點(diǎn)，高通提出了“混合AI是AI的未來”這一論斷，在混合AI方向不斷發(fā)力，推動(dòng)混合AI取得新突破。

混合AI是什么

高通認(rèn)為，混合式AI是傳統(tǒng)基于云端的AI與端側(cè)AI的結(jié)合，云端和終端共同處理AI計(jì)算，借助端側(cè)的即時(shí)感知、即時(shí)處理優(yōu)勢填補(bǔ)云端AI在延遲方面的短板，同時(shí)云端的超高算力也能對(duì)端側(cè)AI性能不足的情況進(jìn)行強(qiáng)有力的補(bǔ)充。

未來AI將在云端、邊緣云和終端側(cè)協(xié)同運(yùn)行，構(gòu)建混合AI架構(gòu)。利用5G在云端算力和終端應(yīng)用的關(guān)鍵橋梁作用，實(shí)現(xiàn)混合AI系統(tǒng)中的計(jì)算和處理能力以最有效的方式分布，讓AI更強(qiáng)大、更高效、更優(yōu)化。

正如高通公司全球高級(jí)副總裁錢堃在世界互聯(lián)網(wǎng)大會(huì)數(shù)字文明尼山對(duì)話上提到的，“能夠?qū)崿F(xiàn)終端和云端協(xié)同工作的混合AI架構(gòu)將構(gòu)筑AI的未來，是推動(dòng)人工智能走進(jìn)千家萬戶、惠及百業(yè)千行的關(guān)鍵所在?！?/p>

全棧式AI優(yōu)化賦能終端側(cè)AI應(yīng)用

再強(qiáng)大的AI算力都需要開發(fā)者利用，形成用戶可以實(shí)際使用的應(yīng)用或服務(wù)。上游廠商、開發(fā)者、OEM與用戶共同構(gòu)成了AI應(yīng)用的生態(tài)閉環(huán)。作為行業(yè)領(lǐng)導(dǎo)者的高通不僅擁有軟硬件優(yōu)勢，還能夠從底層為開發(fā)者和眾多OEM廠商提供工具、配套設(shè)施和解決方案，讓AI開發(fā)的活力充分涌動(dòng)。

目前，高通為應(yīng)用、神經(jīng)網(wǎng)絡(luò)模型、算法、軟件和硬件進(jìn)行全棧AI研究和優(yōu)化。高通AI軟件棧旨在幫助開發(fā)者實(shí)現(xiàn)一次開發(fā)，即可跨高通所有硬件運(yùn)行AI負(fù)載。高通 AI 軟件棧全面支持主流AI 框架，同時(shí)它還集成了推理軟件開發(fā)包(SDK)，包括面向 Android、Linux 和Windows 的不同版本。高通開發(fā)者庫和服務(wù)支持最新編程語言、虛擬平臺(tái)和編譯器。

在更底層，高通的系統(tǒng)軟件集成了基礎(chǔ)的實(shí)時(shí)操作系統(tǒng)(RTOS)、系統(tǒng)接口和驅(qū)動(dòng)程序。我們還支持廣泛的操作系統(tǒng)(包括Android、Windows、Linux和QNX)，以及用于部署和監(jiān)控的基礎(chǔ)設(shè)施。

高通AI軟件棧還集成了Qualcomm? AI Studio，支持從模型設(shè)計(jì)到優(yōu)化、部署和分析的完整工作流。這一工具相當(dāng)于為開發(fā)者搭建了一個(gè)官方的“工具箱”，在這個(gè)工具箱界面內(nèi)，開發(fā)者可以自由選擇需要的工具，極大地降低開發(fā)難度，有助于縮短開發(fā)時(shí)間、提高開發(fā)效率，同時(shí)還支持開發(fā)者實(shí)時(shí)查看模型開發(fā)進(jìn)度。

高通所推崇的混合AI解決方案是一個(gè)全棧優(yōu)化的整體解決方案。高通為應(yīng)用、神經(jīng)網(wǎng)絡(luò)模型、算法、軟件和硬件進(jìn)行了全棧AI研究和優(yōu)化。異構(gòu)計(jì)算方法利用硬件(比如 CPU、GPU和AI加速器)和軟件(比如高通AI軟件棧)來加速終端側(cè)AI。

從算法和模型開發(fā)到軟件和模型效率、從量化編譯到硬件加速，高通的全棧式AI優(yōu)化如同齒輪般精密嚙合，形成了如今我們看到的樣子。

堅(jiān)實(shí)一步 10億參數(shù)模型已可在移動(dòng)端應(yīng)用

在本屆世界互聯(lián)網(wǎng)大會(huì)上，高通展示了基于Android終端的超10億參數(shù)模型的生成式AI模型。關(guān)注圖片生成式AI的朋友們對(duì)Stable Diffusion一定不陌生。

這是一個(gè)非常出色的從文本到圖像的生成式AI模型，能夠基于任何文本輸入，在數(shù)十秒內(nèi)創(chuàng)作出逼真圖像。由于這一模型的參數(shù)超過10億，因此現(xiàn)階段主要在云端運(yùn)行。

高通采用全棧AI優(yōu)化的方式，通過量化、編譯和硬件加速進(jìn)行優(yōu)化，使Stable Diffusion能在搭載第二代驍龍8移動(dòng)平臺(tái)的手機(jī)上運(yùn)行，在15秒內(nèi)執(zhí)行20步推理，生成一張512×512像素的圖像。

高通表示，這是在智能手機(jī)上最快的推理速度，其運(yùn)算時(shí)延足以媲美云端，且用戶文本輸入完全不受限制。目前，高通也已經(jīng)將Stable Diffusion這一生成式AI用例擴(kuò)展到搭載驍龍計(jì)算平臺(tái)的PC產(chǎn)品上。

另一款ControlNet圖像生成圖像模型是一項(xiàng)語言-視覺模型(LVM)，它的參數(shù)量級(jí)更是達(dá)到了15億，能夠通過調(diào)整輸入圖像和輸入文本描述，更精準(zhǔn)地控制生成圖像。

在這項(xiàng)演示中，ControlNet能夠在終端側(cè)實(shí)現(xiàn)高效交互運(yùn)行，通過一套跨模型架構(gòu)、AI軟件和神經(jīng)網(wǎng)絡(luò)硬件加速器的全棧式AI優(yōu)化，12秒內(nèi)便可完成16步推理，生成AI圖像，無需訪問任何云端，便能提供高效、有趣、可靠且私密的交互式用戶體驗(yàn)。高通AI模型增效工具包、高通AI軟件棧和高通AI引擎在此過程中發(fā)揮了關(guān)鍵作用。

隨著強(qiáng)大的生成式AI模型不斷縮小以及終端側(cè)處理能力的持續(xù)提升，混合AI的潛力將會(huì)進(jìn)一步增長。驍龍移動(dòng)平臺(tái)能夠支持超過10億參數(shù)的生成式AI模型，而在不久的將來我們就能看到高通在移動(dòng)端部署的100億參數(shù)的大語言模型，這在此前的移動(dòng)端是難以想象的。

混合AI策略適用于幾乎所有生成式AI應(yīng)用和終端領(lǐng)域，包括手機(jī)、筆記本電腦、XR頭顯、汽車和物聯(lián)網(wǎng)。這一策略對(duì)推動(dòng)生成式AI規(guī)模化擴(kuò)展、滿足全球企業(yè)與消費(fèi)者需求至關(guān)重要。

加速推動(dòng)終端側(cè)AI落地 高通領(lǐng)導(dǎo)力優(yōu)勢明顯

端側(cè)是高通關(guān)注的重點(diǎn)，也是AI惠及用戶的落腳之處。在倡導(dǎo)終端側(cè)AI落地方面，高通具有十足的實(shí)力與發(fā)言權(quán)。

高通在AI方面的研發(fā)已經(jīng)超過15年。就移動(dòng)端來說，早在2007年高通就在驍龍平臺(tái)上推出了首個(gè)Hexagon處理器，2015年的驍龍820處理器則集成了首個(gè)專門面向移動(dòng)平臺(tái)的高通AI引擎，支持圖像、音頻和傳感器的運(yùn)算。驍龍855則集成了張量加速器(Tensor Accelerator)，專門處理運(yùn)行過程中的AI運(yùn)算任務(wù)。

高通明確地洞察了AI在移動(dòng)端的應(yīng)用前景。生成式AI必然是趨勢，而高通已經(jīng)能夠提供在邊緣側(cè)終端上低功耗運(yùn)行生成式AI所需的處理性能，例如大語言模型(LLM)等。

目前生成式AI正處于快速迭代并廣泛采用的階段，就不能像目前這樣僅在云端進(jìn)行推理，還必須在終端側(cè)進(jìn)行大量AI處理。同時(shí)高通也明白，端側(cè)的算力并不能完全承擔(dān)生成式AI的運(yùn)算。

此外，正如前文所提到的高通已經(jīng)在移動(dòng)端運(yùn)行超過10億參數(shù)的AI運(yùn)算，在終端側(cè)AI推理方面，通過AI 硬件加速和高通AI軟件棧這樣的簡化開發(fā)的軟件解決方案，高通將在未來幾個(gè)月具備在終端側(cè)運(yùn)行超過100億參數(shù)的模型，這將進(jìn)一步提升AI在終端側(cè)運(yùn)算能力的上限，也意味著可以用于更加復(fù)雜的AI運(yùn)算，幫助用戶解決更多實(shí)際問題。

高通的AI加速架構(gòu)靈活、穩(wěn)健，能夠應(yīng)對(duì)生成式AI模型架構(gòu)的潛在變化。隨著大語言模型和其他生成式AI模型持續(xù)演進(jìn)，高通AI軟件棧和技術(shù)將隨之不斷發(fā)展。加之為開發(fā)者所提供的AI架構(gòu)與全棧AI套件，無論何時(shí)開發(fā)者都有能夠輕松開發(fā)混合AI應(yīng)用。

在推進(jìn)混合AI發(fā)展的路上，高通部署的邊緣側(cè)終端規(guī)模十分龐大，具備其他方案提供商所不具備的規(guī)模優(yōu)勢。驍龍平臺(tái)在移動(dòng)平臺(tái)AI基準(zhǔn)測試中處于領(lǐng)先地位，高通的AI能力已經(jīng)賦能包括手機(jī)、汽車、XR、PC和物聯(lián)網(wǎng)等一系列廣泛產(chǎn)品，搭載驍龍和高通平臺(tái)的已上市用戶終端數(shù)量已達(dá)到數(shù)十億臺(tái)。

前文所提到的AI加速解決方案以及各類關(guān)鍵IP創(chuàng)新和技術(shù)能能夠進(jìn)行穩(wěn)定迭代，并且支持跨細(xì)分領(lǐng)域快速普及相關(guān)功能并下沉到主流和入門級(jí)產(chǎn)品。

寫在最后

混合AI之風(fēng)勁吹，而引領(lǐng)混合AI發(fā)展的領(lǐng)軍角色，高通已經(jīng)站在了高屋建瓴的位置?？梢灶A(yù)見的是，生成式AI用例將持續(xù)演進(jìn)并成為未來的主流。而隨著生成式AI的不斷迭代，其對(duì)算力的需求也將進(jìn)一步水漲船高，因此對(duì)于云端和基礎(chǔ)設(shè)施需求也將不斷增加。

高通過十?dāng)?shù)年的布局，以深厚的技術(shù)積累、廣泛的合作伙伴與完備的生態(tài)為混合AI搭建了舞臺(tái)，憑借終端側(cè)AI的先進(jìn)能力，混合AI架構(gòu)將在高通的引導(dǎo)下規(guī)模化擴(kuò)展，滿足企業(yè)和消費(fèi)者的需求。

而高通的混合AI在成本、能耗、性能、隱私、安全和個(gè)性化等多方面都具備明顯優(yōu)勢。高通期待通過未來云端和終端的協(xié)同工作，依托強(qiáng)大、高效且高度優(yōu)化的AI能力，打造下一代全新的用戶體驗(yàn)。

投稿單位：重慶天極網(wǎng)絡(luò)有限公司

審核專家：李志高

聲明：除原創(chuàng)內(nèi)容及特別說明之外，部分圖片來源網(wǎng)絡(luò)，非商業(yè)用途，僅作為科普傳播素材，版權(quán)歸原作者所有，若有侵權(quán)，請(qǐng)聯(lián)系刪除。