AI正在端側(cè)發(fā)揮著越來越重要的作用,它將進(jìn)一步改變?nèi)藗儸F(xiàn)有的行為邏輯,為用戶的生活生產(chǎn)帶來深刻的變革。生成式AI的熱潮意味著用戶向探索更加多樣化、個(gè)性化的數(shù)字世界邁出了重要一步。
近兩年光景,由ChatGPT和Stable Diffusion等生成式AI模型引領(lǐng)涌現(xiàn)出了全新的企業(yè)級(jí)和消費(fèi)級(jí)用例,在實(shí)用性、生產(chǎn)力和娛樂性方面帶來了增強(qiáng)體驗(yàn)。毫無疑問,AI即未來。
最好的科技是讓人感覺不到存在,但AI已經(jīng)從幕后走向臺(tái)前。經(jīng)過十?dāng)?shù)年的發(fā)展,眾多廠商的努力讓AI從邊緣小透明變成了深度參與終端運(yùn)行的強(qiáng)大一環(huán)。在AI發(fā)展的關(guān)鍵節(jié)點(diǎn),高通提出了“混合AI是AI的未來”這一論斷,在混合AI方向不斷發(fā)力,推動(dòng)混合AI取得新突破。
混合AI是什么
高通認(rèn)為,混合式AI是傳統(tǒng)基于云端的AI與端側(cè)AI的結(jié)合,云端和終端共同處理AI計(jì)算,借助端側(cè)的即時(shí)感知、即時(shí)處理優(yōu)勢填補(bǔ)云端AI在延遲方面的短板,同時(shí)云端的超高算力也能對(duì)端側(cè)AI性能不足的情況進(jìn)行強(qiáng)有力的補(bǔ)充。
未來AI將在云端、邊緣云和終端側(cè)協(xié)同運(yùn)行,構(gòu)建混合AI架構(gòu)。利用5G在云端算力和終端應(yīng)用的關(guān)鍵橋梁作用,實(shí)現(xiàn)混合AI系統(tǒng)中的計(jì)算和處理能力以最有效的方式分布,讓AI更強(qiáng)大、更高效、更優(yōu)化。
正如高通公司全球高級(jí)副總裁錢堃在世界互聯(lián)網(wǎng)大會(huì)數(shù)字文明尼山對(duì)話上提到的,“能夠?qū)崿F(xiàn)終端和云端協(xié)同工作的混合AI架構(gòu)將構(gòu)筑AI的未來,是推動(dòng)人工智能走進(jìn)千家萬戶、惠及百業(yè)千行的關(guān)鍵所在?!?/p>
全棧式AI優(yōu)化賦能終端側(cè)AI應(yīng)用
再強(qiáng)大的AI算力都需要開發(fā)者利用,形成用戶可以實(shí)際使用的應(yīng)用或服務(wù)。上游廠商、開發(fā)者、OEM與用戶共同構(gòu)成了AI應(yīng)用的生態(tài)閉環(huán)。作為行業(yè)領(lǐng)導(dǎo)者的高通不僅擁有軟硬件優(yōu)勢,還能夠從底層為開發(fā)者和眾多OEM廠商提供工具、配套設(shè)施和解決方案,讓AI開發(fā)的活力充分涌動(dòng)。
目前,高通為應(yīng)用、神經(jīng)網(wǎng)絡(luò)模型、算法、軟件和硬件進(jìn)行全棧AI研究和優(yōu)化。高通AI軟件棧旨在幫助開發(fā)者實(shí)現(xiàn)一次開發(fā),即可跨高通所有硬件運(yùn)行AI負(fù)載。高通 AI 軟件棧全面支持主流AI 框架,同時(shí)它還集成了推理軟件開發(fā)包(SDK),包括面向 Android、Linux 和Windows 的不同版本。高通開發(fā)者庫和服務(wù)支持最新編程語言、虛擬平臺(tái)和編譯器。
在更底層,高通的系統(tǒng)軟件集成了基礎(chǔ)的實(shí)時(shí)操作系統(tǒng)(RTOS)、系統(tǒng)接口和驅(qū)動(dòng)程序。我們還支持廣泛的操作系統(tǒng)(包括Android、Windows、Linux和QNX),以及用于部署和監(jiān)控的基礎(chǔ)設(shè)施。
高通AI軟件棧還集成了Qualcomm? AI Studio,支持從模型設(shè)計(jì)到優(yōu)化、部署和分析的完整工作流。這一工具相當(dāng)于為開發(fā)者搭建了一個(gè)官方的“工具箱”,在這個(gè)工具箱界面內(nèi),開發(fā)者可以自由選擇需要的工具,極大地降低開發(fā)難度,有助于縮短開發(fā)時(shí)間、提高開發(fā)效率,同時(shí)還支持開發(fā)者實(shí)時(shí)查看模型開發(fā)進(jìn)度。
高通所推崇的混合AI解決方案是一個(gè)全棧優(yōu)化的整體解決方案。高通為應(yīng)用、神經(jīng)網(wǎng)絡(luò)模型、算法、軟件和硬件進(jìn)行了全棧AI研究和優(yōu)化。異構(gòu)計(jì)算方法利用硬件(比如 CPU、GPU和AI加速器)和軟件(比如高通AI軟件棧)來加速終端側(cè)AI。
從算法和模型開發(fā)到軟件和模型效率、從量化編譯到硬件加速,高通的全棧式AI優(yōu)化如同齒輪般精密嚙合,形成了如今我們看到的樣子。
堅(jiān)實(shí)一步 10億參數(shù)模型已可在移動(dòng)端應(yīng)用
在本屆世界互聯(lián)網(wǎng)大會(huì)上,高通展示了基于Android終端的超10億參數(shù)模型的生成式AI模型。關(guān)注圖片生成式AI的朋友們對(duì)Stable Diffusion一定不陌生。
這是一個(gè)非常出色的從文本到圖像的生成式AI模型,能夠基于任何文本輸入,在數(shù)十秒內(nèi)創(chuàng)作出逼真圖像。由于這一模型的參數(shù)超過10億,因此現(xiàn)階段主要在云端運(yùn)行。
高通采用全棧AI優(yōu)化的方式,通過量化、編譯和硬件加速進(jìn)行優(yōu)化,使Stable Diffusion能在搭載第二代驍龍8移動(dòng)平臺(tái)的手機(jī)上運(yùn)行,在15秒內(nèi)執(zhí)行20步推理,生成一張512×512像素的圖像。
高通表示,這是在智能手機(jī)上最快的推理速度,其運(yùn)算時(shí)延足以媲美云端,且用戶文本輸入完全不受限制。目前,高通也已經(jīng)將Stable Diffusion這一生成式AI用例擴(kuò)展到搭載驍龍計(jì)算平臺(tái)的PC產(chǎn)品上。
另一款ControlNet圖像生成圖像模型是一項(xiàng)語言-視覺模型(LVM),它的參數(shù)量級(jí)更是達(dá)到了15億,能夠通過調(diào)整輸入圖像和輸入文本描述,更精準(zhǔn)地控制生成圖像。
在這項(xiàng)演示中,ControlNet能夠在終端側(cè)實(shí)現(xiàn)高效交互運(yùn)行,通過一套跨模型架構(gòu)、AI軟件和神經(jīng)網(wǎng)絡(luò)硬件加速器的全棧式AI優(yōu)化,12秒內(nèi)便可完成16步推理,生成AI圖像,無需訪問任何云端,便能提供高效、有趣、可靠且私密的交互式用戶體驗(yàn)。高通AI模型增效工具包、高通AI軟件棧和高通AI引擎在此過程中發(fā)揮了關(guān)鍵作用。
隨著強(qiáng)大的生成式AI模型不斷縮小以及終端側(cè)處理能力的持續(xù)提升,混合AI的潛力將會(huì)進(jìn)一步增長。驍龍移動(dòng)平臺(tái)能夠支持超過10億參數(shù)的生成式AI模型,而在不久的將來我們就能看到高通在移動(dòng)端部署的100億參數(shù)的大語言模型,這在此前的移動(dòng)端是難以想象的。
混合AI策略適用于幾乎所有生成式AI應(yīng)用和終端領(lǐng)域,包括手機(jī)、筆記本電腦、XR頭顯、汽車和物聯(lián)網(wǎng)。這一策略對(duì)推動(dòng)生成式AI規(guī)模化擴(kuò)展、滿足全球企業(yè)與消費(fèi)者需求至關(guān)重要。
加速推動(dòng)終端側(cè)AI落地 高通領(lǐng)導(dǎo)力優(yōu)勢明顯
端側(cè)是高通關(guān)注的重點(diǎn),也是AI惠及用戶的落腳之處。在倡導(dǎo)終端側(cè)AI落地方面,高通具有十足的實(shí)力與發(fā)言權(quán)。
高通在AI方面的研發(fā)已經(jīng)超過15年。就移動(dòng)端來說,早在2007年高通就在驍龍平臺(tái)上推出了首個(gè)Hexagon處理器,2015年的驍龍820處理器則集成了首個(gè)專門面向移動(dòng)平臺(tái)的高通AI引擎,支持圖像、音頻和傳感器的運(yùn)算。驍龍855則集成了張量加速器(Tensor Accelerator),專門處理運(yùn)行過程中的AI運(yùn)算任務(wù)。
高通明確地洞察了AI在移動(dòng)端的應(yīng)用前景。生成式AI必然是趨勢,而高通已經(jīng)能夠提供在邊緣側(cè)終端上低功耗運(yùn)行生成式AI所需的處理性能,例如大語言模型(LLM)等。
目前生成式AI正處于快速迭代并廣泛采用的階段,就不能像目前這樣僅在云端進(jìn)行推理,還必須在終端側(cè)進(jìn)行大量AI處理。同時(shí)高通也明白,端側(cè)的算力并不能完全承擔(dān)生成式AI的運(yùn)算。
此外,正如前文所提到的高通已經(jīng)在移動(dòng)端運(yùn)行超過10億參數(shù)的AI運(yùn)算,在終端側(cè)AI推理方面,通過AI 硬件加速和高通AI軟件棧這樣的簡化開發(fā)的軟件解決方案,高通將在未來幾個(gè)月具備在終端側(cè)運(yùn)行超過100億參數(shù)的模型,這將進(jìn)一步提升AI在終端側(cè)運(yùn)算能力的上限,也意味著可以用于更加復(fù)雜的AI運(yùn)算,幫助用戶解決更多實(shí)際問題。
高通的AI加速架構(gòu)靈活、穩(wěn)健,能夠應(yīng)對(duì)生成式AI模型架構(gòu)的潛在變化。隨著大語言模型和其他生成式AI模型持續(xù)演進(jìn),高通AI軟件棧和技術(shù)將隨之不斷發(fā)展。加之為開發(fā)者所提供的AI架構(gòu)與全棧AI套件,無論何時(shí)開發(fā)者都有能夠輕松開發(fā)混合AI應(yīng)用。
在推進(jìn)混合AI發(fā)展的路上,高通部署的邊緣側(cè)終端規(guī)模十分龐大,具備其他方案提供商所不具備的規(guī)模優(yōu)勢。驍龍平臺(tái)在移動(dòng)平臺(tái)AI基準(zhǔn)測試中處于領(lǐng)先地位,高通的AI能力已經(jīng)賦能包括手機(jī)、汽車、XR、PC和物聯(lián)網(wǎng)等一系列廣泛產(chǎn)品,搭載驍龍和高通平臺(tái)的已上市用戶終端數(shù)量已達(dá)到數(shù)十億臺(tái)。
前文所提到的AI加速解決方案以及各類關(guān)鍵IP創(chuàng)新和技術(shù)能能夠進(jìn)行穩(wěn)定迭代,并且支持跨細(xì)分領(lǐng)域快速普及相關(guān)功能并下沉到主流和入門級(jí)產(chǎn)品。
寫在最后
混合AI之風(fēng)勁吹,而引領(lǐng)混合AI發(fā)展的領(lǐng)軍角色,高通已經(jīng)站在了高屋建瓴的位置??梢灶A(yù)見的是,生成式AI用例將持續(xù)演進(jìn)并成為未來的主流。而隨著生成式AI的不斷迭代,其對(duì)算力的需求也將進(jìn)一步水漲船高,因此對(duì)于云端和基礎(chǔ)設(shè)施需求也將不斷增加。
高通過十?dāng)?shù)年的布局,以深厚的技術(shù)積累、廣泛的合作伙伴與完備的生態(tài)為混合AI搭建了舞臺(tái),憑借終端側(cè)AI的先進(jìn)能力,混合AI架構(gòu)將在高通的引導(dǎo)下規(guī)模化擴(kuò)展,滿足企業(yè)和消費(fèi)者的需求。
而高通的混合AI在成本、能耗、性能、隱私、安全和個(gè)性化等多方面都具備明顯優(yōu)勢。高通期待通過未來云端和終端的協(xié)同工作,依托強(qiáng)大、高效且高度優(yōu)化的AI能力,打造下一代全新的用戶體驗(yàn)。
投稿單位:重慶天極網(wǎng)絡(luò)有限公司
審核專家:李志高
聲明:除原創(chuàng)內(nèi)容及特別說明之外,部分圖片來源網(wǎng)絡(luò),非商業(yè)用途,僅作為科普傳播素材,版權(quán)歸原作者所有,若有侵權(quán),請(qǐng)聯(lián)系刪除。