AI手機和AI PC極速進(jìn)化為多模態(tài)，量變還需5G Advanced

作者 | 包永剛,編輯 | 王? ?川

“第三代AI 5G調(diào)制解調(diào)器實現(xiàn)多個里程碑，Wi-Fi 7首次支持AI。”? ? ? ? ? ? ? ? ??? ???

2024世界移動通信大會（MWC 2024），5G Advanced（5G-A）和生成式AI都是主角。生成式AI能成為移動通信大會的主角，進(jìn)化的速度和巨大的潛力都是關(guān)鍵。去年MWC，高通展示了全球首個運行在Android手機上的Stable Diffusion終端側(cè)演示。僅一年時間，能在驍龍平臺運行的AI模型升級為多模態(tài)。

今年，高通展示了全球首個在安卓手機上運行超過70億參數(shù)的多模態(tài)語言模型，能夠識別和討論復(fù)雜的圖案、物體和場景。高通還展示了全球首個在Windows PC上運行的大型多模態(tài)語言模型，可以接受文本和音頻的輸入，并基于音頻生成多輪對話。端側(cè)AI有如此強大的能力，還需要5G嗎？高通公司總裁兼CEO安蒙說，“混合AI是生成式AI的未來，終端側(cè)智能與云端協(xié)同工作，能夠提升個性化、隱私、可靠性和效率。連接對于助力生成式AI跨云、邊緣和終端實現(xiàn)規(guī)?；瘮U(kuò)展和延伸至關(guān)重要，AI解決方案正在支持高通提供下一代連接，賦能生成式AI時代?！?/p>

MWC 2024，高通發(fā)布了集成5G Advanced功能的調(diào)制解調(diào)器及射頻系統(tǒng)驍龍X80，這也是高通集成專用5G AI處理器的第三代產(chǎn)品。行業(yè)首個支持AI優(yōu)化性能并在單個芯片中集成Wi-Fi 7、藍(lán)牙和超寬帶技術(shù)的解決方案高通FastConnect 7900也同時亮相。極速進(jìn)化的端側(cè)AI，接下來會與5G Advanced和Wi-Fi 7碰撞出怎樣的火花？高通與眾多中國生態(tài)合作伙伴和最新成果給出了一些答案。

01、看得懂又聽得懂? AI手機和AI?PC首次運行多模態(tài)大模型

去年MWC，端側(cè)AI領(lǐng)域最有實力的公司高通展示了在安卓手機上運行10億參數(shù)AI大模型Stable Diffusion在終端側(cè)生成圖像。2023年底，隨著第三代驍龍8移動平臺的發(fā)布，運行Stable Diffusion模型的速度從年初的不到15秒縮短至0.57秒，提升幅度和速度驚人。MWC 2024，驍龍移動平臺運行的AI大模型的參數(shù)從10億陡增至超70億，模型也升級為更具挑戰(zhàn)的多模態(tài)語言模型（LMM），不僅能夠接受文本輸入，還可以接受圖像、音頻等其它輸入數(shù)據(jù)類型。

以高通AI研究展示的首個基于第三代驍龍8的安卓智能手機上運行大語言和視覺助理大模型（LLaVA）為例，拍一張食材照片，可以問AI助手這些食材是什么？能用這些食材做什么菜？每道菜的熱量是多少？AI助手都能基于視覺內(nèi)容以非常及時的響應(yīng)速度給出答案。完全在終端運行的大模型不僅能保護(hù)隱私，還能實現(xiàn)個性化。高通還展示了首個安卓手機上運行LoRA模型，能根據(jù)不同個人或藝術(shù)偏好創(chuàng)建高質(zhì)量自定義圖像。

LoRA能夠在不改變底層模型的前提下，通過使用很小的適配器（大小僅為模型的2%），就能個性化定制整個生成式AI模型的行為，提升效率、可擴(kuò)展性，讓端側(cè)AI更懂用戶。高通的AI PC同樣強大。搭載全新驍龍X Elite平臺的Windows PC，運行音頻推理多模態(tài)大模型，能理解不同聲音，還能夠基于輸入的音頻信息為用戶提供幫助。

比如，給搭載驍龍X Elite的AI PC輸入一段音樂，多模態(tài)大語言模型能夠理解用戶輸入的音樂類型和風(fēng)格，為用戶提供音樂的歷史以及相似的音樂推薦，或通過對話的方式為用戶調(diào)節(jié)周圍的音樂，充分發(fā)揮端側(cè)AI的性能和能效優(yōu)勢，還有隱私性、可靠性、個性化以及成本優(yōu)勢。如此強大的驍龍X Elite是業(yè)界AI PC的標(biāo)桿。使用分別搭載驍龍X Elite和X86芯片的兩臺筆記本電腦，同時運行集成Stable Diffusion插件的GIMP（一款廣受歡迎的圖像編輯器）生成AI圖像，驍龍X Elite只需7.25秒就能生成一張圖像，速度是X86競品（22.26秒）的3倍。

數(shù)倍的速度優(yōu)勢，得益于驍龍X Elite 45TOPS強大的AI性能，大幅領(lǐng)先競品。按照第三代驍龍8落地端側(cè)大模型應(yīng)用只用了一個月時間的速度，相信基于驍龍8和驍龍X Elite多模態(tài)大模型的功能也很快會到來。

目前，基于第三代驍龍8的AI功能已經(jīng)可以在多款國產(chǎn)手機上體驗。搭載第三代驍龍8的小米14系列，新增的AI寫真功能，可以在圖庫里選擇20-30張圖片后進(jìn)行AI形象學(xué)習(xí)，生成不同風(fēng)格的圖片。OPPO Find X7 Ultra在第三代驍龍8強大的AI性能支持下，用手指輕松圈一圈，就能消除照片里不想要路人，還能智能生成通話摘要?；诘谌旪?的榮耀Magic6手機，運行70億參數(shù)大模型，實現(xiàn)了任意門一拖日程、智慧成片和一語查圖等功能。同樣采用第三代驍龍8的魅族21，基于Flyme Ai大模型，支持知識問答、文案創(chuàng)作、文生圖、圖片風(fēng)格轉(zhuǎn)換、AI搜圖、圖片擴(kuò)展等功能。

手機上強大的AI助手能制定個性化的旅行計劃，但仍需要借助5G或Wi-Fi預(yù)定機票和酒店，這就是5G對于生成式AI的意義所在。“高通深知，為實現(xiàn)生成式AI的規(guī)?；瘮U(kuò)展，需要跨云端、終端和邊緣云應(yīng)用混合AI?！备咄夹g(shù)公司產(chǎn)品市場高級總監(jiān)Ignacio Contreras說，“混合AI是AI的未來，因此我們需要更加強大的連接能力，確保所有AI工作負(fù)載的有效分配?！?/p>

02、AI 5G調(diào)制解調(diào)器迎來第三款，Wi-Fi?7也AI

從2018年5G商用到2024年5G Advanced元年，高通一直參與標(biāo)準(zhǔn)的制定，也是業(yè)界少有每年迭代5G調(diào)制解調(diào)器及射頻系統(tǒng)的公司。

驍龍X80調(diào)制解調(diào)器及射頻系統(tǒng)是高通最新的5G調(diào)制解調(diào)器，也是繼驍龍X70、驍龍X75之后，高通第三款A(yù)I 5G調(diào)制解調(diào)器。

驍龍X80集成了專用AI張量加速器，對于提升數(shù)據(jù)傳輸速度，降低時延，擴(kuò)大覆蓋范圍，提高服務(wù)質(zhì)量（QoS）、定位精度、頻譜效率、能效和多天線管理能力發(fā)揮重要作用。作為5G Advanced元年發(fā)布的產(chǎn)品，驍龍X80集成5G Advanced-ready架構(gòu)，實現(xiàn)了多項全球首創(chuàng)的里程碑，包括首次在5G調(diào)制解調(diào)器中集成NB-NTN衛(wèi)星通信、首次面向智能手機支持6Rx（射頻前端具備6路接收能力）、首個下行六載波聚合以及首次面向固定無線接入客戶端設(shè)備（CPE）支持由AI賦能的毫米波增程通信。“新一代驍龍X80調(diào)制解調(diào)器及射頻系統(tǒng)的創(chuàng)新在于，更好地利用帶寬提升用戶的實際連接體驗。例如，在用戶距離基站較遠(yuǎn)等頗具挑戰(zhàn)的情況下提高平均連接速率，而非專注于峰值速率（下行鏈路是10Gbps，上行鏈路是3.5Gbps）的提升?！盜gnacio Contreras進(jìn)一步表示，“我們希望在全球范圍內(nèi)充分釋放5G和5G Advanced潛能?！?/p>

雷峰網(wǎng)了解到，搭載驍龍X80的商用終端預(yù)計將于2024年下半年發(fā)布。釋放5G和5G Advanced潛能，離不開高通和合作伙伴的努力。2014年，高通率先投入5G技術(shù)的研究，2016年推出了全球首款商用5G調(diào)制解調(diào)器及射頻系統(tǒng)驍龍X50。2018年5G商用元年，高通與多家領(lǐng)先的中國廠商宣布“5G領(lǐng)航計劃”。2019年，幾乎所有當(dāng)年發(fā)布的5G移動終端都采用高通的5G調(diào)制解調(diào)器及射頻系統(tǒng)。2021年，驍龍X65是全球首個支持10Gbps 5G速率（萬兆級）和首個符合3GPP Release 16規(guī)范的調(diào)制解調(diào)器及射頻系統(tǒng)。2022年，驍龍X70將5G調(diào)制解調(diào)器帶入AI時代。

從參與標(biāo)準(zhǔn)制定到引領(lǐng)實現(xiàn)5G商用，從解決5G復(fù)雜性挑戰(zhàn)，到把5G帶入萬兆時代，再到首推AI 5G調(diào)制解調(diào)器，高通一直在引領(lǐng)5G的發(fā)展，也在不斷加深和中國合作伙伴的合作，推動5G演進(jìn)和5G與AI的融合。MWC 2024上，多家中國公司都發(fā)布了基于高通5G產(chǎn)品的解決方案，美格智能基于驍龍X75 5G調(diào)制解調(diào)器及射頻系統(tǒng)推出了5G-A模組，基于驍龍X72推出了5G-A FWA解決方案。TCL發(fā)布了搭載驍龍X35 5G調(diào)制解調(diào)器及射頻系統(tǒng)的RedCap Dongle。5G RedCap對M2M（Machine to Machine）以及在消費級領(lǐng)域的5G普及非常重要，能夠讓更多人以更優(yōu)惠的價格享受到5G的高速體驗。美格智能也發(fā)布了基于驍龍X35的5G RedCap系列FWA解決方案。5G Advanced與XR的結(jié)合讓人期待。

高通、中興通訊、中國移動和當(dāng)紅齊天集團(tuán)共同啟動了5G-A XR大空間對戰(zhàn)游戲項目，四方聯(lián)合完成基于5G-A大容量、低時延的特點針對XR游戲優(yōu)化，實現(xiàn)了近千平米的大空間內(nèi)，畫面清晰流暢無卡頓，平均空口時延低于10ms，可實現(xiàn)無線大空間多人XR免背包游戲體驗。衛(wèi)星通信方面，廣翼智聯(lián)基于高通212S基帶芯片推出5G NTN衛(wèi)星手持設(shè)備，能夠在最具挑戰(zhàn)性的信號環(huán)境中也具有定位功能。5G與AI實現(xiàn)了深度融合，Wi-Fi 7同樣如此。最新發(fā)布的高通FastConnect 7900移動連接系統(tǒng)，是行業(yè)首個在6nm制程芯片中支持AI優(yōu)化性能并在單個芯片中集成Wi-Fi 7、藍(lán)牙和超寬帶技術(shù)的解決方案。

利用AI，F(xiàn)astConnect 7900可以適應(yīng)特定用例和環(huán)境，有效優(yōu)化能耗、網(wǎng)絡(luò)時延和吞吐量。“基于AI增強特性，用戶使用一些廣受歡迎的APP時終端功耗能夠下降高達(dá)30%。”Ignacio Contreras同時指出，“FastConnect 7900能夠支持更出色的多終端體驗，例如支持將內(nèi)容投射到屏幕或揚聲器，或同時使用多個屏幕顯示，以及支持分離式渲染VR技術(shù)。通過高通獨有的兩大技術(shù)——Wi-Fi高頻并發(fā)技術(shù)（HBS）以及高通擴(kuò)展個人局域網(wǎng)（XPAN）技術(shù)，帶來更低時延，更高的數(shù)據(jù)傳輸速率和吞吐量，以及更大覆蓋范圍。”

MWC 2024期間，中國聯(lián)通發(fā)布搭載高通Wi-Fi7沉浸式家庭聯(lián)網(wǎng)平臺的Wi-Fi7 BE6500智能路由器，雙方共同推動Wi-Fi7的創(chuàng)新。強大的端側(cè)AI能力，和極致的5G Advanced、Wi-Fi 7結(jié)合，將加速混合AI時代的到來。

03、5G Advanced+生成式AI 加速混合AI時代到來

高通早在5G商用之初就已經(jīng)開始探索5G和AI的融合。幾年前，高通推出了自主移動機器人（AMR）參考設(shè)計，能充分發(fā)揮5G+AI的能力。最近，高通、Hololight和愛立信展示了在網(wǎng)絡(luò)條件最佳時如何在云端進(jìn)行處理，并在需要時向終端側(cè)計算平滑過渡，展現(xiàn)了動態(tài)分布式計算將成為開啟無界AR體驗的關(guān)鍵。要探索5G Advanced+生成式AI更多的可能，還需要端側(cè)的異構(gòu)計算。

高通認(rèn)為，生成式AI的多樣化要求和計算需求需要不同的處理器來滿足。支持處理多樣性的異構(gòu)計算架構(gòu)能夠發(fā)揮每個處理器的優(yōu)勢。NPU專為實現(xiàn)以低功耗加速AI推理而全新打造。早在2007年，驍龍平臺首次集成的Hexagon DSP，成為了高通未來多代NPU的基礎(chǔ)。2020年，驍龍平臺的Hexagon NPU實現(xiàn)了重要里程碑。2022年，第二代驍龍8中的Hexagon NPU引入了眾多重要技術(shù)提升。第三代驍龍8中的Hexagon NPU成為了面向終端側(cè)生成式AI大模型推理的領(lǐng)先處理器。

高通NPU的差異化優(yōu)勢在于系統(tǒng)級解決方案、定制設(shè)計和快速創(chuàng)新。通過定制設(shè)計NPU并控制指令集架構(gòu)(ISA)，高通能夠快速進(jìn)行設(shè)計演進(jìn)和擴(kuò)展，以解決瓶頸問題并優(yōu)化性能。包含高通Hexagon NPU、Adreno GPU、Kryo或Oryon CPU、高通傳感器中樞和內(nèi)存子系統(tǒng)的高通AI引擎，能夠?qū)崿F(xiàn)端側(cè)生成式AI最佳的應(yīng)用性能、能效和電池續(xù)航。強大的高通AI引擎要為開發(fā)者降低門檻進(jìn)行充分使用，還需要高通AI軟件棧（Qualcomm AI Stack），讓開發(fā)者可以在高通硬件上創(chuàng)建、優(yōu)化和部署AI應(yīng)用，一次編寫即可實現(xiàn)在不同產(chǎn)品和細(xì)分領(lǐng)域采用高通芯片組解決方案進(jìn)行部署。

MWC 2024上高通推出的高通AI Hub對于激發(fā)端側(cè)AI的創(chuàng)新以及5G+AI融合有積極作用。高通AI Hub為驍龍和高通平臺提供超過75個優(yōu)化AI模型，比如Whisper、ControlNet、Stable Diffusion和Baichuan-7B，能夠充分利用高通AI引擎內(nèi)所有核心（NPU、CPU和GPU）的硬件加速能力，將推理速度提升4倍，模型占用的內(nèi)存帶寬和存儲空間也將減小。

這些優(yōu)化模型現(xiàn)已在高通AI Hub、GitHub和Hugging Face上提供，開發(fā)者只需通過幾行代碼即可在搭載高通平臺的云托管終端上自行運行這些模型。5G Advanced和強大的端側(cè)AI能力已經(jīng)準(zhǔn)備就緒，隨著2024年下半年AI手機和AI PC的能力進(jìn)一步進(jìn)化，5G+AI的殺手級應(yīng)用也讓人拭目以待。?