智能手機(jī)已逐漸進(jìn)入產(chǎn)品成熟期,手機(jī)廠商在硬件規(guī)格的競(jìng)爭(zhēng)也越趨激烈,使得軟件應(yīng)用逐漸成為實(shí)現(xiàn)差異化的新途徑,廠商除了將觸角延伸至 IoT 領(lǐng)域之外,若能開(kāi)發(fā)自家獨(dú)特的 AI 軟件應(yīng)用,也有助于加強(qiáng)消費(fèi)者黏著度。
例如,Apple 近來(lái)強(qiáng)調(diào)轉(zhuǎn)型軟件與生態(tài)系廠商,Google 也持續(xù)開(kāi)發(fā)更多 AI 軟件應(yīng)用服務(wù),并優(yōu)先搭載于自家 Pixel 手機(jī)。?智能手機(jī)已進(jìn)入產(chǎn)品成熟期,廠商積極強(qiáng)化 AI 應(yīng)用?2019 年全球智能手機(jī)生產(chǎn)數(shù)量呈現(xiàn)年衰退,主要是因?yàn)槭謾C(jī)滲透率逐漸達(dá)到飽和且進(jìn)入產(chǎn)品成熟期,雖仍有曲面屏、多鏡頭與屏下指紋等硬件創(chuàng)新,但并未明顯提升消費(fèi)者體驗(yàn),故無(wú)法有效帶動(dòng)換機(jī)潮產(chǎn)生。?因此 Apple 已宣布積極轉(zhuǎn)型為軟件與生態(tài)系廠商,持續(xù)擴(kuò)展「生態(tài)系服務(wù)」,推出 iTunes Store、App Store、Apple Pay、Apple Music、iCloud、Apple News+(新聞?dòng)嗛啠?、TV+(串流影音)、Apple Arcade(游戲訂閱)與 Apple Card(信用卡)等服務(wù)。?
▲Apple Music,source:Apple
在手機(jī)軟件應(yīng)用服務(wù)明顯發(fā)力的還有 Google,于 2019 年 12 月 9 日宣布推出全新策略「Feature Drop」,將藉由 AI 功能優(yōu)化應(yīng)用服務(wù),以持續(xù)提升新舊款 Pixel 手機(jī)消費(fèi)者使用體驗(yàn),象是自動(dòng)過(guò)濾騷擾電話、照片與視訊通話時(shí)背景虛化等,且這些更新不侷限于最新款 Pixel 手機(jī),而將視硬件需求開(kāi)放給不同機(jī)型使用。?觀察現(xiàn)有手機(jī)廠商進(jìn)展,歸納出以下幾項(xiàng)目前較為主流的 AI 手機(jī)應(yīng)用:
?(一) 圖像識(shí)別
隨著 AI 算法提升,相機(jī)功能變得更為強(qiáng)大,衍生出更多臉部識(shí)別應(yīng)用,使得圖像識(shí)別在目前 AI 手機(jī)應(yīng)用中最為廣泛。?
健康管理
Johnson & Johnson 旗下 Neutrogena 于 2020 年初發(fā)布新版 Neutrogena Skin360,借由 AI 算法的增強(qiáng),達(dá)到不需外掛硬件即可檢測(cè)黑眼圈、皺紋、細(xì)紋、光滑度與黑斑等。除了膚質(zhì)檢測(cè)外,借由與實(shí)時(shí)天氣數(shù)據(jù)結(jié)合,提供 8 周個(gè)性化相關(guān)護(hù)膚方案,并提供 Johnson & Johnson 相關(guān)保養(yǎng)品建議,建構(gòu)整個(gè)膚質(zhì)管理生態(tài)圈。?目前搭載 Kirin 990 機(jī)型的華為 Mate 30 和榮耀 V30 也推出芯心兼容 App,透過(guò)手機(jī)鏡頭捕捉心臟收縮和舒張引起的面部吸收光照差異之微弱信號(hào),并利用 AI 技術(shù)估算出人體的心率和呼吸率等數(shù)據(jù)。?整體來(lái)說(shuō),智能手機(jī)受惠于 AI 相機(jī)算法改善,因而有機(jī)會(huì)打入健康管理市場(chǎng),改變過(guò)去須配合智能手環(huán)和智能手表等其他穿戴裝置才能使用的模式。若未來(lái)手機(jī)能提供更精準(zhǔn)的檢測(cè)結(jié)果,再配合大數(shù)據(jù)分析提供進(jìn)階健康照護(hù)建議,將可進(jìn)一步擴(kuò)展商機(jī)。?
視訊強(qiáng)化與拍照
Google 推出「語(yǔ)義圖像分割(Semantic Image Segmentation)」技術(shù),將語(yǔ)義標(biāo)簽(如道路、天空、人與狗等)分配給輸入圖像的每個(gè)畫(huà)素,更精確定位物體輪廓,并開(kāi)源其語(yǔ)義圖像分割模型 DeepLab-v3+。?隨著語(yǔ)義圖像分割發(fā)展持續(xù)進(jìn)步,Google 也推出舊照片和視訊通話皆可背景虛化的功能,以做出景深效果,讓視訊通話時(shí)人像更清晰。此外,榮耀 V30 手機(jī)已實(shí)裝 AI 視頻全景替換功能,在視訊通話時(shí)可以隨時(shí)替換背景且背景可動(dòng)。而 Qualcomm 也于 Qualcomm Snapdragon Summit 2019 年展示視訊通話時(shí)將頭像卡通化的功能,增添個(gè)人特色。?此外,Google 充分運(yùn)用 Pixel 4 前鏡頭廣角功能,搭配 AI 算法加強(qiáng)人臉識(shí)別,因此視訊通話時(shí)不論人物如何移動(dòng),人臉將永遠(yuǎn)置于熒幕中央,或當(dāng)視訊同時(shí)存在兩個(gè)人時(shí),可確保同時(shí)入鏡。?在拍照功能上,CIS 芯片大廠 Sony 主打?qū)崟r(shí)人眼對(duì)焦(Eye AF),強(qiáng)調(diào)雙眼是構(gòu)成一幅絕佳肖像不可或缺的元素,且此實(shí)時(shí)眼部偵測(cè)自動(dòng)對(duì)焦功能已拓展到動(dòng)物世界,可自動(dòng)偵測(cè)并追蹤動(dòng)物雙眼,而人眼追焦功能目前已在 vivo X30 Pro 上實(shí)裝,預(yù)期有機(jī)會(huì)獲得更多手機(jī)品牌采用。?
隔空操作
2019 年陸續(xù)有 3 支智能手機(jī)以隔空手勢(shì)操作為主要賣(mài)點(diǎn):LG G8 ThinQ 手勢(shì)操作名為「Air Motion」,借由前鏡頭搭載 ToF 鏡頭,實(shí)現(xiàn)更精準(zhǔn)臉部識(shí)別與手勢(shì)識(shí)別操作功能,例如想要截圖可透過(guò)在屏幕幕前做出五指并攏和抓取動(dòng)作;若在手機(jī)屏幕前左右揮舞,可呼叫音樂(lè)和簡(jiǎn)訊等功能;若要調(diào)節(jié)音量則進(jìn)行扭轉(zhuǎn)旋鈕動(dòng)作。?華為 Mate 30 Pro 同樣以前鏡頭搭載 ToF 鏡頭,操作時(shí)只要在前鏡頭前方張開(kāi)手掌,接著做出捏合姿勢(shì)就可屏幕截圖,上下?lián)]動(dòng)手掌就能滑動(dòng)頁(yè)面。
?
▲Google Pixel 4 手勢(shì)功能「Motion Sense」,source:Google
Google Pixel 4 手勢(shì)功能則稱(chēng)作「Motion Sense」,采用 Project Soli 技術(shù)(運(yùn)用微型雷達(dá)監(jiān)測(cè)空中手勢(shì)動(dòng)作的感測(cè)技術(shù)),在 Pixel 4 前置鏡頭模塊中搭載 1 塊雷達(dá)芯片,其會(huì)先發(fā)射電磁波,波束會(huì)在用戶產(chǎn)生動(dòng)作后反射回手機(jī)的傳感器,再根據(jù)波束變化偵測(cè)用戶雙手動(dòng)作,從而實(shí)現(xiàn)手勢(shì)操作。?此外,Samsung 旗下 C-Lab 也于 CES 2020 展示隔空打字新技術(shù) SelfieType,不同于前幾年的雷射鍵盤(pán)需另外搭載投影紅外線的硬件,三星僅透過(guò)手機(jī)前置鏡頭和 AI 人工智能追蹤用戶雙手,即可在桌面上出現(xiàn)隱形鍵盤(pán)。?不過(guò),整體來(lái)說(shuō)手勢(shì)操作現(xiàn)階段仍以手機(jī)廠商展示自身技術(shù)為主,實(shí)際上的應(yīng)用有限,某些功能在設(shè)定或操作上也略為復(fù)雜,使得手勢(shì)操作目前仍不普及。?
智能防偷窺
華為 Mate 30 Pro 推出防偷窺功能,借由前鏡頭支援 3D 人臉識(shí)別,可保護(hù)使用者隱私。當(dāng)前鏡頭識(shí)別有其他人出現(xiàn)在偵測(cè)范圍內(nèi),此時(shí)屏幕的訊息和行事歷等將自動(dòng)上鎖,主要仍是借由前鏡頭與 AI 搭配人臉識(shí)別完成隱私保護(hù)。
?(二)實(shí)時(shí)語(yǔ)音識(shí)別與自然語(yǔ)言處理
語(yǔ)音識(shí)別和自然語(yǔ)言處理的最新 AI 應(yīng)用,主要為實(shí)時(shí)語(yǔ)音轉(zhuǎn)字幕與實(shí)時(shí)翻譯,隨著 AI 運(yùn)算功能加強(qiáng),可實(shí)時(shí)在終端裝置完成,不需將信息先傳到云端再回傳終端裝置。?語(yǔ)音轉(zhuǎn)字幕與翻譯雖然實(shí)務(wù)上早就能做到,但過(guò)往受限于 AI 運(yùn)算能力不足,需先回傳云端處理后再傳給終端裝置。例如 Google 云端硬盤(pán)早已提供語(yǔ)音轉(zhuǎn)字幕功能,但需先登入,再播放音檔讓 Google 云端進(jìn)行處理,也就是需要透過(guò) Google 強(qiáng)大的云計(jì)算能力才得以完成,不僅需使用網(wǎng)絡(luò)流量造成不便,且容易造成隱私困擾。
?
?▲Google Pixel 4 Live Caption 功能,source:Google
不過(guò),Google Pixel 4 已率先實(shí)裝 Live Caption 功能(目前僅支援英文語(yǔ)音轉(zhuǎn)英文字幕),強(qiáng)調(diào)實(shí)時(shí)語(yǔ)音轉(zhuǎn)字幕不需使用任何連網(wǎng)數(shù)據(jù),所有音頻和字幕都在終端裝置處理,也不會(huì)儲(chǔ)存或發(fā)送給 Google;小米集團(tuán)旗下的 Redmi K30 5G 版也實(shí)裝中文語(yǔ)音轉(zhuǎn)中文字幕功能。實(shí)時(shí)翻譯功能方面,Qualcomm 在 Qualcomm Snapdragon Summit 2019 中,已展示如何只透過(guò)手機(jī)、不需經(jīng)過(guò)云端回傳即可完成實(shí)時(shí)翻譯(離線亦能實(shí)時(shí)翻譯)。?整體來(lái)說(shuō),不用透過(guò)云端就可達(dá)成實(shí)時(shí)語(yǔ)音轉(zhuǎn)字幕與實(shí)時(shí)翻譯,主要因手機(jī)芯片的 AI 運(yùn)算能力加強(qiáng),例如 Google 的 Live Caption 功能剛推出時(shí)僅能于 Pixel 4 使用,目前也僅下放至 Pixel 3 機(jī)型,而 Qualcomm 展示 Snapdragon 865 實(shí)時(shí)翻譯功能,主要也是為了強(qiáng)調(diào)其 AI 運(yùn)算能力的強(qiáng)大。實(shí)時(shí)語(yǔ)音轉(zhuǎn)字幕與實(shí)時(shí)翻譯由于不用透過(guò)云端,可降低延遲、減少頻寬需求并提高 App 使用方便性,同時(shí)安全性也更高,避免隱私外流風(fēng)險(xiǎn)。
?(三)? 其他應(yīng)用
Google Pixel 4 也藉由 Google Assistant 進(jìn)行語(yǔ)音識(shí)別以自動(dòng)過(guò)濾騷擾電話(Call Screen),過(guò)程中不需使用任何網(wǎng)絡(luò)流量,但會(huì)計(jì)入電話費(fèi)(此功能目前只支援英文,限美加地區(qū)使用。)若是未知電話,Google Assistant 可以在電話響起前就自動(dòng)屏蔽;若是一般電話,則透過(guò) Google Assistant 接聽(tīng)并詢問(wèn)來(lái)電者身分和來(lái)電原因,只要判定是語(yǔ)音自動(dòng)電話或騷擾電話,就會(huì)掛斷;若判定不是,手機(jī)就會(huì)響鈴并顯示來(lái)電者的回覆。?此功能也會(huì)根據(jù)手機(jī)的聯(lián)絡(luò)人決定是否過(guò)濾來(lái)電,若不想過(guò)濾特定號(hào)碼,就要將號(hào)碼儲(chǔ)存為聯(lián)絡(luò)人。手機(jī)還可根據(jù) Google 騷擾電話數(shù)據(jù)庫(kù)中的號(hào)碼偵測(cè)語(yǔ)音自動(dòng)電話和騷擾電話,因此在初次設(shè)定時(shí)仍需網(wǎng)絡(luò)連線,設(shè)定完畢才可關(guān)閉連線。??AI 應(yīng)用將持續(xù)帶動(dòng)手機(jī)硬件提升?總結(jié)來(lái)看,近期市場(chǎng)出現(xiàn)越來(lái)越多前鏡頭結(jié)合 AI 的應(yīng)用,尤以提供手勢(shì)或臉部識(shí)別為主的機(jī)型,基本上都需搭 ToF 感測(cè)模塊或雷達(dá)以提供更好識(shí)別能力。
此外,Google 提供視訊人臉置中和同時(shí) 2 人入鏡功能,也都依賴前鏡頭廣角功能,一般主攝鏡頭在視野受限下無(wú)法足夠取景。預(yù)期未來(lái)前鏡頭的規(guī)格會(huì)持續(xù)升級(jí),象是畫(huà)素提升或引入微距鏡頭等,以實(shí)現(xiàn)更多 AI 應(yīng)用。?不過(guò),AI 運(yùn)用最主要還是仰賴處理器的 AI 運(yùn)算能力,隨著 AI 引擎持續(xù)改善,可以改善原本需回傳云端處理再傳回終端裝置的狀況,終端裝置于離線時(shí)即可提供許多 AI 運(yùn)用,不僅降低延遲也減少頻寬需求,使 App 在應(yīng)用上更方便,更不須使用網(wǎng)絡(luò)或依賴云資源,進(jìn)而提高安全性。