小度科技沈?。阂原h(huán)繞智能為核心，打通4大解決方案

6月30日，由智東西和智東西公開課主辦的GTIC 2022全球AIoT智能家居峰會（以下簡稱AIoT智能家居峰會），在線上成功舉辦，在全網(wǎng)16個渠道同步直播，線上觀看人數(shù)達(dá)到了90多萬人，眾多嘉賓的議題都引起了大家熱烈討論。

8位行業(yè)重磅大咖就AIoT智能家居的技術(shù)突破、創(chuàng)新應(yīng)用和行業(yè)展望展開了精彩的深度探討，直擊行業(yè)痛點(diǎn)。

▲小度科技IoT生態(tài)業(yè)務(wù)部總經(jīng)理沈健

作為小度科技IoT生態(tài)業(yè)務(wù)部總經(jīng)理，沈健帶來了題為《小度全屋智能：交互的變革與場景的進(jìn)化》的演講。

小度全屋智能是百度AI技術(shù)與IoT智能家居技術(shù)結(jié)合的產(chǎn)物，以環(huán)繞智能為核心能力的小度助手7.0，將多模態(tài)的感知理解相融合，讓人與機(jī)器的交互和理解變得更加簡單，這也正是小度全屋智能的核心能力。

附小度科技IoT生態(tài)業(yè)務(wù)部總經(jīng)理沈健演講實(shí)錄

沈健：非常感謝組委會的邀請，借此機(jī)會我今天簡單介紹一下小度在全屋智能的交互和場景方面的一些工作。

在整體講解之前，我想和大家聊一個常見的單詞AI，我們平常所說的是人工智能，而這里我想說的AI是Ambient Intelligence，也就是環(huán)繞智能。

我們對環(huán)繞智能的定義是這樣的，將數(shù)字世界的內(nèi)容和服務(wù)通過設(shè)備“編織”入物理世界，在物理世界中，智能環(huán)繞著你，持續(xù)適應(yīng)、理解你所處的場景和你的偏好，在你需要時(shí)響應(yīng)你，不需要時(shí)隱入環(huán)境。

環(huán)繞智能也是目前小度一個較大的中臺算法團(tuán)隊(duì)在做的工作。在這個過程中，我們也會用到很多人工智能技術(shù)，這也符合百度的理念，通過技術(shù)來將復(fù)雜的世界變得更加簡單。

我們認(rèn)為，環(huán)繞智能主要有兩方面能力，第一個是感知世界的能力，第二個是感知之后，能對感知到的內(nèi)容進(jìn)行理解的能力。

目前，在小度整個系統(tǒng)里，我們有三種類型的感知和理解能力，分別是語音、視覺和多重感知，接下來我會針對這三種類型的感知和理解能力進(jìn)行分別介紹。

第一個是語音感知和理解，因?yàn)樾《仍O(shè)備最初是以語音交互為主要的交互方式，因此我們認(rèn)為用戶對語音感知和理解已經(jīng)比較熟悉了。經(jīng)過幾年的發(fā)展，目前小度提供的聽清、聽懂、滿足理解能力已經(jīng)是業(yè)界最好的。小度設(shè)備每天有將近幾千萬的用戶，通過小度設(shè)備進(jìn)行各種交互，有事問小度也已經(jīng)成為很多用戶的日常習(xí)慣，這一部分的技術(shù)我就不深入介紹了。

第二個是視覺感知和理解，一開始小度的智能型設(shè)備中，我們是以語音交互感知理解能力為主，還增加了一些視覺感知能力，例如對于兒童的屏幕保護(hù)、距離保護(hù)，AI攝像頭捕捉用戶的動作，然后判斷用戶是否距離屏幕過近。此外，我們還有通過手勢控制音視頻播放、遠(yuǎn)程喚醒等功能。

事實(shí)上，視覺感知和理解已經(jīng)成為社會上最主要的感知和理解能力。去年，我們推出了一款新的產(chǎn)品小度添添智能健身鏡，AI攝像頭捕捉用戶肢體動作，并對其進(jìn)行判斷，就可以對用戶動作進(jìn)行打分。

這個技術(shù)的實(shí)現(xiàn)方式是，通過AI攝像頭把用戶的視覺圖像以每秒30幀進(jìn)行捕獲，上傳到AI芯片中，然后通過平滑、補(bǔ)幀等預(yù)處理，并結(jié)合用戶當(dāng)前意圖下所做的動作來進(jìn)行判斷，還會結(jié)合一些動態(tài)模型，比如當(dāng)你跟著鏡子中的教練進(jìn)行運(yùn)動時(shí)，我們會有包括計(jì)數(shù)模型、計(jì)時(shí)模型、匹配模型、動作糾正模型等，這些模型結(jié)合用戶當(dāng)前的動作，進(jìn)行理解、匹配和動作糾正，最終給用戶的動作生成結(jié)果，這個結(jié)果包括給一個動作打了多少分以及動作是不是能做的更加準(zhǔn)確等。

這個過程中，很多用戶會十分關(guān)注數(shù)據(jù)隱私，我們承諾所有關(guān)于視覺的原始圖像都是在本地進(jìn)行處理的，不會上傳到云端。

第三個多重感知和理解，就是利用各種類型的傳感器設(shè)備，對整個物理實(shí)際空間各種變化進(jìn)行感知。

小度的整個系統(tǒng)有一套開放的IoT生態(tài)，各種類型的傳感設(shè)備都可以通過這套IoT開放平臺接入到小度設(shè)備中。接入后，小度的整個系統(tǒng)都可以獲取到這些信息，同時(shí)，這個過程也能幫助小度將整個感知能力進(jìn)行延伸。

視頻中簡單介紹了一下這些感知和理解能力，在小度系統(tǒng)中是如何帶給用戶感知效果的，這些功能其實(shí)很多人用過，但可能大家都不太清楚它的背后是怎么實(shí)現(xiàn)的。

對于環(huán)繞智能而言，除了上述獨(dú)立的不同類型的感知和理解能力之外，還有一個非常重要的點(diǎn)，就是能對不同類型的感知和理解能力進(jìn)行無縫融合。

原因在于，用戶和機(jī)器哪怕只有一次交互，也會產(chǎn)生不同類型的交互方式。因此，機(jī)器能不能將不同類型的感知和理解能力進(jìn)行無縫融合就顯得非常關(guān)鍵。這一點(diǎn)也是體現(xiàn)機(jī)器智不智能、聰不聰明、方不方便的關(guān)鍵。在融合能力上，我們簡單將其分為交互上的融合和理解上的融合。

對于交互上的融合，我可以舉幾個例子，例如我們首先推出了延長聆聽功能，目前已經(jīng)在全場景和全領(lǐng)域上線了該功能。第二個例子是，小度快捷指令。

這背后的技術(shù)實(shí)現(xiàn)上有一個重要的技術(shù)就是，人機(jī)置信度判斷模型。在自然交互的場景下，麥克風(fēng)會接收到各種各樣的聲音，小度就需要判斷收到的聲音是否是用戶有意和其交互的，因?yàn)橛泻芏嗦曇羰请s音或者即使是用戶發(fā)出的聲音，也并不一定是和小度說話，而可能是和其他人進(jìn)行交流，所以這是非常關(guān)鍵的技術(shù)點(diǎn)。

我們使用了深度學(xué)習(xí)模型，參考語音特征、語義特征和視覺特征，比如用戶盯著設(shè)備看的時(shí)候，這時(shí)候的判斷可能會使得置信度變高。這個模型也促成了上述兩個功能的實(shí)現(xiàn)。

目前延長聆聽的全雙工2.0功能已經(jīng)在所有設(shè)備上線，小度快捷指令在小度智能屏X8上線，后邊會逐步開放至所有的小度智能屏、智能健身鏡等產(chǎn)品上。

除了交互上的融合之外，理解上的融合也很關(guān)鍵，實(shí)現(xiàn)上也更加復(fù)雜。

理解上的融合其實(shí)是針對對話理解，是語義上的融合，它的融合比單純交互上的融合更加復(fù)雜。原因在于，用戶的語義是很難去猜測的。

在這一點(diǎn)上，我們針對語義融合專門構(gòu)建了PCAN模型，這個模型有兩個特點(diǎn)，一個是百萬級別的需求空間的超大規(guī)模。第二個是在整個實(shí)驗(yàn)過程中，用戶跟小度設(shè)備在很長一段時(shí)間內(nèi)的交互，會積累更多個性化數(shù)據(jù)，將這些數(shù)據(jù)和當(dāng)前用戶上下文篩選的數(shù)據(jù)進(jìn)行結(jié)合，就可以對用戶當(dāng)前場景下的意圖、需求進(jìn)行多輪追蹤和判斷。

下圖左下方就是上下文編碼的模塊，需要考慮當(dāng)前、過去以及一系列的向量特征，比如設(shè)備的狀態(tài)、視覺狀態(tài)等，然后編碼出當(dāng)前上下文的向量。圖片右側(cè)就是用戶的個性化數(shù)據(jù)編碼模塊，能夠?qū)⒂脩糸L期的偏好進(jìn)行數(shù)字化。這兩個模塊進(jìn)行融合，我們就可以實(shí)現(xiàn)多種應(yīng)用，包括全空間領(lǐng)域的連續(xù)目標(biāo)追蹤、語義糾錯、上下文和個性化消除歧義等。

為了實(shí)現(xiàn)剛才的功能，我們首創(chuàng)了PCAN大模型，除此以外，小度還自研了一套自學(xué)習(xí)深度學(xué)習(xí)語義理解系統(tǒng)，它的最大特點(diǎn)是可以在線上進(jìn)行自學(xué)習(xí)。

首先用戶產(chǎn)生一個新的需求，如新的垂類、服務(wù)，我們一開始需要文法標(biāo)注系統(tǒng)進(jìn)行冷啟動，針對用戶行為數(shù)據(jù)進(jìn)行標(biāo)注，然后將新需求上線，就可以累計(jì)用戶的數(shù)據(jù)行為，并通過自動樣本挖掘，實(shí)現(xiàn)更多的滿意度反饋，使用標(biāo)注好的數(shù)據(jù)來進(jìn)一步訓(xùn)練PCAN模型。

再加上它是自學(xué)習(xí)系統(tǒng)，就意味著即使小度工程師放假，也不會對其產(chǎn)生影響，只要用戶在不斷使用小度產(chǎn)生新的意圖和服務(wù)，小度就會基于這些意圖和服務(wù)增強(qiáng)理解能力，也就會變得越來越聰明。

我們前面主要介紹了環(huán)繞智能，原因在于去年年底，百度Create 2021·小度智能生活論壇上小度助手7.0發(fā)布，環(huán)繞智能就是小度助手7.0的核心能力之一。

從2017年發(fā)布小度助手1.0開始，5年時(shí)間，我們已經(jīng)對小度助手進(jìn)行了7次迭代，幾乎每次迭代都圍繞著兩個方面對小度助手的能力進(jìn)行提升，一是智能能力，其次是如何把生態(tài)打造的更加成熟。

小度助手7.0是一個跨設(shè)備的助手系統(tǒng)，目前包括智能音箱、智能健身鏡、智能屏、智能電視、平板等絕大多數(shù)小度設(shè)備上都運(yùn)行的是小度助手7.0.

從小度助手7.0的全景圖上，我們可以看到，包括人臉、眼神、聲音、手勢、人體都有相關(guān)應(yīng)用，同時(shí)希望大家可以使用這些功能，給我們提出寶貴的意見。在智能化方面，我們也會提升小度助手的能力，帶給用戶更好的體驗(yàn)。

剛才講了很多技術(shù)方面的內(nèi)容，接下來我介紹一下業(yè)務(wù)側(cè)。

近幾年，全屋智能賽道爆火，傳統(tǒng)家電廠商、做平臺的廠商等都紛紛加入，越來越多的玩家入局，但到底什么是全屋智能？我們也一直在思考這個問題。

在小度看來，第一個就是要讓環(huán)繞智能無處不在，一句話、一個眼神、一個動作甚至一個表情，機(jī)器都能秒懂，讓人和機(jī)器的交互更簡單、自然，讓機(jī)器對人的理解更精準(zhǔn)。

智能也就是全屋智能的基石，這也是為什么我剛才一直在講環(huán)繞智能，以及我們在這一領(lǐng)域做了什么。如果你的全屋智能解決方案中智能化程度較弱，那么即便顏值再高，這也只是一個硬件的對接，我們認(rèn)為這種做法缺少溫度。

第二個就是全屋智能滿足用戶需求的程度和維度是什么。目前在便捷控制、物理安防、環(huán)境安全等場景已經(jīng)有很多玩家做的非常美觀、便捷。我認(rèn)為，這些需求只是用戶的生理需求場景，從不同層次的用戶需求來看，用戶更高維度的精神層面需求也需要去滿足。

事實(shí)上，當(dāng)今社會很多人把更多時(shí)間放到了更高層面的精神需求滿足上，包括日常信息助手、身體健康、學(xué)習(xí)成長、娛樂等，我認(rèn)為這些都是更高維度的需求場景。

對于小度來說，我們希望在更高維度的場景上做更多的解決方案來滿足用戶。

接下來，我會通過小度正在做的最重要的4個場景，簡單介紹一下我們在做的工作和理念。

第一個場景是全屋智能控制場景，這個場景也是目前行業(yè)中做的比較好的，包括照明、影音、安防等。我想強(qiáng)調(diào)一點(diǎn)，全屋智能控制并不等于全屋智能，我們認(rèn)為它只是其中的一個場景。

在這個場景下，小度科技堅(jiān)持三大理念，首先是提供符合大眾美的產(chǎn)品，我們認(rèn)為大眾美才是絕大部分用戶所需要的，專業(yè)極致的產(chǎn)品可能只是小部分用戶的需求，因此我們的設(shè)計(jì)理念還是堅(jiān)持提供大眾類產(chǎn)品。

其次是長久穩(wěn)定，目前做整套方案的智能家居產(chǎn)品，在穩(wěn)定性方面仍然參差不齊，因此，選擇品牌過硬、技術(shù)過硬的產(chǎn)品是非常重要的，在這一點(diǎn)上，百度的口碑還是可以的。

在過去20年間，用戶看網(wǎng)絡(luò)連接狀態(tài)的首選工具就是訪問百度首頁，如果訪問成功就代表網(wǎng)絡(luò)連接正常，如果發(fā)現(xiàn)404，用戶并不會認(rèn)為是百度首頁出現(xiàn)問題，而會想到是網(wǎng)絡(luò)出現(xiàn)問題。這一點(diǎn)足以證明，百度在穩(wěn)定性方面給用戶留下的口碑和影響。

最后是我們希望通過建立生態(tài)，給用戶提供豐富的品牌，讓用戶去進(jìn)行選擇，因?yàn)?，我們認(rèn)為目前小度的產(chǎn)品線仍然不能滿足所有用戶，所以我們還是先將穩(wěn)定性做好，再讓用戶選擇更多的品牌產(chǎn)品。

下一個場景是生活娛樂場景，這個場景用戶更加熟悉，也是我們首要切入的場景，我們就是用戶日程生活娛樂的助手。很多用戶已經(jīng)習(xí)慣用小度去問天氣、查股票、查百科、聽新聞、設(shè)鬧鐘、設(shè)日歷、問時(shí)間等，這些生活上的小工具服務(wù)已經(jīng)成為了習(xí)慣。

此外，很多人也會用我們的設(shè)備聽歌、看劇、刷視頻等，尤其在疫情的背景下，居家生活時(shí)間越來越多，我們也能明顯看到，通過小度設(shè)備進(jìn)行娛樂的需求大增。也是因?yàn)檫@個原因，我們?nèi)ツ晖瞥隽藘煽顚ｉT面向娛樂的產(chǎn)品，智能屏和電視。

第三個場景是運(yùn)動健康場景，小度從去年開始深入這個場景，因?yàn)橐咔?，我們對居家健康場景產(chǎn)生了更多的思考。在這個場景下，我們的思路有兩個，第一是獨(dú)立或建立生態(tài)與合作伙伴共同推出若干款產(chǎn)品，這些產(chǎn)品可以收集用戶行為數(shù)據(jù)，然后進(jìn)行分析推測用戶當(dāng)前的情況是正常還是異常。

再加上百度醫(yī)療是目前流量最大的醫(yī)療信息查詢和在線問診平臺，對用戶行為數(shù)據(jù)的分析結(jié)合百度醫(yī)療系統(tǒng)，小度就可以主動報(bào)告用戶的異常數(shù)據(jù)，并為用戶提供一些健康生活的建議。

同樣，用戶也可以主動詢問小度，獲取相關(guān)疾病方面的信息，或者通過這個平臺去找到專業(yè)醫(yī)生進(jìn)行在線問診。

對于用戶健康來說，監(jiān)測只是保守的做法，最重要的還是應(yīng)該動起來。我們?nèi)ツ晖瞥隽私】堤籽b，其中最重要的產(chǎn)品就是智能健身鏡，此外，小度聯(lián)合合作伙伴推出了智能跳繩、跑步機(jī)、瑜伽墊、智能啞鈴等產(chǎn)品，組成了家居健身套餐，為用戶提供完整的健身工具和方法。在健身鏡產(chǎn)品中，小度科技在視覺交互上也實(shí)現(xiàn)了技術(shù)創(chuàng)新。

在產(chǎn)品側(cè)，我們也做了一些有意思的事情，健身、運(yùn)動會有反彈，我們在里面增加了游戲化方案，讓用戶在游戲過程中健身，同時(shí)，我們還推出了社交化方式，用戶可以和陌生人或朋友一起健身，讓健身過程變得更加有趣。

同時(shí)，這款產(chǎn)品在今年3、4、5月，連續(xù)三個月的銷售額排名第一。

還有我們剛剛推出的智能鬧鐘，這一產(chǎn)品的最大特點(diǎn)是可以針對用戶鼾聲進(jìn)行檢測，用戶睡覺期間它就可以作為床頭鬧鐘，還能對用戶打鼾長度、頻次、時(shí)間、是否異常等情況進(jìn)行數(shù)據(jù)分析。

此外，我們嘗試通過不使用毫米波技術(shù)，而是其他不需要升級硬件的方式，來檢測人體呼吸等，這樣的話，我們就可以通過聲音、呼吸來對用戶睡眠進(jìn)行檢測，保證用戶的睡眠健康。

第四個場景是兒童成長場景，針對孩子從嬰兒期、學(xué)齡期到學(xué)齡后，我們都有很專業(yè)的產(chǎn)品解決方案。去年，我們開始做學(xué)習(xí)平板這一品類，去年第二季度，小度入局學(xué)習(xí)平板這一品類，從第三季度開始，連續(xù)三個季度在線上銷售排名第一，去年第四季度和今年第一季度同樣是全渠道銷售第一，這也可以直接說明用戶對它的喜愛程度。

最后，我想和大家聊一聊中控屏。

在過去一年中，中控屏市場變得越來越卷，很多玩家都推出了自己的中控屏產(chǎn)品，中控屏的屏幕也變得越來越大，從6寸、7寸、8寸一直到現(xiàn)在的13寸、15寸，分辨率越來越高，顏值、美學(xué)、前裝等方面都在不斷提升。

但是這些中控屏的界面和功能基本上都大同小異，都是以全屋控制加背景音樂作為最主要的功能。

因此，借這個機(jī)會我也想和大家探討一下，以及去講解一下我們?nèi)绾慰创锌仄廉a(chǎn)品。

首先，去年3月，小度推出小度智能中控屏。

談及小度為什么推出這個產(chǎn)品，首先我們通過分析認(rèn)為，用戶玄關(guān)確實(shí)需要一塊擁有智能控制、社區(qū)監(jiān)測等核心功能，并配合鬧鐘、日歷等輔助功能的智能產(chǎn)品。其次，這也是小度踐行“一屋一屏”整個大戰(zhàn)略的重要一步，我們希望用戶在家里每一個需求點(diǎn)上，都有一個能夠?qū)?yīng)解決當(dāng)前場景問題的設(shè)備。

回到智能中控屏產(chǎn)品，我們主要是針對玄關(guān)，對于整個智能中控網(wǎng)關(guān)來說，小度整體全屋智能分布式網(wǎng)關(guān)解決方案中，包括小度智能中控屏和所有的屏幕，有客廳智能電視、健身區(qū)域的健身屏、學(xué)習(xí)方面的學(xué)習(xí)屏等，這些屏幕共同組成了小度全屋智能分布式網(wǎng)關(guān)的系統(tǒng)，每個屏幕都是一個分布式網(wǎng)關(guān)，用戶也可以和每個屏或者音箱進(jìn)行交互來進(jìn)行中控控制。

因此在小度的整個系統(tǒng)中，每個屏都是中控屏，這也是我們對于中控屏的定位和理解。

針對上面新思路的布局，我們也對小度全屋智能體驗(yàn)店進(jìn)行了全面升級，從陳列、布局、體驗(yàn)，各個方面都能體現(xiàn)出我們的新思路。我們今年的目標(biāo)就是基于新的體驗(yàn)店，實(shí)現(xiàn)百城百店。

最后，我簡單聊一下小度在酒店方面的一些工作，前段時(shí)間，小度酒店客房數(shù)已經(jīng)突破40萬。實(shí)際上，如果沒有受疫情影響，我們預(yù)計(jì)這個數(shù)據(jù)在今年第一、二季度就可以實(shí)現(xiàn)，從現(xiàn)在的趨勢來看，疫情的影響在不斷消退，今年6月份實(shí)現(xiàn)了較高速的增長，因此我們保守預(yù)測，今年年底這個數(shù)字可能會突破60萬。

除了頭部酒店集團(tuán)外，單體、獨(dú)立酒店的增速也很快，目前已經(jīng)超過50%，這也顯示出目前小度智慧酒店的生態(tài)是很完善的。

這是目前我們在酒店解決方案中的所有產(chǎn)品，主要有5款，其中2款是桌面有屏產(chǎn)品，2款是桌面無屏產(chǎn)品，1款是掛墻有屏產(chǎn)品。

接下來我們將上線一款新產(chǎn)品，是主要針對酒店的小度送貨機(jī)器人，這代表著小度客需這一層面的服務(wù)閉環(huán)打造完成。這樣的話，小度在客控和客需上都能給客戶、酒店等提供完整的解決方案。

在客控領(lǐng)域，2021年8月，我們推出了小度基于藍(lán)牙Mesh的公寓直連方案，截至現(xiàn)在，已經(jīng)落地2000多家酒店、公寓，超30000個房間。目前，通過小度智能設(shè)備主控的被控設(shè)備數(shù)量已經(jīng)超過40萬臺。在這個方案中，我們也和一些合作伙伴，在產(chǎn)品、服務(wù)、定價(jià)體系、運(yùn)營體系方面進(jìn)行更多的監(jiān)督把控，保證我們最終的方案能實(shí)現(xiàn)三方互贏。

以上就是我講的所有內(nèi)容，感謝大家。