思必馳加入AI造芯大潮：明知山有虎偏向虎山行？

?

在 AI 橫行的當(dāng)下，沒有什么高科技能比 AI 更能激起廣大用戶內(nèi)心的好奇，很多創(chuàng)業(yè)公司都在拿 AI 當(dāng)噱頭，幾乎所有傳統(tǒng)公司都竭盡全力向 AI 靠近。于是去年智能音箱火了，天貓精靈、小愛音箱、亞馬遜的 Echo 紛紛走入我們的生活，語音控制確實(shí)比硬件控制更加便捷，有些設(shè)備廠商甚至打出一個(gè)口號(hào)“能動(dòng)動(dòng)嘴解決的事情就不讓用戶動(dòng)手”。

在智能語音處理領(lǐng)域，思必馳以算法見長(zhǎng)。從 2013 年開始，思必馳專注人性化的自然語言交互方案，在 2017 年基于語音技術(shù)積淀推出了 DUI 開放平臺(tái)，開啟全鏈路對(duì)話定制；2018 年，思必馳擠身中國(guó) AI 國(guó)際隊(duì)，14 篇論文入選 ICASSP，并發(fā)布了會(huì)話精靈。從應(yīng)用市場(chǎng)來看，思必馳 CEO 高始興向與非網(wǎng)記者介紹，“我們打通了全鏈路，實(shí)現(xiàn)了規(guī)模化定制，終端設(shè)備激活 8000 多萬臺(tái)，開發(fā)者超過 17000 人，打通了 16 葛智能家居平臺(tái)。在車聯(lián)網(wǎng)后裝市場(chǎng)、智能音箱、兒童平板、故事機(jī)，以及知識(shí)機(jī)器人等關(guān)鍵領(lǐng)域市場(chǎng)占有率位居第一，在汽車前裝、電視、白電、智能客服等重點(diǎn)領(lǐng)域增速第一。”

思必馳聯(lián)合創(chuàng)始人、首席科學(xué)家俞凱

獨(dú)行者快，眾行者遠(yuǎn)，思必馳選擇聯(lián)手強(qiáng)者打造 AI 芯片
思必馳造芯是經(jīng)過了深思熟慮之后作出的決定，而且選擇適合自己的路，用思必馳聯(lián)合創(chuàng)始人、首席科學(xué)家俞凱的話說就是“獨(dú)行者快，眾行者遠(yuǎn)”，思必馳選擇與中芯國(guó)際旗下的中芯聚源合資成立深聰智能公司，從 2017 年初開始醞釀，2018 年 2 月開始定制芯片，2018 年 8 月份實(shí)現(xiàn)流片，2018 年 11 月進(jìn)行驗(yàn)證。

深聰智能 CTO 朱澄宇介紹 TH1520 是一款聚焦于語音應(yīng)用場(chǎng)景下的 AI 專用芯片，主要面向智能家居、智能終端、車載、手機(jī)、可穿戴設(shè)備等各類終端設(shè)備。解決方案包含算法+芯片，具有完整語音交互功能，能實(shí)現(xiàn)語音處理、語音識(shí)別、語音播報(bào)等功能，支持離線語音交互。

他強(qiáng)調(diào)，“TH1520 進(jìn)行了算法硬件優(yōu)化，基于雙 DSP 架構(gòu)，內(nèi)部集成 codec 編解碼器以及大容量的內(nèi)置存儲(chǔ)單元，同時(shí)，TH1520 采用了 AI 指令集擴(kuò)展和算法硬件加速的方式，使其相較于傳統(tǒng)通用芯片具有 10X 以上的效率提升。TH1520 在架構(gòu)上具有算力及存儲(chǔ)資源的靈活性，支持未來算法的升級(jí)和擴(kuò)展。”

TH1520 兼具低功耗及實(shí)用性，采用多級(jí)喚醒模式，內(nèi)置低功耗 IP，使其在 always-on 監(jiān)聽階段的功耗低至毫瓦級(jí)，典型工作場(chǎng)景功耗僅需幾十毫瓦，極端場(chǎng)景峰值功耗不超過百毫瓦。該芯片支持單麥、雙麥、線性 4 麥、環(huán)形 4 麥、環(huán)形 6 麥等全系列麥克風(fēng)陣列，同時(shí)支持 USB/SPI/UART/I2S/I2C/GPIO 等應(yīng)用接口和多種格式的參考音，能在各類 IOT 產(chǎn)品中靈活部署應(yīng)用。

語音算法是占用內(nèi)存的大戶，通過軟硬融合思必馳知道如何優(yōu)化，經(jīng)過團(tuán)隊(duì)的交流，成功將內(nèi)存放到了片內(nèi)，片內(nèi)的內(nèi)存功耗比片外內(nèi)存功耗小兩個(gè)數(shù)量級(jí)，對(duì)降低功耗起到?jīng)Q定性作用。

在發(fā)布會(huì)現(xiàn)場(chǎng)，朱澄宇并沒有介紹芯片的主頻以及 GOP 數(shù)量，他的解釋是，一是芯片在調(diào)試，在正式量產(chǎn)會(huì)公布；第二，我們提供的是“芯片+算法”的解決方案，給用戶提供良好的體驗(yàn)，給開發(fā)者帶來最大的放便是產(chǎn)品的最大亮點(diǎn)。

明知造芯難，為何偏要傾力造？
芯片從業(yè)者都明白，芯片是大坑，不是有豪言壯語就能做成，思必馳卻在這個(gè)時(shí)候發(fā)布了其 AI 芯片。他們?yōu)槭裁匆爸薮蟮娘L(fēng)險(xiǎn)從算法跨越到硬件？是因?yàn)閲?guó)內(nèi)的造芯熱潮，還是自身的需要？思必馳 CTO、深聰智能 CEO 周偉達(dá)分享了思必馳的造芯之路。

人工智能交互技術(shù)對(duì)芯片的要求很高，第一是計(jì)算量，第二是內(nèi)存，現(xiàn)在芯片的計(jì)算能力和存儲(chǔ)空間不能直接提供給消費(fèi)者來使用，深度學(xué)習(xí)最早應(yīng)用于神經(jīng)網(wǎng)絡(luò)首先是在 PC 上實(shí)現(xiàn)，在客戶端使用先要進(jìn)行量化，可以量化到定點(diǎn)的 32 位、16 位、8 位，思必馳目前在客戶端的所有定點(diǎn)都是到 8 位，可能會(huì)定位到 4 位、2 位、1bit。神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)模型不是類似于馮諾依曼的 CPU 架構(gòu)，傳遞的是神經(jīng)沖動(dòng)，不是浮點(diǎn)數(shù)據(jù)，要真正做到類人腦運(yùn)算，需要考慮高能效、低功耗的人工智能芯片是否能做到 1bit 運(yùn)算，到最后的運(yùn)算就不需要存儲(chǔ)了，而是需要數(shù)字邏輯的與非異或，這樣的技術(shù)在思必馳的 PC 仿真中已經(jīng)驗(yàn)證了，思必馳的技術(shù)未來有希望用到更多終端上。但是也發(fā)現(xiàn)了問題：現(xiàn)在的 CPU 以 1byte 為單位，思必馳算法在 CPU、DSP 上沒有優(yōu)勢(shì)。于是開始考慮從哪里開始做？

思必馳做芯片第一是因?yàn)樯窠?jīng)網(wǎng)絡(luò)發(fā)展的需求，第二是更多的市場(chǎng)需求，從成立之初到現(xiàn)在，我們已經(jīng)對(duì)接賦能了上千萬套設(shè)備，對(duì)接了 ARM、DSP、MIPS、MCU 的芯片，存儲(chǔ)空間從幾兆到幾 G，因此非常清楚客戶的需求和瓶頸。我們?nèi)绾伟?AI 算法提供給客戶，這讓我們看到有大量的市場(chǎng)需求，因此，從技術(shù)發(fā)展和市場(chǎng)需求來看，做芯片是一條必經(jīng)之路。

思必馳從 2016 年開始籌劃做面向深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)芯片，我們?cè)诒举|(zhì)上是軟件公司，我們也在思考自己能不能做硬件？因此，我們決定和行業(yè)專家一起合作研發(fā)芯片。從 2016 年到 2017 年一直在尋找合作伙伴，從芯片行業(yè)的 IP 供應(yīng)商、芯片制造商、芯片生產(chǎn)商、以及做編譯器、操作系統(tǒng)的公司中篩選，整個(gè)過程中發(fā)現(xiàn)三個(gè)困難：第一，人工智能算法在未來的 5-10 年會(huì)不斷發(fā)展，不斷進(jìn)化、完善，如何做芯片？芯片公司說，你可以告訴我你需要多少算力，多少帶寬，多少內(nèi)存，剩下的問題交給我來做。但是我們限制，這款芯片是否能達(dá)到毫瓦級(jí)？在未來物聯(lián)網(wǎng)應(yīng)用中達(dá)到百微瓦甚至十微瓦？大部分公司無法做。CPU 最小做到幾百毫瓦甚至 1W，這需要我們和芯片設(shè)計(jì)公司深度融合來進(jìn)行合作，需要我們公司開放算法，需要芯片公司重新架構(gòu) CPU 計(jì)算單元，這一步很難邁出；第二，我們對(duì)接了很多設(shè)備了解了需求，把這些需求提交給芯片公司，他們未必認(rèn)可。第三，未來數(shù)據(jù)存在很大的安全隱患，消費(fèi)者存在信息泄漏風(fēng)險(xiǎn)，我們想研發(fā)芯片做三層數(shù)據(jù)安全的保護(hù)：第一層加入芯片密碼，只有驗(yàn)證了芯片密碼，應(yīng)用才能啟動(dòng)；第二層用戶加入聲紋，才能啟動(dòng)芯片進(jìn)行錄音，傳輸?shù)皆贫?；第三層，隨著芯片計(jì)算能力增加，可以在本地做通用的語音的識(shí)別，盡可能少在云端傳數(shù)據(jù)，通過研發(fā)芯片達(dá)到保護(hù)個(gè)人信息安全。最后，思必馳決定做芯片，而且要軟硬結(jié)合做好 AI 芯片。

?

軟硬結(jié)合，剛?cè)岵?jì)
軟硬結(jié)合的第一步是把算法變成匯編語言，然后在軟件開發(fā)環(huán)境下進(jìn)行分析，分析結(jié)果發(fā)現(xiàn)大有可為。比如，算法中的四舍五入，用匯編來看，需要判斷、移位、復(fù)制等十個(gè)步驟，芯片工程師覺得只要一步指令就可以完成，于是算法工程師和硬件工程師一起定制了一套指令，將效率提高了 10 倍。軟硬件工程師一起交流，碰撞出很多火花，這是我們?cè)谳^短時(shí)間內(nèi)大幅度提升芯片性能的一個(gè)方法，第一步通過算法的工程實(shí)現(xiàn)、芯片的配置架構(gòu)和芯片的物理進(jìn)行初步融合，就達(dá)到了全系列麥克風(fēng)陣列、AI 關(guān)鍵字和指令的識(shí)別，以及低功耗喚醒的目標(biāo)。

第二步，將語音算法和基礎(chǔ) IP 再融合，在做語音算法時(shí)考慮到后面的流程，在最底層考慮到前面，進(jìn)行深層次的融合，可以把芯片的能力和能效再提升一個(gè)數(shù)量級(jí)，滿足下一代芯片的需求，本地的語音識(shí)別、本地的語義識(shí)別、安全特征、聲紋特征。第二代芯片的預(yù)研發(fā)已經(jīng)開始。

第三，人機(jī)交互的最高境界是擬人化交流，不光需要語音，還需要視覺、運(yùn)動(dòng)、味覺、觸覺，需要更深層次的多模態(tài)整合算法，與存儲(chǔ)工藝封裝等融合和優(yōu)化，會(huì)用到新的存儲(chǔ)技術(shù)做存儲(chǔ)計(jì)算。

將來軟硬結(jié)合發(fā)展趨勢(shì)是通過算法和實(shí)現(xiàn)，最終生產(chǎn)深度交流，不斷提高芯片的性能，在摩爾定律走到盡頭的背景下，軟硬結(jié)合大有可為，人工智能軟硬結(jié)合是芯片性能繼續(xù)提升的一個(gè)方向。

AI 時(shí)代是一個(gè)軟件定義硬件的時(shí)代
軟件是以天和周為單位進(jìn)行版本更新，而半導(dǎo)體芯片從產(chǎn)品設(shè)計(jì)到流片、驗(yàn)證、封裝、測(cè)試，一般周期是一年半到兩年。清華大學(xué)魏少軍教授說過，即將到來的 AI 時(shí)代是一個(gè)軟件定義硬件的時(shí)代，是一個(gè)算法定義芯片的時(shí)代。深聰智能在思必馳強(qiáng)力算法的支持下，優(yōu)勢(shì)就是充分做到“軟件+硬件”的融合以及深度優(yōu)化，這已經(jīng)反映出軟件定義芯片的時(shí)代已經(jīng)到來。深聰智能的成立滿足了從算法到模塊，到平臺(tái)到生態(tài)的遷移，思必馳十年的技術(shù)積累，已經(jīng)從一個(gè)算法產(chǎn)品公司邁向一個(gè)平臺(tái)、一個(gè)系統(tǒng)、一個(gè)生態(tài)，打通了云和端，就是欠缺了芯片。

AI+IoT 是下一個(gè)十年是所有半導(dǎo)體公司都關(guān)注的點(diǎn)。通用芯片開始是為了滿足最大的出貨量，不管是高通、聯(lián)發(fā)科還是海思、展訊，不管瞄準(zhǔn)的是手機(jī)、TV，還是盒子、白電，他們想要做到的是一款芯片打遍全世界，英特爾控制了 PC 時(shí)代，彼此都有標(biāo)準(zhǔn)化；在移動(dòng)互聯(lián)網(wǎng)時(shí)代，即使是安卓、ARM、高通、聯(lián)發(fā)科、海思等，它們對(duì)硬件的要求，對(duì)軟件的依附都已經(jīng)被量化，在 AI 時(shí)代，專用 IC 才能滿足物聯(lián)網(wǎng)的碎片化需求，借用專用芯片到定制的架構(gòu)，我們只是將算法和算法模型從通用型芯片移植到專用芯片上，我們強(qiáng)調(diào)功耗和專用芯片是為了針對(duì)特定的場(chǎng)景、特定的算法、特定的模型量身定做，而不是通用芯片的“削足適履”。

接下來是從專用芯片邁向?qū)Ｓ眉軜?gòu)，目前的 CPU、FPGA、GPU 并不符合未來神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的需求，我們從專用芯片到專用架構(gòu)，就可以反饋回去修改模型，AI 市場(chǎng)是要透過使用者來定義產(chǎn)品，再由把需求反饋給算法，靠算法實(shí)現(xiàn) 。

通用芯片無法和數(shù)據(jù)產(chǎn)生連接，無法和市場(chǎng)產(chǎn)生連接，無法和算法產(chǎn)生連接，算法是靈魂，芯片是框架，沒有靈魂的框架是產(chǎn)生不了價(jià)值的，必須采用專用芯片才能發(fā)揮算法的潛力。芯片需要老司機(jī)，深聰智能擁有算法大牛和芯片設(shè)計(jì)老鳥，軟件和算法的融合才能作出優(yōu)秀的芯片。思必馳面向的是物聯(lián)網(wǎng)，不做“me too”的產(chǎn)品，而是和眾多的合作伙伴一起共贏，迎接 AI 時(shí)代的來臨。

與非網(wǎng)原創(chuàng)內(nèi)容，未經(jīng)允許，不得轉(zhuǎn)載！