白皮書丨為什么說(shuō)英特爾? FPGA 是實(shí)施邊緣 AI 的理想之選？

隨著企業(yè)運(yùn)營(yíng)的節(jié)奏日益加快，人們對(duì)快速響應(yīng)的期望日益提升，決策逐漸從數(shù)據(jù)中心轉(zhuǎn)向網(wǎng)絡(luò)邊緣。無(wú)論是要盡量保障繁忙作業(yè)，避免閑置的車間生產(chǎn)線、在手術(shù)室等待分析結(jié)果的醫(yī)生，還是正在待命前往撲滅熊熊山火的消防隊(duì)、尋找各種洞察從而幫助修復(fù)珊瑚礁的科學(xué)家，又或是在顧客焦急等待購(gòu)物服務(wù)的零售環(huán)境中，企業(yè)都必須對(duì)系統(tǒng)進(jìn)行相關(guān)配置，以收集信息，獲得可行洞察，并實(shí)時(shí)幫助做出決策或提供分析結(jié)果。在越來(lái)越多的情況下，似乎只有完全自動(dòng)化決策的及時(shí)性才足以滿足要求。

如今，邊緣采集的數(shù)據(jù)量十分龐大。據(jù) Gartner 預(yù)測(cè)，到 2025 年，將有多達(dá) 75% 的企業(yè)數(shù)據(jù)會(huì)在傳統(tǒng)數(shù)據(jù)中心以外生成1。Gartner 高級(jí)研究總監(jiān) Santhosh Rao 表示：“踏上業(yè)務(wù)數(shù)字化之旅的企業(yè)和機(jī)構(gòu)已經(jīng)意識(shí)到，必須采用去中心化的方法來(lái)滿足數(shù)字業(yè)務(wù)基礎(chǔ)設(shè)施的要求。隨著數(shù)據(jù)體量與增長(zhǎng)速度的提升，將信息流式傳輸至云端或數(shù)據(jù)中心進(jìn)行處理的效率也愈發(fā)低下1?！?/p>

將采用人工智能 (AI) 和機(jī)器學(xué)習(xí) (ML) 算法的計(jì)算能力轉(zhuǎn)移到更靠近數(shù)據(jù)產(chǎn)生的位置，甚至在許多情況下在數(shù)據(jù)產(chǎn)生的邊緣直接提供上述能力，能夠?qū)崿F(xiàn)全新的實(shí)時(shí)用例，拓展?jié)撛诘男率杖雭?lái)源，同時(shí)防止敏感數(shù)據(jù)在網(wǎng)絡(luò)中流轉(zhuǎn)后再進(jìn)入數(shù)據(jù)中心。實(shí)現(xiàn)對(duì)邊緣數(shù)據(jù)的實(shí)時(shí)響應(yīng)需要至少四種技術(shù)的有效組合：

邊緣計(jì)算

人工智能 (AI)

高速網(wǎng)絡(luò)

云

企業(yè)必須在整個(gè)基礎(chǔ)設(shè)施中整合這些技術(shù)，才能獲得云邊協(xié)同智能的全部?jī)?yōu)勢(shì)。將更多具有 AI 功能的設(shè)備和算力安排在邊緣，可以在提升數(shù)據(jù)處理量的同時(shí)也生成更多數(shù)據(jù)，從而實(shí)現(xiàn)更復(fù)雜的 AI 用例，進(jìn)而獲得更多可行洞察。

企業(yè)的核心可能位于數(shù)據(jù)中心或云端，但遠(yuǎn)離該核心位置的邊緣卻能涵蓋除此以外的所有數(shù)據(jù)收集、處理、存儲(chǔ)和通信功能。邊緣包含以下部分：

邊緣設(shè)備，即生成、收集、處理和/或使用數(shù)據(jù)的資產(chǎn)，包括智能攝像頭、工業(yè)傳感器、機(jī)器人、自動(dòng)駕駛車輛、可穿戴設(shè)備、智能手機(jī)、智能揚(yáng)聲器和無(wú)人機(jī)等設(shè)備。

邊緣基礎(chǔ)設(shè)施，即能夠從不同來(lái)源聚合眾多數(shù)據(jù)流的設(shè)備，如本地服務(wù)器、網(wǎng)關(guān)和網(wǎng)絡(luò)視頻錄像機(jī)等。

邊緣的定義

邊緣設(shè)備通常是一些小型設(shè)備（例如，智能手表或智能攝像頭），邊緣環(huán)境中幾乎沒有空間容納又大又重的組件。同時(shí)，邊緣設(shè)備的供電也往往十分有限。這意味著邊緣硬件必須要高效利用空間和電能。這些設(shè)備還必須提供高性能，甚至要能足以添加 AI 工作負(fù)載來(lái)處理本地收集的數(shù)據(jù)。

雖然在執(zhí)行 AI 推理工作負(fù)載時(shí)，邊緣設(shè)備可以且經(jīng)常是獨(dú)立運(yùn)行，但對(duì)于 AI 訓(xùn)練而言，連接多個(gè)邊緣設(shè)備以實(shí)現(xiàn)聯(lián)邦學(xué)習(xí)能帶來(lái)眾多益處。聯(lián)邦學(xué)習(xí)使邊緣設(shè)備可協(xié)作學(xué)習(xí)并共享預(yù)測(cè)模型，同時(shí)所有訓(xùn)練數(shù)據(jù)都位于邊緣設(shè)備，不必存儲(chǔ)在云端，從而提高了數(shù)據(jù)安全性。

能夠以邊緣集群或網(wǎng)絡(luò)服務(wù)器等形式支持更全面或更復(fù)雜的邊緣計(jì)算的硬件性能往往高于獨(dú)立的邊緣設(shè)備。這類硬件可能也會(huì)根據(jù)需要使用安全或連接功能，從而支持指定用例。

以下是兩個(gè)在邊緣使用 AI 的真實(shí)案例：

在制造業(yè)和工業(yè)領(lǐng)域，邊緣計(jì)算蘊(yùn)含巨大潛力。例如，奧迪的內(nèi)卡蘇爾姆工廠每天要組裝多達(dá) 1,000 輛汽車，而每輛汽車大約有 5,000 個(gè)焊點(diǎn)。也就是說(shuō)，僅一家工廠每天就需要檢查 500 萬(wàn)個(gè)焊點(diǎn)。如果每天都要人工檢查上百萬(wàn)個(gè)焊點(diǎn)，不僅成本高昂，耗時(shí)費(fèi)力，而且也并不現(xiàn)實(shí)，更別說(shuō)奧迪的目標(biāo)是希望能夠以出色的精度實(shí)現(xiàn)焊點(diǎn)全檢。

在一些瀕危物種的棲息地，環(huán)保人員進(jìn)入可能會(huì)造成問題，而智能攝像頭和視頻分析則有望幫助監(jiān)控與保護(hù)這些地方。例如，珊瑚礁修復(fù)通常需要潛水員下水進(jìn)行監(jiān)控。他們需要潛入水中直接收集數(shù)據(jù)，或手動(dòng)拍攝珊瑚礁的視頻或圖像，供日后分析。這種數(shù)據(jù)收集方法可能會(huì)干擾野生動(dòng)物行為，無(wú)意中影響研究結(jié)果。此外，數(shù)據(jù)采集也很有限，因?yàn)闈撍畣T一次只能在水下安全停留大約 30 分鐘。菲律賓的 CoRaiL項(xiàng)目通過利用智能攝像頭和 AI 增強(qiáng)型視頻分析來(lái)研究珊瑚礁的韌性，成功解決了這些問題。

邊緣 AI 用例

以下是一些邊緣 AI 用例：

在醫(yī)療領(lǐng)域，AI 有許多潛在用途，醫(yī)療影像就是其中非常主流的一種。每天會(huì)產(chǎn)生成千上萬(wàn)的醫(yī)療影像，如 CT 掃描、X 光和 MRI 等，每張影像都需要經(jīng)過仔細(xì)分析來(lái)發(fā)現(xiàn)其中異常，實(shí)現(xiàn)準(zhǔn)確診斷。

在零售層面，機(jī)器視覺能夠可靠地讀取條碼、文本和數(shù)字，以幫助管理、跟蹤和分析庫(kù)存水平，確保重要材料由需要的人員掌握。互聯(lián)的響應(yīng)式智能數(shù)字標(biāo)牌可以根據(jù)顧客行為與喜好為顧客推薦產(chǎn)品或優(yōu)惠。這又能促進(jìn)零售商了解他們向消費(fèi)者發(fā)出的訊息何時(shí)真正起到了效果。自助服務(wù)設(shè)施和無(wú)人商店可為顧客提供一系列服務(wù)，打造個(gè)性化購(gòu)物體驗(yàn)。與此同時(shí)，機(jī)器學(xué)習(xí)又可以分析遍布整個(gè)商店的攝像頭采集的多個(gè)視頻流，幫助實(shí)時(shí)識(shí)別潛在犯罪行為。

在美國(guó)，機(jī)器人被用來(lái)對(duì)醫(yī)院表面進(jìn)行紫外線 (UV) 消毒，這樣既能夠有效殺死病毒，也避免了紫外線對(duì)人類造成傷害。機(jī)器人能夠利用 AI 在醫(yī)院內(nèi)導(dǎo)航，先確認(rèn)所在空間沒人，再用紫外線對(duì)該區(qū)域進(jìn)行消毒。在該用例中，AI 的采用有助于確保整個(gè)醫(yī)院的安全，同時(shí)盡量保持繁忙區(qū)域開放正常運(yùn)營(yíng)，以供使用。

具備 AI 功能的智能攝像頭能夠帶來(lái)巨大價(jià)值，實(shí)現(xiàn)重復(fù)性日常任務(wù)的自動(dòng)化，從而解放員工，使他們能專注于應(yīng)對(duì)更復(fù)雜的挑戰(zhàn)。例如，基于 AI 的車牌識(shí)別被廣泛應(yīng)用于各種場(chǎng)景，包括防止未經(jīng)授權(quán)車輛進(jìn)入的安保應(yīng)用，以及自動(dòng)放行，讓注冊(cè)用戶能夠直接驅(qū)車進(jìn)入洗車區(qū)等等。

實(shí)施 AI 需要滿足哪些要求？

在整個(gè)企業(yè)內(nèi)廣泛實(shí)施 AI 時(shí)，務(wù)必要確保以下三大基礎(chǔ)設(shè)施要素均具備處理 AI 工作負(fù)載的足夠性能。這三大要素分別是：邊緣設(shè)備、邊緣基礎(chǔ)設(shè)施和云。實(shí)施 AI 的具體要求包括：

高性能：AI 工作負(fù)載往往計(jì)算密集度高，因此在進(jìn)行 AI 訓(xùn)練或推理的地方，必須具備強(qiáng)大的計(jì)算性能。

低時(shí)延：AI 的一大優(yōu)勢(shì)在于能夠支持實(shí)時(shí)決策。將 AI 工作負(fù)載轉(zhuǎn)移到邊緣位置（即使只是將部分 AI 工作負(fù)載轉(zhuǎn)移到邊緣），有助于降低決策時(shí)延。

高容量：AI 依賴大量數(shù)據(jù)，因此，運(yùn)行 AI 的基礎(chǔ)設(shè)施必須確保計(jì)算、存儲(chǔ)和內(nèi)存容量能夠勝任任務(wù)，從而避免瓶頸。

可靠的安全性：AI 工作負(fù)載需要大量越來(lái)越敏感的數(shù)據(jù)（例如，在醫(yī)療或公共安全領(lǐng)域）。無(wú)論是何種 AI 工作負(fù)載，運(yùn)行它們的設(shè)備和軟件都必須安全可靠。

英特爾提供眾多技術(shù)和解決方案，可在滿足上述要求的同時(shí)，支持企業(yè)和機(jī)構(gòu)實(shí)現(xiàn)從邊緣到云的 AI 工作負(fù)載。圖 1 展示了探索英特爾? AI 解決方案的典型初始框架，但最終的解決方案也將取決于低時(shí)延或定制板外形等特定要求。面向 AI 的英特爾? 邊緣技術(shù)解決方案能夠在各類設(shè)備上實(shí)現(xiàn)高性能推理，這些設(shè)備包括本地服務(wù)器、PC、攝像頭、機(jī)器人和無(wú)人機(jī)等。由于在 AI 領(lǐng)域并不存在“一體適用”的解決方案，因此英特爾推出了包括 CPU、GPU、VPU 和 FPGA 在內(nèi)的產(chǎn)品組合，旨在提供低時(shí)延推理，幫助消除數(shù)據(jù)瓶頸。英特爾? oneAPI AI 分析工具套件（AI 套件）和英特爾? 分發(fā)版 OpenVINO? 工具包以一套統(tǒng)一的 AI 開發(fā)工具支持廣泛的英特爾計(jì)算設(shè)備。

圖 1. 英特爾的 AI 產(chǎn)品組合框架

為什么 FPGA 是 AI 實(shí)施的理想選擇？

人的大腦中有近 1,000 億個(gè)神經(jīng)元。盡管這已經(jīng)是個(gè)天文數(shù)字，但將這些神經(jīng)元組織成為網(wǎng)絡(luò)的神經(jīng)連接數(shù)量更是達(dá)到了百萬(wàn)億級(jí)，而神經(jīng)連接的數(shù)量顯著影響著大腦的能力。FPGA 內(nèi)的互連性就類似于人腦中的神經(jīng)連接。FPGA 內(nèi)的可編程邏輯結(jié)構(gòu)也以類似的方式相互連接，這就是為什么英特爾? FPGA 是神經(jīng)網(wǎng)絡(luò)和其他 AI 工作負(fù)載實(shí)施的理想選擇。在邏輯和線路互連的層面上，F(xiàn)PGA 的比特級(jí)動(dòng)態(tài)可編程性就好比靈活的大腦，可以調(diào)整注意力，專注于當(dāng)前的特定任務(wù)。此外，一直以來(lái)，F(xiàn)PGA 的外部 I/O 也具備其他硬件架構(gòu)所不具備的出色靈活性，可以連接到雷達(dá)、音頻、振動(dòng)和視覺等各種來(lái)源的傳感器。這些特性能夠讓信號(hào)實(shí)時(shí)進(jìn)出 FPGA，達(dá)到可媲美人腦的高級(jí)智能水平。

英特爾? FPGA 家族包括英特爾? Cyclone? 10 GX FPGA、英特爾? Arria? 10 GX FPGA 和英特爾? Stratix? 10 GX FPGA等。這些產(chǎn)品具備 I/O 靈活性、低功耗（或每次推理的能耗）和低時(shí)延，本就可在 AI 推理上帶來(lái)優(yōu)勢(shì)。這些優(yōu)勢(shì)在三個(gè)全新的英特爾? FPGA 和片上系統(tǒng) (SoC) 家族的產(chǎn)品中又得到了補(bǔ)充，使得 AI 推理性能進(jìn)一步獲得了顯著提升。這三個(gè)家族分別是英特爾? Stratix? 10 NX FPGA 以及英特爾? Agilex? FPGA 家族的新成員：英特爾? Agilex? D 系列 FPGA，和代號(hào)為“Sundance Mesa”的全新英特爾? Agilex? 設(shè)備家族。這些英特爾? FPGA 和 SoC 家族包含專門面向張量數(shù)學(xué)運(yùn)算優(yōu)化的專用 DSP 模塊，為加速 AI 計(jì)算奠定了基礎(chǔ)。

第一款采用張量模塊的英特爾? FPGA 是英特爾 2020 年 6 月 18 日推出的英特爾? Stratix? 10 NX FPGA。英特爾? Stratix? 10 NX FPGA 的張量模塊架構(gòu)針對(duì) AI 計(jì)算中常用的矩陣-矩陣或矢量-矩陣乘法和加法運(yùn)算進(jìn)行了優(yōu)化，旨在高效地用于各種不同規(guī)模的矩陣。該張量模塊支持 INT8 和 INT4 數(shù)據(jù)計(jì)算，并通過共享指數(shù)支持 FP16 和 FP12 塊浮點(diǎn)的數(shù)字格式。

此前的英特爾? Agilex? 設(shè)備家族就已經(jīng)配備可變精度數(shù)字信號(hào)處理 (DSP) 模塊，能夠提供多種 AI 功能，而集成在全新英特爾??Agilex? FPGA 和 SoC FPGA 結(jié)構(gòu)中的 DSP 模塊在此前模塊設(shè)計(jì)的基礎(chǔ)上，還引入了英特爾? Stratix? 10 NX FPGA 中所用的張量模塊的多種功能。采用 AI 張量模塊的增強(qiáng)型 DSP 引入了兩種全新的重要運(yùn)算：面向 AI 的張量處理能力和面向信號(hào)處理應(yīng)用的復(fù)數(shù)支持。此類應(yīng)用包括快速傅里葉變換 (FFT) 和復(fù)雜有限脈沖響應(yīng) (FIR) 濾波器等。

第一種模式可通過 INT8 張量模式增強(qiáng) AI。該模式可在一個(gè)采用AI 張量模塊的增強(qiáng)型 DSP 中提供 20 次 INT8 乘法。與之前的英特爾? Agilex? 設(shè)備家族相比，INT8 計(jì)算密度提升高達(dá) 5 倍。張量模式使用兩列的張量結(jié)構(gòu)，同時(shí)具備 INT32 和 FP32 的級(jí)聯(lián)和累加功能，還支持塊浮點(diǎn)指數(shù)，以改善推理精度和低精度訓(xùn)練。此外，可變精度 DSP 的 AI 功能也有所增強(qiáng)。矢量模式也已經(jīng)從四個(gè) INT9 乘法器 (Multiplier) 升級(jí)到了六個(gè) INT9 乘法器。這些模式對(duì)以 AI 為中心的張量數(shù)學(xué)運(yùn)算和各類 DSP 應(yīng)用格外有用。

圖 2. AI 和 DSP 計(jì)算密度的數(shù)量級(jí)提升

*限英特爾? Agilex? D 系列 FPGA 和代號(hào)為 Sundance Mesa 的全新英特爾??Agilex? 設(shè)備家族提供。

第二種新模式是復(fù)數(shù)運(yùn)算，可在運(yùn)行復(fù)數(shù)乘法時(shí)使張量模塊的性能翻倍。過去，復(fù)數(shù)乘法需要兩個(gè) DSP 模塊，但這一全新英特爾??Agilex? FPGA 和 SoC FPGA 家族產(chǎn)品在一個(gè)采用 AI 張量模塊的增強(qiáng)型 DSP 中就可進(jìn)行 16 位定點(diǎn)復(fù)數(shù)乘法運(yùn)算。

FPGA 十分契合網(wǎng)絡(luò)邊緣及核心眾多終端市場(chǎng)的需求

許多數(shù)據(jù)中心以外的終端市場(chǎng)都很適合采用 FPGA 來(lái)實(shí)現(xiàn)應(yīng)用和 AI 計(jì)算功能所需的邏輯，從而支持在本地處理數(shù)據(jù)。這些終端市場(chǎng)包括：

醫(yī)療和生命科學(xué)，包括醫(yī)療監(jiān)護(hù)儀、具有圖像識(shí)別和物體檢測(cè)功能的 2D 診斷設(shè)備（例如，X 射線設(shè)備和內(nèi)窺鏡），以及其他類型的病理學(xué)檢測(cè)、基因組測(cè)序、手術(shù)機(jī)器人等設(shè)備。

軍事和航空航天，包括無(wú)人飛行載具 (UAV)、目標(biāo)檢測(cè)、雷達(dá)偵測(cè)和分類等。

工業(yè)應(yīng)用，可用于在邊緣增加基于 AI 的檢測(cè)和實(shí)時(shí)控制。

ProAV（專業(yè)影音）系統(tǒng)，包括具備人臉識(shí)別功能，從而可以實(shí)現(xiàn)鏡頭自動(dòng)平移/縮放和背景消除的視頻會(huì)議攝像頭、具備自動(dòng)人臉檢測(cè)，從而可以實(shí)現(xiàn)精準(zhǔn)對(duì)焦的攝影棚用攝像頭。

廣播視頻，包括從標(biāo)準(zhǔn)動(dòng)態(tài)范圍 (SDR) 到高動(dòng)態(tài)范圍 (HDR)的轉(zhuǎn)換、不同視頻分辨率的智能轉(zhuǎn)換，以及可變幀率視頻的采集和顯示。

消費(fèi)級(jí)應(yīng)用，包括具備人眼檢測(cè)和跟蹤功能，從而可以實(shí)現(xiàn)立體成像的 3D 顯示器。

下面介紹了幾個(gè) AI 在醫(yī)療行業(yè)和工業(yè)/制造業(yè)的深入應(yīng)用示例：

醫(yī)療應(yīng)用中的 AI

患者和醫(yī)護(hù)人員的人口結(jié)構(gòu)正在變化，同時(shí)人們愈發(fā)希望在降低醫(yī)療成本的同時(shí)改善醫(yī)療成果。這些因素推動(dòng)著 AI 在醫(yī)療行業(yè)的廣泛應(yīng)用。AI 有助于提高基于 MRI 和 CT 成像的癌癥診斷準(zhǔn)確性；基于 AI 的信息系統(tǒng)和機(jī)器人手術(shù)設(shè)備可協(xié)助外科醫(yī)生手術(shù)；AI 還能通過基于全球數(shù)據(jù)集的模型改善罕見疾病的治療。

AI 增強(qiáng)型內(nèi)窺鏡攝像頭就是 AI 在醫(yī)療領(lǐng)域應(yīng)用的一個(gè)具體示例，它已經(jīng)廣泛用于各個(gè)醫(yī)療科室，如神經(jīng)內(nèi)科、骨科、泌尿科和婦科。這種內(nèi)窺鏡攝像頭系統(tǒng)越來(lái)越多地能夠支持高級(jí)成像功能，包括邊緣增強(qiáng)和色彩校正，為醫(yī)生提供更清晰、更容易解讀的圖像。英特爾? FPGA 的高性能、小尺寸和低能耗特性，能夠?yàn)閮?nèi)窺鏡攝像平臺(tái)額外提供其所需的實(shí)時(shí)功能。

英特爾? FPGA 還賦能內(nèi)窺鏡攝像頭制造商支持包括以下各種 AI 增強(qiáng)型檢測(cè)在內(nèi)的多種 AI 用例：

結(jié)直腸篩查中的息肉檢測(cè)

內(nèi)窺鏡食道篩查中與巴雷特食管相關(guān)的異常增生檢測(cè)

美國(guó)每年要進(jìn)行 1,600 多萬(wàn)次結(jié)直腸鏡檢查，僅美國(guó)每年診斷出的巴雷特食管病例就多達(dá) 20 多萬(wàn)例。因此，AI 增強(qiáng)型醫(yī)學(xué)成像功能將顯著提升這些內(nèi)窺鏡檢查的效率和準(zhǔn)確性。這些基于 AI的全新功能和優(yōu)化將推動(dòng) AI 在內(nèi)窺鏡中應(yīng)用的持續(xù)增長(zhǎng)，幫助醫(yī)生滿足日益增長(zhǎng)的微創(chuàng)檢查和手術(shù)需求。

工業(yè)和制造業(yè)應(yīng)用中的 AI

現(xiàn)代制造業(yè)是一個(gè)復(fù)雜的體系，包含眾多系統(tǒng)。各類傳感器、攝像頭和執(zhí)行器組成了一個(gè)相互連接、聯(lián)網(wǎng)控制的分層架構(gòu)。英特爾? FPGA 廣泛用于整個(gè)分層架構(gòu)，可確保滿足硬實(shí)時(shí)和安全要求。此外，制造業(yè)正在經(jīng)歷第四次工業(yè)革命，運(yùn)營(yíng)技術(shù) (OT) 系統(tǒng)與信息技術(shù) (IT) 系統(tǒng)愈發(fā)融合，構(gòu)成了更智能、更靈活的工廠，提供更高效、更自動(dòng)化的生產(chǎn)，同時(shí)需要的人為干預(yù)也更少。

各種工業(yè)應(yīng)用和制造工廠所廣泛使用的通信技術(shù)，包括 5G、工業(yè)網(wǎng)關(guān)和智能網(wǎng)卡 (NIC) 等均采用英特爾? FPGA。英特爾? FPGA 被用于工作負(fù)載需要 I/O 靈活性、直接數(shù)據(jù)提取能力、確定性計(jì)算能力、更低運(yùn)行功耗，以及需要在嚴(yán)苛的工業(yè)環(huán)境中運(yùn)行的場(chǎng)景。在這些場(chǎng)景中，AI 技術(shù)皆可提供支持，并且也越來(lái)越多地被用于制造業(yè)應(yīng)用的視覺和非視覺類任務(wù)。

表 1 展現(xiàn)了工業(yè)和制造業(yè)中 AI 的廣泛應(yīng)用。

表 1. AI 在現(xiàn)代工廠中的用例示例

邊緣設(shè)備采用的英特爾? FPGA 可以安裝在其他傳感和控制功能旁邊，或與之集成，協(xié)同實(shí)現(xiàn)高能效的 AI 工作負(fù)載。例如，英特爾? FPGA 可直接提取攝像頭或傳感器數(shù)據(jù)，以確定性計(jì)算、低時(shí)延和高吞吐量運(yùn)行工作負(fù)載。英特爾? FPGA 可直接從一個(gè)或多個(gè)攝像頭提取視頻數(shù)據(jù)，對(duì)視頻進(jìn)行預(yù)處理（包括優(yōu)化對(duì)比度和曝光、增強(qiáng)邊緣、校正色彩），在視頻流中抓取相關(guān)幀，并進(jìn)行特征或缺陷檢測(cè)，這一切都能實(shí)時(shí)完成。可編程邏輯控制器 (PLC) 制造商已在其新款 PLC 中采用小型 AI 引擎，為下一代控制器添加智能功能。在生產(chǎn)線上，AI 增強(qiáng)型視覺檢測(cè)能夠比人工更快、更準(zhǔn)確地進(jìn)行缺陷檢測(cè)和質(zhì)量評(píng)估。

將 AI 增強(qiáng)型功能與視頻處理管道或其他功能緊密結(jié)合，是建立優(yōu)化的實(shí)時(shí)工業(yè)系統(tǒng)的重要方式，而低功耗和低時(shí)延正是其中的關(guān)鍵因素。表 2 展示了 AI 增強(qiáng)型圖像和視頻處理在工業(yè)和制造業(yè)中的部分用途：

表 2. AI 增強(qiáng)型功能發(fā)揮重要作用的工業(yè)視覺檢查和檢測(cè)示例

AI 讓機(jī)器人設(shè)置和訓(xùn)練工作變得更加容易，可以教會(huì)機(jī)器人感知周圍環(huán)境并作出相應(yīng)反應(yīng)。此類場(chǎng)景下，機(jī)器人可執(zhí)行的任務(wù)包括根據(jù)示范進(jìn)行學(xué)習(xí)、取放物體、使用直接反饋來(lái)控制末端執(zhí)行工具（如焊接工具），以及與其他機(jī)器人或工人實(shí)現(xiàn)安全的協(xié)作。這些任務(wù)同樣適用于自主移動(dòng)機(jī)器人 (AMR)，因?yàn)樗鼈円脖仨殞?shí)時(shí)使用傳感器數(shù)據(jù)來(lái)構(gòu)建并持續(xù)更新周邊環(huán)境地圖，從而進(jìn)行相應(yīng)的導(dǎo)航。AMR 使用的 AI 功能必須具備低能耗的特點(diǎn)，以免對(duì)機(jī)器人電池造成太多負(fù)擔(dān)，但同時(shí)還必須具備穩(wěn)定性和低時(shí)延，能夠與其他工作負(fù)載緊密整合。

工業(yè)邊緣還涉及許多非視覺類的 AI 應(yīng)用。工廠所有者迫切希望提升應(yīng)用效率，從而降低總體擁有成本 (TCO) 并提高產(chǎn)量。影響 TCO 的因素包括盡可能減少故障時(shí)間?；?AI 的機(jī)器健康狀況評(píng)估和預(yù)測(cè)性維護(hù)就可以做到這一點(diǎn)。借助電壓、溫度、振動(dòng)和聲音等非侵入式傳感器，機(jī)器學(xué)習(xí)工作負(fù)載可準(zhǔn)確地檢測(cè)新出現(xiàn)的問題，并在問題惡化、影響生產(chǎn)或?qū)е律a(chǎn)中斷之前，就對(duì)維護(hù)或修理需求進(jìn)行預(yù)測(cè)。

英特爾? FPGA 常用在邊緣通過 AI 和機(jī)器學(xué)習(xí)來(lái)處理這些傳感器信號(hào)，以降低工廠的網(wǎng)絡(luò)帶寬需求，并快速識(shí)別問題，避免了將未經(jīng)處理的數(shù)據(jù)發(fā)送至云端，再等待云端發(fā)回決策而產(chǎn)生的時(shí)延。主流原始設(shè)備制造商 (OEM) 正在使用 AI 來(lái)動(dòng)態(tài)計(jì)算能效更高的運(yùn)動(dòng)路徑。例如，控制多軸機(jī)器人以盡可能高的效率和盡可能低的能耗在規(guī)定時(shí)間內(nèi)將物體從 A 點(diǎn)移動(dòng)到 B 點(diǎn)，AI 可用于增強(qiáng)閉環(huán)控制算法，而低時(shí)延 AI 算法和確定性計(jì)算能力對(duì)此類任務(wù)至關(guān)重要。英特爾? FPGA 非常適合用于實(shí)現(xiàn) AI 增強(qiáng)型閉環(huán)算法。

在全球范圍內(nèi)，工業(yè)和制造業(yè)客戶都非常關(guān)心以下這些問題：

如何滿足越來(lái)越高的產(chǎn)品質(zhì)量要求？

如何優(yōu)化工廠運(yùn)營(yíng)，提高產(chǎn)量和效率？

如何更好地預(yù)測(cè)并縮短設(shè)備和系統(tǒng)的故障時(shí)間？

如何更快地應(yīng)對(duì)和適應(yīng)市場(chǎng)需求變化？

AI 有助于解決這些問題。正因如此，英特爾? FPGA 正積極在其原有的傳感和控制功能基礎(chǔ)上新增 AI 功能。這些功能是建立高效工業(yè)系統(tǒng)、滿足工廠邊緣硬實(shí)時(shí)要求所必備的。

面向英特爾? FPGA 和 SoC 的邊緣就緒型 AI 工具套件

分布式 AI/機(jī)器學(xué)習(xí)邊緣解決方案往往十分復(fù)雜，開發(fā)難度非常高。英特爾提供的開發(fā)工具和軟件致力于推動(dòng)開放標(biāo)準(zhǔn)并支持容器化和云原生開發(fā)，從而幫助開發(fā)人員簡(jiǎn)化他們的工作流程并加速分布式邊緣解決方案的部署。對(duì)于使用英特爾? FPGA 和 SoC進(jìn)行 AI/機(jī)器學(xué)習(xí)應(yīng)用開發(fā)的人員，英特爾提供以下開發(fā)工具：

英特爾? oneAPI AI 分析工具套件（AI 套件）為數(shù)據(jù)科學(xué)家、AI 開發(fā)人員和研究人員提供了一套他們熟悉的Python 工具和框架，可加速端到端的數(shù)據(jù)科學(xué)與分析管道。英特爾通過該工具套件提供支持底層計(jì)算優(yōu)化的 oneAPI 庫(kù)，從而盡可能地提高從預(yù)處理到機(jī)器學(xué)習(xí)的各種工作負(fù)載的性能，并提供互操作性以實(shí)現(xiàn)高效的模型開發(fā)。

英特爾? 分發(fā)版 Python 支持 TensorFlow、Keras、PyTorch、oneDNN 和 BigDL 等常用庫(kù)和框架，可用于在多個(gè)英特爾? 計(jì)算平臺(tái)上創(chuàng)建高速的機(jī)器學(xué)習(xí)應(yīng)用。這些工具可支持面向一系列廣泛的 AI/機(jī)器學(xué)習(xí)工作負(fù)載快速開發(fā)應(yīng)用。

英特爾? 分發(fā)版 OpenVINO? 工具包支持對(duì)邊緣計(jì)算機(jī)視覺用例至關(guān)重要的深度學(xué)習(xí)應(yīng)用開發(fā)。

英特爾? FPGA AI 套件使 FPGA 設(shè)計(jì)人員、機(jī)器學(xué)習(xí)工程師和軟件開發(fā)人員能夠高效地優(yōu)化基于英特爾? FPGA 的 AI 設(shè)計(jì)。利用常見和主流的行業(yè)框架（如 TensorFlow、PyTorch）以及 OpenVINO? 工具包，英特爾? FPGA AI 套件中的實(shí)用程序可加速基于 FPGA 的 AI 推理開發(fā)，同時(shí)還充分利用了英特爾? Quartus? Prime 軟件強(qiáng)大且成熟的 FPGA 開發(fā)流程。

英特爾? FPGA AI 套件非常靈活，可以針對(duì)各種系統(tǒng)級(jí)用例進(jìn)行配置。用戶可以通過一鍵式流程，生成優(yōu)化的 AI 推理 IP模塊，并集成到英特爾? Quartus? Prime 軟件中。用戶還可針對(duì)英特爾? FPGA AI 套件中的架構(gòu)優(yōu)化器指定設(shè)備資源（DSP、內(nèi)存、邏輯單元）和吞吐量。這種獨(dú)特的定制能力對(duì)于探索設(shè)計(jì)以及嵌入式 AI 應(yīng)用的尺寸、重量和能耗等維度的優(yōu)化都至關(guān)重要。

您可通過以下四種方式利用英特爾提供的開發(fā)工具，將英特爾? FPGA 和 AI/機(jī)器學(xué)習(xí)集成至您的系統(tǒng)：

1. 采用基于 FPGA 的 AI/機(jī)器學(xué)習(xí)加速器，實(shí)現(xiàn) CPU 分流。主機(jī) CPU 通過 PCIe 接口與 AI/機(jī)器學(xué)習(xí)加速器進(jìn)行通信。英特爾? FPGA 直接支持與主機(jī)的英特爾? CPU 進(jìn)行 PCIe連接。

2. 采用英特爾? FPGA 實(shí)施 AI 加速器和額外邏輯，實(shí)現(xiàn)多功能CPU 分流。英特爾? FPGA 為主機(jī)的英特爾? CPU 提供 AI/機(jī)器學(xué)習(xí)加速，并實(shí)施應(yīng)用所需的任何額外邏輯。與示例 1一樣，主機(jī) CPU 通過 PCIe 接口與 AI/機(jī)器學(xué)習(xí)加速器進(jìn)行通信。

3. 提取/內(nèi)聯(lián)處理 + AI?；?FPGA 的 AI 加速器直接提取數(shù)據(jù)，并使用 AI 和算法工作負(fù)載處理數(shù)據(jù)，然后再通過 PCIe連接將處理過的數(shù)據(jù)和推理傳輸至主機(jī)的英特爾? CPU。

4. 英特爾? SoC FPGA 利用集成的 CPU（ARM 或 Nios? 處理器內(nèi)核）充當(dāng) AI/機(jī)器學(xué)習(xí)加速器，直接提取并處理數(shù)據(jù)，實(shí)施 AI/機(jī)器學(xué)習(xí)推理，然后通過以太網(wǎng)網(wǎng)絡(luò)將處理過的數(shù)據(jù)和推理傳輸至云端。FPGA 還負(fù)責(zé)實(shí)施應(yīng)用所需的任何額外邏輯電路。

結(jié)論

從構(gòu)建商、集成商、云和網(wǎng)絡(luò)提供商到開發(fā)人員，在整個(gè)邊緣價(jià)值鏈中，英特爾深耕數(shù)十年，積累了豐富經(jīng)驗(yàn)。英特爾根據(jù)與各類用例客戶的合作，開發(fā)出了一系列專門用于解決常見集成問題的解決方案，并依托不斷優(yōu)化和創(chuàng)新的成熟開發(fā)人員生態(tài)系統(tǒng)提供數(shù)百個(gè)預(yù)配置包。您可通過以下方式利用該生態(tài)系統(tǒng)縮短開發(fā)時(shí)間，更快地獲得成果：

使用可立即部署的企業(yè) AI 解決方案。英特爾? AI Builders 涵蓋全球 300 多個(gè)主流 AI 軟件、硬件和服務(wù)提供商，提供 150 多款解決方案，涉及各種用例和各個(gè)市場(chǎng)，使所有企業(yè)都能快速采用 AI。

確保高水平的 AI 部署。面向 AI 的英特爾? 精選解決方案利用已在英特爾? 至強(qiáng)? 可擴(kuò)展處理器和其他英特爾? 平臺(tái)上進(jìn)行優(yōu)化并通過了基準(zhǔn)測(cè)試和驗(yàn)證的解決方案，幫助您簡(jiǎn)化和加快基礎(chǔ)設(shè)施部署。

減少開發(fā)和協(xié)作挑戰(zhàn)。英特爾? AI: In Production 利用英特爾? 技術(shù)、軟件工具、開發(fā)套件、代碼樣本和廣泛的英特爾合作伙伴和開發(fā)人員生態(tài)系統(tǒng)的解決方案，幫助加快AI 走向生產(chǎn)之路。

英特爾? FPGA AI 套件和 OpenVINO? 工具包關(guān)注深度學(xué)習(xí)推理 FPGA IP 創(chuàng)建和集成的簡(jiǎn)易性，解決了英特爾? FPGA 和 SoC 部署中的“最后一英里”問題。

如果您正在開發(fā)需要 AI 功能的邊緣或核心設(shè)備，歡迎聯(lián)系當(dāng)?shù)氐挠⑻貭柆F(xiàn)場(chǎng)銷售代表，了解英特爾能夠如何為您的團(tuán)隊(duì)提供幫助。

注釋：[1]?這些邊緣設(shè)備都可以從 AI 功能中受益。

參考資料：

Rob van der Meulen，“What Edge Computing Means for Infrastructure and Operations”（邊緣計(jì)算對(duì)基礎(chǔ)設(shè)施和運(yùn)營(yíng)意味著什么），2018 年 10 月 3 日。

Carl Zimmer，“100 Trillion Connections: New Eorts Probe and Map the Brain’s Detailed Architecture”（100 萬(wàn)億個(gè)連接：全新研究探索并繪制大腦詳細(xì)結(jié)構(gòu)），《科學(xué)美國(guó)人》，2011 年 1 月 1 日。

“Intel? FPGA AI Suite melds with OpenVINO? toolkit to generate heterogeneous inferencing systems”（英特爾? FPGA AI 套件與 OpenVINO? 工具包共同發(fā)力生成異構(gòu)推理系統(tǒng)）