4367
當前，隨著數據呈指數級增長，數字技術也在不斷迭代創(chuàng)新，在這樣的背景下，智能化管理已成為引領城市未來發(fā)展的重點方向。為了提升城市管理效力，智慧城市的發(fā)展正在以一種不可逆的勢態(tài)迅速蔓延至城市生活的各個角落。
而建設智慧城市，一方面需要通過實時的高清攝像頭來收集數據信息，另一方面，需要傳感器將這些信息盡量完整清晰的保存輸出，以供城市大腦進行全局實時分析，從而利用可靠的數據優(yōu)化調配公共資源。
但由于鏡頭和傳感器的物理缺陷以及拍攝環(huán)境的多樣性，傳感器輸出的原始數據和人類預期的圖像有巨大差異，因此ISP就起到了相當重要的作用。而隨著時間的推移，大眾對于影像追求不斷提高，ISP芯片也變得越來越有存在感。不管是CMOS、獨立ISP、AI芯片還是手機SoC廠商，都在爭奪ISP的制高點。
這似乎在告訴我們，未來的視覺處理是離不開ISP的。但近日卻有一種聲音：當AI高度發(fā)達后就不需要ISP了，真的是這樣嗎？
首先我們來了解一下，什么是ISP？ISP是英文Image Signal Processor的縮寫，中文譯為圖像信號處理器。它的作用是將來自前端圖像傳感器采集到原始圖像數據（Raw Data）作為處理對象，通過噪聲處理、色彩校正、明暗度調整等處理，對不同光照條件下的現場細節(jié)進行還原，從而生成后端所需要的圖像，也就是“翻譯”成人眼可以看懂并且更好看的圖像。
圖 | ISP工作原理（圖源：知網）
從軟硬件組成上來看，ISP芯片一般由控制單元和基本的ISP算法組成，其中ISP算法集中在ISP pipeline中。ISP芯片在圖像處理過程中，大體上都會遵循三個域（Bayer域、RGB域和YUV域）的基本劃分以及走向，包括：壞點校正DPC、黑電平校正BLC、降噪NR、鏡頭陰影校正LSC、自動白平衡AWE、去馬賽克Demosaic、色彩校正CCM、自動曝光AE、伽馬校正GC、銳化Sharpening、色彩空間轉化CSM以及壓縮Compression等模塊。至于具體型號的ISP芯片，在圖像處理上面的順序會根據各個設計公司不同的技術和應用側重而各有差異。
圖 | ISP芯片常規(guī)圖像處理流程（圖源：知網）
了解了ISP，接下來我們來講講AI，以及AI和ISP之間的關系。那么什么是AI呢？AI是英文Artificial Intelligence的縮寫，中文譯為人工智能。用美國麻省理工學院溫斯頓教授的話來講，“AI就是研究如何使計算機去做過去只有人才能做的智能工作。”
而在圖像處理領域，AI算法比如遺傳算法、蟻群算法、模擬退火算法和粒子群算法等，已經在圖像邊緣檢測、圖像分割、圖像識別、圖像匹配和圖像分類等領域有著廣泛的應用。所以有人認為AI同樣可以替代傳統(tǒng)ISP來實現更好、更智能的圖像處理，而英特爾實驗室發(fā)表的論文《Learning to see in the dark》也在某種程度上論證了通過整個神經網絡來實現ISP的全部功能的可能性。
但理論是一回事兒，實現又是另外一回事兒。通過AI實現ISP的全部功能，意味著要用AI來實現端到端（end to end）的ISP pipeline，甚至跳過ISP，直接對從傳感器輸出的RAW圖進行AI的高級視覺處理。這無疑會大大提升AI高級視覺算法的難度，同時也將形成對算力的大考。至少就目前的技術水平來看，用全AI來實現ISP或者直接用高級AI視覺算法來實現RAW圖的預處理是不成熟的。
細心的小伙伴可能又要問了，“目前的技術水平達不到，但前面命題的前提是AI技術高度發(fā)達啊。”從理論的角度來講，確實有這種可能性。但是技術路線的演進往往也是資本市場的推動，我們不得不承認目前ISP在圖像標定、去畸變、雙目相機圖像調整等方向上存在時間市場優(yōu)勢，要讓資本決策者放棄諸多成熟算法的多步分類處理，來從頭推動全AI一步化圖像處理存在難度。
所以說，AI還不能完全拋棄傳統(tǒng)的ISP技術，但這不影響AI和ISP進行結合。眾所周知，每個ISP項目在交付前都需要根據不同的模組和客戶需求進行大量的調試工作，可能需要幾十個人團隊工作幾個月。但在今天，人們對手機、相機等設備中圖像和視頻畫質的提升追求已經沒有上線，所以傳統(tǒng)ISP廠商總在不停地投入，哪怕提高那么一點點，也是相較于競對廠商的差異化優(yōu)勢。但是對于ISP技術本身來講，傳統(tǒng)的ISP作為SoC中負責畫質處理和提升的主要單元，與其配套使用的鏡頭和傳感器在物理學上已經接近極限，在ISP處理過程中，尤其是暗光和高動態(tài)場景，圖像失真和信息損失不可避免，因此整體技術已經觸及“天花板”。而用AI+ISP的方案可以大大提升成像畫質，所以在一定程度上來說，用AI賦能ISP將成為未來的風口技術。
那么將AI引入ISP到底怎么個引法呢？這就涉及到時下非常火的一個名詞“AI ISP”了。
根據CSDN上一位有著十幾年ISP從業(yè)經驗的研發(fā)人員的描述，“AI可以用于評判圖像質量，可以代替?zhèn)鹘y(tǒng)ISP的一些block，也可以把一個不可微的系統(tǒng)轉換成可微的系統(tǒng)，從而提高優(yōu)化的速度。”這些都是AI ISP大有可為的地方。但他也強調了AI ISP的難度，他認為目前的AI不能拋開ISP，所以AI ISP不可能減少原來的研發(fā)復雜度。
而對于研發(fā)難度一說，愛芯元智ISP負責人、系統(tǒng)架構師張興則表示：“AI ISP的研究不只是幾種指令的簡單算法效果研究，而是包括提供算法、 大算力和復合精度的NPU、聯合設計下的內存使用及模塊間通信、以及AI ISP在實踐中所需要的完整工具鏈和交付方案，都是整個AI ISP能否真正投入商用的關鍵，所以AI ISP并非芯片行業(yè)中單一的算法研究，而是對芯片系統(tǒng)性能的研究。”
既然AI ISP研發(fā)難度這么高，那么目前是否已經有量產產品面世了呢？據悉，前面提到的愛芯元智是第一家將AI ISP落地到實際應用領域的公司，其第一代自研NPU芯片AX630A已實現量產，第二代NPU芯片AX620A也已經于2021年7月成功點亮，除了這款應用于智慧城市中的產品，愛芯元智針對消費領域的AX170A也成功落地，且表現卓越。
圖 | AX620A實物圖
據了解，愛芯元智適用于智慧城市的AX620A是一款高算力、高能效比、低功耗的AI SoC芯片，集成了四核Cortex A7 CPU、自研AI ISP和混合精度NPU，能夠為用戶提供更優(yōu)質的畫質和更易用的NPU工具鏈。
在性能方面，AX620A具有14.4TOPs@INT4或3.6TOPs@INT8的高NPU算力，最大支持4K30fps的ISP，支持極速喚醒模式、動態(tài)壞點的自動檢測和消除、暗角補償、圖像增強等功能，可幫助家用智能網絡攝像機在分辨率上和智能化上進行進一步的升級，使攝像設備即使在黑暗環(huán)境中，也能呈現清晰的圖像。此外，AX620A最多同時支持4路攝像頭接入，支持雙路1080p雙屏異顯，因此在門禁設備系統(tǒng)中也可幫助客戶做更多差異化的應用。
借助于“混合精度NPU”和“自研AI ISP”兩大核心技術，AX620A在獲得了極高的芯片效能功耗比的同時，大幅提升了傳統(tǒng)ISP中多個關鍵模塊的畫質，減少了對DDR的需求，同時讓NPU的性能提高到了50%以上。而從應用的角度出發(fā)，AX620A已經可以用一顆芯片實現對智慧城市和智能手機兩個完全不同領域的市場覆蓋，這將大大降低用戶端的AI綜合應用成本。
在智慧城市全面提速的當下，AI視覺芯片已經成為全行業(yè)大力發(fā)展的對象。無論是傳統(tǒng)芯片設計企業(yè)還是新秀技術公司都在瞄準機會，力求在此領域中拔得頭籌。而作為這批企業(yè)中的佼佼者，愛芯元智以多輪融資的高起點為基礎，以自研AI ISP+混合精度NPU算法為支撐，在成立不到三年的時間里就成功推出三款行業(yè)領先的邊緣側AI視覺芯片，且均具備“高算力、低功耗、高算力利用率”的優(yōu)勢，可滿足合作伙伴對于視覺處理的需求。未來，愛芯元智還將在此領域繼續(xù)深耕，從人才建設到技術研發(fā)都向國際大廠看齊，以打造具有國際競爭力的高端芯片。
