索尼近日宣布即將推出兩款 AI 圖像傳感器，代號(hào) IMX500 和 IMX501，號(hào)稱具備智能視覺的 “全球首款 AI 圖像傳感器”。其中 IMX500 是無封裝版，IMX501 是封裝版，沒有其他性能差異。
       AI 圖像傳感器兼具運(yùn)算能力和內(nèi)存，能夠在沒有額外硬件輔助的情況下執(zhí)行機(jī)器學(xué)習(xí)驅(qū)動(dòng)的計(jì)算機(jī)視覺任務(wù)，使得很多依賴機(jī)器學(xué)習(xí)算法的圖像處理技術(shù)能夠在本地運(yùn)行，衍生出更簡(jiǎn)化、高效和安全的解決方案。
       索尼業(yè)務(wù)與創(chuàng)新副總裁馬克•漢森（Mark Hanson）認(rèn)為，相比將數(shù)據(jù)發(fā)送到云端的解決方案，IMX500 的應(yīng)用潛力巨大，成本效益更高，尤其是在未來的邊緣計(jì)算領(lǐng)域。它支持 1200 萬像素圖像，以每秒 60 幀的速度捕獲 4K 視頻，或者不捕獲任何圖像，僅提供所見內(nèi)容的元數(shù)據(jù)。
       官方預(yù)計(jì)首批搭載該傳感器的產(chǎn)品最早將于 2021 第一季度上市，目前已有早期商業(yè)客戶拿到了測(cè)試樣品，IMX500 售價(jià)約 93 美元，IMX501 售價(jià)約 186 美元。 

 
圖｜IMX500（?。┖?IMX501（大）（來源：索尼）

  不過，第一代 AI 圖像傳感器可能不會(huì)出現(xiàn)在智能手機(jī)或平板電腦等消費(fèi)者產(chǎn)品中。索尼的首批目標(biāo)是零售商和工業(yè)客戶，比如亞馬遜 Go 無人商店，其他應(yīng)用場(chǎng)景包括訪客統(tǒng)計(jì)、交通狀況和人流量熱圖繪制等。
       以亞馬遜無人商店為例，每家商店中都裝有上百個(gè) AI 技術(shù)加持的攝像頭，用來追蹤顧客的行動(dòng)軌跡，捕捉他們?cè)谪浖苌系馁徺I行為，最終創(chuàng)建購物清單完成結(jié)賬。有數(shù)據(jù)分析顯示，對(duì)運(yùn)算能力和數(shù)據(jù)處理的高要求推高了硬件成本，并減緩了 Go 商店的推廣速度。
       漢森指出，“建造這種商店需要上百個(gè)攝像頭，每天要生成和處理 PB 級(jí)別的數(shù)據(jù)（1PB 等于 100 萬 GB），如果我們可以把運(yùn)算能力縮小并放在每一塊芯片上，就可以實(shí)現(xiàn)更多有趣的事情。”
       除了節(jié)省成本，具備本地運(yùn)算能力的 AI 芯片還可以提供更好的隱私保護(hù)環(huán)境。將 AI 技術(shù)與圖像傳感器結(jié)合起來后，針對(duì)目標(biāo)對(duì)象的檢測(cè)和識(shí)別都可以在設(shè)備上完成，無需將數(shù)據(jù)發(fā)回云端分析，只需要傳回元數(shù)據(jù)即可，減少敏感信息被盜取和劫持的風(fēng)險(xiǎn)。

 
圖 | IMX500 和 IMX501 的詳細(xì)參數(shù)（來源：索尼）

  索尼表示，在執(zhí)行圖像處理任務(wù)時(shí)，IMX500 的運(yùn)行速度也比其他 AI 攝像頭快得多。它能夠在 3.1 毫秒將標(biāo)準(zhǔn)圖像識(shí)別算法 MobileNet V1 應(yīng)用于單個(gè)視頻幀。
       相比之下，谷歌 Clips 相機(jī)和大疆精靈 4 無人機(jī)所使用的 Movidius 計(jì)算機(jī)視覺芯片（2016 年被英特爾收購），可能需要數(shù)百毫秒以上的處理時(shí)間，相差 30 多倍。
       這一點(diǎn)在工業(yè)自動(dòng)化協(xié)作機(jī)器人上至關(guān)重要。它們通常會(huì)在車間與工人搭配合作，出于安全因素考慮，驅(qū)動(dòng)它們的計(jì)算機(jī)視覺芯片需要具備快速檢測(cè)人類目標(biāo)的能力。這樣可以在發(fā)生意外時(shí)快速停止工作，避免誤傷。
       目前第一代 IMX500 還存在一定的局限性，只能運(yùn)行比較基礎(chǔ)的機(jī)器學(xué)習(xí)算法，還不具備處理復(fù)雜任務(wù)的能力。
       面對(duì)日益增加的自動(dòng)駕駛等需求，索尼希望未來將 IMX500 打造成一個(gè)簡(jiǎn)單的單應(yīng)用設(shè)備，即專門應(yīng)對(duì)復(fù)雜和多樣化任務(wù)的專用AI硬件，具備處理和分析更復(fù)雜任務(wù)的能力，而不僅局限于運(yùn)行基礎(chǔ)算法。
       索尼首席執(zhí)行官吉田憲一郎明確表示，新產(chǎn)品符合公司的長期目標(biāo)，即擴(kuò)大其傳感解決方案的種類并追求更多樣化的經(jīng)常性收入。
       目前在圖像處理領(lǐng)域，索尼擁有巨大的影響力，市場(chǎng)份額超過 60%，去年傳感器出貨量約為 16 億枚。因此索尼認(rèn)為，一旦技術(shù)完成多次迭代走向成熟，龐大的占有量足以幫助其大規(guī)模推廣 AI 圖像傳感器，打入消費(fèi)者市場(chǎng)。
                                                                                                                                      （來源：DeepTech深科技）