索尼開發世界首款配備AI處理能力的圖像傳感器
對于商業應用的攝像機和邊緣計算,有兩種典型的策略:首先,使用一堆沒有智能的傻瓜攝像機,將數據發送到本地化服務器進行預處理,然后再上傳到云端進行存儲和分析(或者跳過預處理直接發送到云端)。其次,使用智能攝像機,在本地完成所有處理,然后發送到云端存檔。
  
索尼計劃專注于在零售和工廠自動化中大規模部署支持AI的相機,以及為其AI圖像傳感器開發基本推理模型。
兩者都有權衡。廉價相機通常需要一個龐大而昂貴的IT基礎設施,當處理發生在其他地方時,存在延遲問題。昂貴的相機耗電量大,可能需要一些網絡功能。兩者都需要安裝專業知識。
索尼負責商業和技術創新的副總裁馬克·漢森說:“想象一下,一家擁有1000多臺攝像頭的零售店正在播放大量視頻。如果攝像頭訂閱是預處理的,則必須安裝多個服務器才能連接所有這些攝像頭,如果將視頻的100%流式傳輸到云端,則需要支付大量的回程和存儲成本,此外還有延遲。這些問題,再加上日益增長的隱私問題,特別是在歐洲,要求限制個人圖像在本地局域網之外分發的能力,讓我們認為必須有更好的方法。”
事實上,這是漢森集團對客戶(尤其是零售業)在實施邊緣計算解決方案時,所面臨的固有挑戰和真正的困難有了更深入的理解,其中許多是定制項目,導致他們開發了世界上第一個人工智能圖像傳感器IMX500。
漢森說:“我們的想法是,如果我們能在邊緣解決使流程復雜化的問題,我們將以較低的成本為客戶縮短上市時間。”
索尼IMX500圖像傳感器是利用現有背面照明的圖像傳感器的邏輯延伸,它是第一款配備AI處理能力的圖像傳感器。這一特性是通過將邏輯芯片歷史性地放置在傳感器的正面并將其重新定位到背面來實現的,從而使傳感器有更多的像素來提高感光度,寬總線結構將數據從圖像傳感器傳輸到圖像信號處理器(ISP)。
  
在索尼新推出的IMX500上,像素芯片(約有1230萬像素用于捕獲信息)采集的信號同樣通過ISP運行,AI處理在邏輯芯片的處理階段完成。物體識別只需3.1毫秒,提取的數據作為元數據輸出,減少了處理的數據量。
IMX500的邏輯芯片有一個傳統的圖像傳感器操作電路和一個專門用于AI信號處理的索尼數字信號處理器,以及用于AI模型的內存。圖像識別的閃電般的速度,以及在數據到達網絡前將所有無關數據拋出的能力為新的應用開辟了可能性,從檢測面罩到區分人類還是機器人進入工廠的限制區域。
索尼從4月份開始銷售裸芯片,并預計將在6月份推出一款打包版(IMX501)。漢森說,為了讓這項技術獲得吸引力,他創造了一個“邊緣圖像平臺”,它必須易于測試和大規模部署,而且成本不會讓客戶的底線爆炸。為了做到這一點,漢森設想了一套簡單的硬件解決方案,其中有一系列選項或用例供客戶選擇,沒有大規模定制或實現噩夢。
實現這種簡單程度的關鍵在于參考設計和與微軟等擁有現有開發社區的組織、系統集成商和獨立軟件供應商的合作伙伴關系,這些公司擁有索尼所瞄準的應用程序的經驗,除了在機器學習和面向微型機器語言的工程方面的專業知識外。年中,索尼宣布與微軟Azure合作,利用微軟的基礎設施實施一些智能相機解決方案。
雖然漢森說理論上沒有任何東西可以阻止堆棧技術的增強,比如深度傳感,但今天的主要焦點是開發IMX500的應用程序。最初,索尼計劃將重點放在零售和工廠自動化領域大規模部署支持人工智能的攝像頭,以及開發基本推理模型。
漢森說:“我們是第一批這樣做的公司,所以我們需要進行大量的學習,以了解如何最好地將這項技術商業化。策略的一部分是對概念進行驗證,以便我們能夠快速了解哪些有效,哪些無效,并將我們的發現反饋到工程過程中。”
                                        
                                        


