“中科院上海微系統(tǒng)所團(tuán)隊的仿生眼就是模仿人類的視覺系統(tǒng)以及視覺信息在腦內(nèi)的處理機(jī)制，賦予機(jī)器人以人的視覺。”

仿生視覺團(tuán)隊研制的立體顯微鏡突破可見光顯微重建技術(shù)，取得了媲美日本某品牌激光共聚焦顯微鏡的精度，邊緣處細(xì)節(jié)精度優(yōu)于其商用顯微鏡，成果發(fā)表IEEE測量領(lǐng)域旗艦刊物TIM。

高精度可見光立體顯微系統(tǒng)

仿生視覺團(tuán)隊研制了大尺度全范圍可見-紅外光融合感知仿生鷹眼，在西藏完成了雪山冰川測量的可行性驗證。

基于仿生鷹眼的雪山冰川測量驗證

通過雙目的視差來恢復(fù)場景的三維信息

李嘉茂介紹，目前中科院上海微系統(tǒng)所的仿生視覺系統(tǒng)能夠?qū)崿F(xiàn)所有的人類眼球運(yùn)動，實現(xiàn)雙眼協(xié)調(diào)運(yùn)動、平滑追蹤、視點切換、運(yùn)動模糊抑制的功能，實現(xiàn)比傳統(tǒng)雙目視覺更加可靠的機(jī)器視覺系統(tǒng)。

“單個相機(jī)采集的信息是二維的，

與人的視覺信息處理一樣，

中科院上海微系統(tǒng)所可以通過雙目的視差

來恢復(fù)場景的三維信息。”

中科院上海微系統(tǒng)所實現(xiàn)了很多腦區(qū)皮層的算法，涉及空間信息感知、運(yùn)動信息感知、語義信息感知，空間信息感知包括深度估計、視覺定位、三維重建，運(yùn)動信息感知包括光流估計、運(yùn)動分割、目標(biāo)跟蹤，語義信息感知包括圖像分類、目標(biāo)檢測、語義分割。也可以像人腦那樣多個腦區(qū)聯(lián)動來實現(xiàn)視覺的聯(lián)合任務(wù)，比如語義SLAM、實時立體場景圖等等。

搭載跨腦區(qū)算法的自主探索移動機(jī)器人

特別是在上海市“腦與類腦智能基礎(chǔ)轉(zhuǎn)化應(yīng)用研究”市級科技重大專項的支持下，研制了面向智能機(jī)器人的多模態(tài)傳感、認(rèn)知、分析和決策閉環(huán)的智能系統(tǒng)，機(jī)器人可以實現(xiàn)復(fù)雜場景的手眼協(xié)同抓取、面向未知環(huán)境的機(jī)器人自主探索和環(huán)境重建。

搭載仿生雙眼、具備視聽融合感知交互能力及決策執(zhí)行控制功能的“機(jī)器頭腦”實現(xiàn)手眼協(xié)同抓取

基于研究所仿生視覺團(tuán)隊自主可控的仿生雙眼技術(shù)，研制面向視聽多模態(tài)融合處理場景的移動機(jī)器人專用國產(chǎn)SoC芯片。

李嘉茂介紹，該芯片可在智能機(jī)器人系統(tǒng)中實現(xiàn)全腦的功能。

其中，BISP模塊類似于腦干可以實現(xiàn)機(jī)器人的多種感官同步和時序校準(zhǔn)功能，CVPE模塊可以完成機(jī)器人高精度視覺導(dǎo)航和深度算法的加速，Bino神經(jīng)加速單元可以通過軟件定義實現(xiàn)硬件的靈活配置，支持多種神經(jīng)網(wǎng)絡(luò)中的特定加速算子，實現(xiàn)模擬人腦處理的視聽覺聯(lián)合任務(wù)中的腦區(qū)功能。該芯片可以提升機(jī)器人端側(cè)的感知、分析、決策的智能水平。

“我國語音麥克風(fēng)陣列以及

圖像雙目視覺等核心算法

均國際領(lǐng)先水平，

未來我國有望繼續(xù)保持

在視聽覺融合領(lǐng)域的算法領(lǐng)先。”

李嘉茂說。

端用芯片可有效支撐在智能硬件終端上進(jìn)行多通道、高通量數(shù)據(jù)的實時復(fù)雜處理，實現(xiàn)“端”和“云”高效協(xié)同。

“端用芯片是復(fù)雜算法落地關(guān)鍵路徑，

也是保護(hù)軟成果的主要方式。”

仿生眼領(lǐng)域的科研突破將如何給產(chǎn)業(yè)賦能？

將會推動哪些顛覆式變化？

中科院上海微系統(tǒng)所著重解決國家相關(guān)重大產(chǎn)業(yè)當(dāng)中的關(guān)鍵性問題。中科院上海微系統(tǒng)所面向半導(dǎo)體行業(yè)的上下游，研究了一系列機(jī)器人。

“半導(dǎo)體的生產(chǎn)車間都是無塵的，

而且工序與工序之間的物料需要搬運(yùn)，

有些環(huán)節(jié)由于物理空間限制，

天車還沒有辦法完全覆蓋，

只能人力去搬運(yùn)。”

但是，其實在半導(dǎo)體生產(chǎn)的無塵車間里，

人其實是最大的一個污染源。

怎么辦？

李嘉茂對這些應(yīng)用場景進(jìn)行了深入了解。

在智能制造機(jī)器人領(lǐng)域，中科院上海微系統(tǒng)所設(shè)計的面向半導(dǎo)體柔性生產(chǎn)的自主搬運(yùn)機(jī)器人，可以很好的解決這個問題，通過實現(xiàn)24小時的在線高效搬運(yùn)，可大大提高整個自動化生產(chǎn)的運(yùn)行效率，代替人工在無塵車間天車無法覆蓋的區(qū)域進(jìn)行搬運(yùn)，為企業(yè)降低無塵車間的污染提高產(chǎn)線的良品率，提高作業(yè)的安全性和效率提供了幫助。

晶圓搬運(yùn)機(jī)器人

傳統(tǒng)機(jī)器人基本是通過預(yù)編程或者固定在某一位置上實現(xiàn)某一特定任務(wù)，中科院上海微系統(tǒng)所研發(fā)的機(jī)器人功能是集信息傳感、認(rèn)知與分析決策一體的。

“所以面向柔性生產(chǎn)需求，基于我們研發(fā)的視覺系統(tǒng)可以非常方便地改變原有作業(yè)方案。”李嘉茂說。

中科院上海微系統(tǒng)所的仿生視覺系統(tǒng)模仿人眼但超越人眼。立體顯微系統(tǒng)可以實現(xiàn)近似于激光共聚焦顯微鏡的精度，在微小裂紋檢測、瑕疵檢測等場景上獲得了很好的效果；大尺度仿生雙眼系統(tǒng)實現(xiàn)了冰川、生態(tài)的實時三維動態(tài)檢測，在智慧城市、智慧安防、智慧生態(tài)方面取得了突破。

中科院上海微系統(tǒng)所的仿生雙眼融合可見光、紅外、紫外可以實現(xiàn)復(fù)雜工況的檢測，中科院上海微系統(tǒng)所與申通地鐵合作研制的軌道交通安全數(shù)字孿生系統(tǒng)可以實時檢測地鐵運(yùn)行期間的弓網(wǎng)安全、軌行區(qū)障礙物等，為地鐵的安全運(yùn)行和維護(hù)提供智能保障。

軌道交通數(shù)字孿生系統(tǒng)

“作為中國科學(xué)院研究團(tuán)隊，

我們是‘國家隊’，

實驗室最終面向的

是仿生智能視覺感知技術(shù)的應(yīng)用落地，

因此研究機(jī)器人感知的基礎(chǔ)上，

也致力于他們的行業(yè)應(yīng)用。”

讓更多青年科技工作者站上科研舞臺

人才，是科技創(chuàng)新的源動力。

近年來，國家高度重視人才工作，在科研人員“減負(fù)”方面推出了系列有成效的改革舉措，剛剛又推出了開展減輕青年科研人員負(fù)擔(dān)專項行動，惠及了我們科研活動中的多個環(huán)節(jié)。

8月8日，科技部等五部門發(fā)文，正式開啟減負(fù)行動3.0。這一次減負(fù)的主體聚焦于青年科研人員，提供更多的支持，挑大梁、增機(jī)會、減考核、保時間、強(qiáng)身心多項舉措為青年科技工作者提供很好的發(fā)展環(huán)境。

“像我們實驗室就是一個35歲以下青年科技工作者占比很大的團(tuán)隊，在實驗室項目攻關(guān)過程中，有不少青年科研人員沖在前面，敢擔(dān)當(dāng)、能作為，相信在減負(fù)新行動的引領(lǐng)下，能創(chuàng)造更好的舞臺讓他們潛心攻關(guān)，激發(fā)創(chuàng)新潛能與活力，為國家科技自力自強(qiáng)做出更多貢獻(xiàn)。”李嘉茂表示。