慧鯉的AI超分辨率還實現(xiàn)了全倍率、全場景覆蓋,在1.0x到100x倍率范圍內(nèi),室內(nèi)、室外、夜景、人像、運動等場景下均能提供優(yōu)異的超分效果,其中,低倍率(close range)和遠距離(long range)評測成績大幅領(lǐng)先目前市場最高水平的產(chǎn)品。此次突破彰顯了慧鯉在AI超分辨率技術(shù)領(lǐng)域軟硬協(xié)同的創(chuàng)新能力,顯著拓展了智能手機的長焦攝影能力和應用場景。

 

DXOMARK 的手機后置攝像頭測試基準第4版于2020年10月發(fā)布,慧鯉在2022年提交評測之時使用的是第4版基準*。此次慧鯉科技向DXOMARK提交用于AI超分辨率算法性能評估的智能手機樣機配備了目前最好的長焦攝像頭之一。它采用4800萬像素1/2英寸傳感器,單像素尺寸0.8um,等效120毫米f/4.1光圈鏡頭,并配有OIS光學防抖。得益于AI超分辨率算法的突破,在DXOMARK第4版測試基準遠攝專項評分中,搭載慧鯉算法的智能手機樣機相較配備同等硬件規(guī)格長焦攝像頭的智能手機產(chǎn)品,實現(xiàn)了高達13分的成績提升。

 

從交織錯綜的城市建筑群,到山川聳立的自然風光,這些景象在長焦鏡頭下呈現(xiàn)的空間壓縮感,能夠給人帶來一種身臨其境之感。很多美妙絕倫的獲獎攝影作品也誕生在長焦鏡頭之下,可以說,人們對長焦的追求以及纖毫畢現(xiàn)的畫質(zhì)拍攝沒有上限。然而,在實際的攝影過程中,光信號從進入光學模組到最終成像輸出,需要經(jīng)過鏡頭、傳感器、圖像處理芯片(ISP)等多個復雜的環(huán)節(jié),容易導致光信號信息丟失、形態(tài)改變,造成像差等“失真”現(xiàn)象。受到體積所限,智能手機所配備的光學鏡頭和傳感器的素質(zhì)也難以和單反相機相媲美,最終損失的光信號在信號分辨率大幅放大的過程中會更加凸顯,限制了捕捉高頻細節(jié)和遠景的能力。

 

精準恢復物理世界的真實光學信號需要精確的成像模型。傳統(tǒng)方案一般是通過數(shù)學建模來表達物理成像過程,其優(yōu)勢在于可解釋性強且遵循物理世界的光學成像原理。但由于相機成像系統(tǒng)復雜,加上鏡頭、圖像傳感器等硬件在設計和制造過程中會不可避免地產(chǎn)生不同程度的偏差或缺陷,導致數(shù)學模型的最終輸出結(jié)果往往與實際物理成像的結(jié)果相差甚遠,比如光學像差、噪聲、信號竄擾等。另一種方案是完全依靠對大量數(shù)據(jù)的深度學習進行圖像恢復,“猜測”損失掉的畫面細節(jié)并進行“填充”,這種方法雖然可以在一定程度上利用采集到的訓練數(shù)據(jù)抵消硬件偏差的影響,但常常會碰到一些邊角案例會生成一些不符合物理世界規(guī)律的畫面內(nèi)容,影響成片率,而且還需要針對不同硬件平臺采集不同數(shù)據(jù),成本高昂。

 

慧鯉科技的“AI+成像模型”將基于成像系統(tǒng)的物理模型和基于大數(shù)據(jù)的深度學習兩者的優(yōu)勢結(jié)合在一起,利用了深度學習對成像數(shù)學模型和實際物理成像過程不一致的情況進行彌補。針對光學鏡頭,慧鯉的計算光學算法可以更聰明地恢復因光學缺陷所造成的光信號信息損失,為傳感器提供高質(zhì)量的“原料”。在傳感器端,慧鯉的計算攝影算法可對多幀圖像進行逐像素的智能融合,最大化利用光信號信息“原料”的價值,結(jié)合多幀融合、分辨率放大、降噪等算法和圖像處理芯片(ISP)的處理,使清晰度、細節(jié)、噪聲水平等更加逼真地達到物理世界的信號水平,最終輸出一張分辨率更高、細節(jié)更豐富的照片,讓遠方的美景纖毫可見。不僅如此,基于同一套算法框架和高效的自動化工具鏈,慧鯉可快速適配高、中、低階等不同攝像頭硬件配置的智能手機,通過軟件算法與成像硬件的緊密協(xié)同,實現(xiàn)最大化的畫質(zhì)提升,幫助智能手機取得機身尺寸和長焦成像質(zhì)量上的完美平衡。

 

DXOMARK影像質(zhì)量總監(jiān)Claire NASLOT表示:“DXOMARK的遠攝測試會在大約 40 毫米至 300 毫米的焦距范圍內(nèi)對所有圖像質(zhì)量屬性進行評鑒,測試場景涵蓋來自實驗室中的許多客觀測量和對現(xiàn)實生活圖像的感知分析,其中的紋理和細節(jié)表現(xiàn)是我們關(guān)注的重點。搭載慧鯉算法的智能手機,其遠攝圖像質(zhì)量令人印象深刻,在各種焦距下,它的細節(jié)保留效果均相當出色,擁有比其他手機產(chǎn)品更好的紋理和噪聲表現(xiàn)。這意味著用戶在多種長焦拍攝場景下,都能獲得更加清晰、干凈的照片。”

 

AI超分辨率是慧鯉智能影像一直以來所倡導的AI圖像傳感器(AI Sensor)、AI圖像處理芯片(AI ISP)以及AI軟件算法(SDK++)三位一體的智能影像解決方案的典型代表。這種三位一體的解決方案可以充分利用手機相機系統(tǒng)軟硬件的優(yōu)勢,為用戶提供極致的影像畫質(zhì)和性能表現(xiàn)。一方面,慧鯉利用AI技術(shù)充分挖掘鏡頭模組和各種新型傳感器等硬件的潛力,最大程度的利用成像設備的底層特性,以得到最優(yōu)的成像質(zhì)量。另一方面,慧鯉也利用AI技術(shù)將成像系統(tǒng)中的各個獨立的部件有機地結(jié)合在一起,使得原本獨立運作的成像模塊成為協(xié)同合作的成像平臺。

 

在AI Sensor方面,慧鯉利用其獨有的高效輕量AI技術(shù),將AI-RMSC、去壞點、去摩爾紋、HDR融合、顏色融合、RAW域去模糊、深度圖增強等算法成功地移植固化到小型圖像傳感器上,在大幅提升圖像質(zhì)量的前提下,解決了圖像傳感器面積小、功耗標準嚴、發(fā)熱量控制要求高等阻礙AI落地傳感器領(lǐng)域的難題,目前已經(jīng)成功研發(fā)并落地了多款手機旗艦的圖像傳感器IP固化。在AI ISP方面,慧鯉提供視頻HDR和視頻夜景的核心功能,支持多種新型圖像傳感器和多攝像頭,可定制化的AI Engine提供可擴展的混合精度計算平臺,進一步提升能效比,支撐豐富的AI模型應用。在SDK++方面,結(jié)合新型AI圖像傳感器和計算攝影算法,慧鯉推出了夜景、HDR、超分、人像、虛化、運動去模糊、插幀、屏下攝像頭等多個拍照和視頻畫質(zhì)增強產(chǎn)品,已應用于多家智能手機品牌的產(chǎn)品當中。

 

作為智能手機產(chǎn)業(yè)的頭部AI軟件供應商,慧鯉致力于通過AI技術(shù)的賦能,以業(yè)內(nèi)領(lǐng)先的圖像處理技術(shù),輸出專業(yè)優(yōu)質(zhì)的影像效果,打造豐富多樣的特色功能,讓手機拍照更簡單,讓照片質(zhì)量更上一層樓,讓每個人都能成為攝影大師?；埘幊掷m(xù)引領(lǐng)AI感知和成像技術(shù)突破,通過場景驅(qū)動,結(jié)合強大的軟硬件結(jié)合能力,降低消費者的使用門檻,輕松拍出更清晰、更自然、更美觀的照片,不斷豐富人們的移動影像體驗。

 

備注:*目前DXOMARK線上公布的影像基準為第5版更新,但并不影響第4版評測結(jié)果的權(quán)威性。