2022年6月23日,年度計算機視覺頂級會議CVPR(國際計算機視覺與模式識別會議),在美國新奧爾良落下帷幕。
據悉,CVPR會議的主要內容是計算機視覺與模式識別技術,每年有約1500名參加者,收錄的論文數量一般300篇左右。CVPR有著較為嚴苛的錄用標準,會議整體的錄取率通常不超過30%,而口頭報告的論文比例更是不高于5%。而OPPO今年有七篇論文成功入選,躋身一流科技廠商之列。同時在廣受關注的挑戰(zhàn)賽上,OPPO也取得了三項第一、一項第二、四項第三的良好成績。

在AI深度學習打天下的時代,人工智能技術從“感知智能”向“認知智能”邁進。多模態(tài)被眾多學者“押注”為開啟下一代人機交互的鑰匙。讓人類見識了AI從語言到視覺桎梏的威力。開始初步逐步具備像人類一樣的思考能力。多模態(tài)融合、3D視覺智能技術、自動機器學習等正在成為人工智能領域的關鍵研-究熱點。OPPO在上述領域都均實現論文收錄,在AI關鍵學術領域取得創(chuàng)新突破。

本次CVPR2022上,OPPO的7篇論文涵蓋多模態(tài)信息交互、三維人體重建、個性化圖像美學評價、知識蒸餾等多個研究領域。尤其是OPPO研究院提出CRIS框架,這個框架基于基于CLIP模型,但明顯要強于CLIP模型,使得AI能夠更加細粒度地理解圖像與文本兩種模態(tài)的數據。即使輸入包含多重信息的文本描述,該框架也能夠準確聚焦到對應的圖像區(qū)域,顯示出強大的細粒度跨模態(tài)匹配能力。可以說OPPO正在助力AI認知水平升級。

比如:只需說明金發(fā)男孩,AI就能準確識別出圖中的人物。
OPPO對AI算法的耕耘很深,比如其首款自研芯片馬里亞納X的落地證明了OPPO自研芯片的技術與能力,而對于AI產業(yè)來說,馬里亞納X或許為AI在移動領域的加速落地提供了新的思路。馬里亞納X這枚NPU主要用于手機影像計算領域,專門為提升OPPO手機的影像體驗而定制對專用AI芯片,AI算力達到了18TOPS,高過iPhoneA15的NPU算力(15TOPS),能耗僅11.6TOPS/W。而在峰值算力強勁的同時,還能實現較好的能效。

基于這樣的AI性能及高能效比,馬里亞納X在手機影像領域實現了諸多突破,手機計算攝影發(fā)展多年,但大多數AI算法仍然只能針對單張或者多張照片進行處理,比如AI美顏、AI夜景拍照的后處理,本質上依然是以時間換計算,如果要算的更多,那意味著消費者往往需要在拍攝后等待更久的處理。
而馬里亞納X讓算法在視頻端的應用從不可能變?yōu)榱丝赡?,這對于AI算法應用效果的提升來說是“從量變到質變”。也就是OPPO的手機可以實現在RAW上進行AI處理并實現4K的視頻。通過這個芯片,OPPO首次把AI的20bitRAW、4K、UltraHDR集成在一起,同時也首次在其安卓手機上實現了計算攝影的里程碑式的跳躍。

正如OPPO創(chuàng)始人兼首席執(zhí)行官陳明永所說,OPPO已經走入了技術研發(fā)的“深水區(qū)”,尤其是在芯片領域被國外大廠長期制霸的情況下,國廠商的彎道超車機會可能來自于AI技術的發(fā)展,這一點OPPO與海外公司起點并沒有差太遠。