在游戲、專業(yè)設(shè)計等消費級圖形應(yīng)用中,隨著顯示分辨率增長,圖形精細度提高,對于計算機圖形計算單元(GPU)的計算能力需求正在高速增長,如何應(yīng)對兩者之間的矛盾,成為主要圖形技術(shù)公司的研究課題。

借助人工智能技術(shù)緩解這一矛盾,成為主要圖形領(lǐng)域相關(guān)公司的主流方向。自2019年起,英偉達推出名為DLSS(深度學(xué)習(xí)超級采樣)技術(shù),利用深度學(xué)習(xí)將較低分辨率的圖像縮放為更高分辨率的圖像,以便在更高分辨率的計算機顯示器上顯示。隨后,微軟、英特爾、聯(lián)發(fā)科等公司紛紛推進,“人工智能”在消費級圖形技術(shù)領(lǐng)域,尤其是游戲用途中,得以大顯身手。
英偉達是用“人工智能”技術(shù)改善圖形渲染顯示的先鋒。在硬件上,英偉達在其RTX20與30系列GPU內(nèi)置專用AI計算單元TensorCore,就有加速DLSS的職能。經(jīng)過3年發(fā)展,DLSS已經(jīng)逐步成熟。
2020年年英偉達將DLSS升級到2.0版本,成為DLSS被市場接受的重大更新,其工作方式大致上為:英偉達用超級計算機對游戲超高分辨率的畫面和輸出的低分辨率畫面映射做訓(xùn)練(training),輸入包括了運動向量等數(shù)據(jù),應(yīng)用于高分辨率畫面可以預(yù)測下一幀畫面。其后,訓(xùn)練得到的AI模型通過驅(qū)動和升級推送到用戶端。而在用戶端,在開啟DLSS特性的游戲里,GPU就應(yīng)用訓(xùn)練模型,進行推理(inference),實現(xiàn)低分辨率畫面拉伸到高分辨率的操作。
在近日推出的DLSS技術(shù)最新2.3版本中,英偉達還稱,新的AI算法可以更智能地利用運動矢量來改善運動物體的渲染表現(xiàn),同時還改善了重影、時間穩(wěn)定性等,比如此前用戶反饋比較多的細小物體拖影問題,是英偉達比較重要的一詞技術(shù)更新。

DLSS與英偉達力推的實時光線追蹤技術(shù)一同,成為新一代圖形領(lǐng)域的重要技術(shù)支撐。原因在于實時光線追蹤對GPU硬件資源仍有著相當貪婪的需求,如當GPU以4K分辨率、開啟光線追蹤運行時,計算壓力巨大,配套的DLSS能緩解硬件資源方面的壓力。
此外,測試顯示,DLSS處理的畫面,與原生分辨率幾乎沒有差別,在某些地方甚至還能做到更好。因此,對于畫面每秒幀數(shù)(FPS)有更高的要求的VR游戲,DLSS能帶來更好的體驗改善,有助于VR技術(shù)的普及。win11激活密鑰
將低分辨率拉伸到高分辨率,業(yè)界通常稱為“游戲超分”,能在一定程度上在硬件瓶頸下改善游戲畫質(zhì),此前在游戲機上頗為常用。在英偉達推出DLSS后,AMD也在PC平臺推出了FSR(FidelityFXSuperResolution,超級分辨率銳畫技術(shù))技術(shù)應(yīng)對,但FSR技術(shù)事實上并未應(yīng)用AI。
盡管FSR應(yīng)用范圍更大,但在技術(shù)選擇上,業(yè)界更傾向于英偉達的AI路線。原因在于借助AI學(xué)習(xí)方式,是自渲染方式到輸出進行連貫的圖像處理與強化,與將完成后的影像套用固定方式進行放大與銳化仍有明顯技術(shù)優(yōu)勢。不過,英偉稱近期稱其在游戲超分領(lǐng)域提供全棧技術(shù)方案,提供玩家包括DLSS到NIS(英偉達圖像縮放,與AMDFSR方案類似)的技術(shù)方案選擇,通過驅(qū)動更新形式向玩家升級。windows7激活密鑰
在移動市場,借助AI改善游戲畫面成為移動廠商關(guān)注的問題。“我們也認同游戲市場有這樣的需求。我們未來會布局游戲超分,在移動平臺端的完整方案。目標上和英偉達一致,滿足游戲開發(fā)者在性能和畫質(zhì)上的要求,芯片平臺的性能、功耗也達到整體平衡。”在近日舉行的一場媒體技術(shù)溝通會上,聯(lián)發(fā)科相關(guān)人士稱。win10激活
根據(jù)聯(lián)發(fā)科介紹,其在游戲超分的方案與英偉達頗為類似。“我們第一代游戲超分的規(guī)劃方案,希望是結(jié)合GPU+APU的異構(gòu)方案。在移動平臺端,我們希望讓GPU專心做渲染,APU(AI處理器)則可以負擔一部分超分的系統(tǒng)需求。”
在今年正式公布了名為“銳炫”(Arc)的全新顯卡品牌,確認重新返回獨立顯卡市場的英特爾,也在其近年的架構(gòu)日中,公布了與DLSS類似的XeSS(XeSuperSampling)超分辨率技術(shù),英特爾大致解釋稱,XeSS原理是通過畫面中的臨近像素,以及過去幀進行運動補償,來重建子像素細節(jié),該過程需要通過神經(jīng)網(wǎng)絡(luò)進行。英特爾在此前的技術(shù)分享中也演示了1080P“超分”到4K畫面,與原生4K分辨率渲染的比較,效果看起來還不錯。win10專業(yè)版激活密鑰
在此拓展較早的英偉達一直在圍繞DLSS構(gòu)建生態(tài)系統(tǒng),至今超過100款游戲得到應(yīng)用,獲得虛幻、Unity等主流游戲引擎應(yīng)用。英偉達稱,該技術(shù)非常容易集成在游戲中。英偉達稱,在今年第三季DLSS已取得45款以上游戲及程序的支持,較第二季及第一季出現(xiàn)爆發(fā)性的增長。
尤其是近年來,由于英偉達在中國投入力度加大,如新近上市的《光明記憶:無限》《仙劍奇?zhèn)b傳7》《暗影火炬城》等國產(chǎn)游戲。有中國開發(fā)者表示,英偉達在國內(nèi)會對合作廠商提供專門的技術(shù)支持,解決游戲的適配和兼容等問題。
值得注意的是,英特爾也計劃把XeSS推到英特爾以外,包括英偉達、AMD兩個競爭對手的產(chǎn)品。英特爾稱,XeSS在包括集成顯卡在內(nèi)的各種硬件上提供基于AI的超級采樣,這會將XeSS帶給數(shù)以百萬計的游戲玩家,目前已經(jīng)有多家早期的游戲開發(fā)商已經(jīng)開始采用XeSS。
未來在光線追蹤之外,基于AI的超分辨率技術(shù)也將成為GPU廠商的技術(shù)必爭之地,在生態(tài)搭建、算法優(yōu)化和平臺支持上展開爭奪。