據(jù)悉，中國(guó)司法大數(shù)據(jù)研究院開(kāi)展全國(guó)智慧法院建設(shè)應(yīng)用高峰論壇旨在搭建智慧司法高端交流平臺(tái)，作為業(yè)內(nèi)頗具規(guī)模及影響力的論壇，此次高峰論壇邀請(qǐng)了重量級(jí)政、產(chǎn)、學(xué)、研、用院士專(zhuān)家及行業(yè)領(lǐng)袖齊聚論壇，一起探討智慧法院建設(shè)進(jìn)展、創(chuàng)新技術(shù)和難題破解。

 

在本次論壇上，中國(guó)法學(xué)會(huì)案例法學(xué)研究會(huì)會(huì)長(zhǎng)、最高人民法院咨詢(xún)委員會(huì)副主任委員胡云騰、最高人民法院信息中心主任許建峰、福建省高級(jí)人民法院黨組成員、副院長(zhǎng)董明亮、中國(guó)司法大數(shù)據(jù)研究院院長(zhǎng)梁新和中國(guó)政法大學(xué)副校長(zhǎng)時(shí)建中共同為新設(shè)立的智庫(kù)平臺(tái)互聯(lián)網(wǎng)司法研究中心、金融司法研究中心揭牌，此外，胡云騰和許建峰、時(shí)建中分別為第五屆“中國(guó)法研杯”司法人工智能挑戰(zhàn)賽技術(shù)方向賽道和創(chuàng)新創(chuàng)業(yè)方向賽道獲獎(jiǎng)選手代表現(xiàn)場(chǎng)頒獎(jiǎng)。

 

在主旨分享環(huán)節(jié)，Intel數(shù)據(jù)中心和人工智能事業(yè)部資深系統(tǒng)架構(gòu)師王華強(qiáng)做了有關(guān)“CPU加速人工智能推理”的主題分享。

 

人工智能，AI時(shí)代 這樣的概念大家已經(jīng)不是很陌生。以智能推薦技術(shù)，計(jì)算機(jī)視覺(jué)技術(shù)為代表的大數(shù)據(jù)人工智能應(yīng)用已經(jīng)深入到人們生活的方方面面了，大數(shù)據(jù)人工智能滲入生活，改變著生活。 這些人工智能應(yīng)用通常需要大量的運(yùn)算，而提供算力是CPU，GPU，F(xiàn)PGA這樣的硬件。英特爾的通用處理器，在人工智能這塊，尤其是推理運(yùn)算這塊占有一席之地，有著相當(dāng)多的方案是基于CPU來(lái)完成的。我們將和大家介紹Intel的最新的CPU產(chǎn)品，并分享幾個(gè)功能的優(yōu)化部署案例，向大家介紹 英特爾是如何在軟硬件層面、助力AI以及、賦能企業(yè)、優(yōu)化應(yīng)用。

 

英特爾®持續(xù)投入人工智能算力技術(shù)，我們可以從服務(wù)器CPU技術(shù)演化的歷史看出來(lái)。在2017年發(fā)布的第一代xeon

 

可擴(kuò)展Skylake處理上，引入了512位寬的向量運(yùn)算指令。在第二代的兩個(gè)可擴(kuò)展處理器系列上，我分別支持了卷積指令集和Bf16半精指令集，加強(qiáng)了低精度運(yùn)算性能。在第四可擴(kuò)展處理上， 我們引入了AMX矩陣運(yùn)算加速器，進(jìn)一步提升低精度運(yùn)算的性能。未來(lái)Intel還會(huì)發(fā)布很多的高性能計(jì)算指令集。值得在大數(shù)據(jù)的客戶(hù)期待。

 

英特爾在2023年CES大會(huì)上隆重推出第四代至強(qiáng)可擴(kuò)展處理器。和目前主流的第三代ICX相比，它采用了最新的intel7工藝進(jìn)行制造，最高可達(dá)56個(gè)核心，最高支持8路服務(wù)器，多達(dá) 448 個(gè)內(nèi)核。并且單路性能較上一代ICX-SP提高60%。在外設(shè)方面，SPR將支持PCI

 

Express 5.0，每個(gè)處理器多達(dá) 80 個(gè)通道 ，支持DDR5內(nèi)存，將為內(nèi)存密集型應(yīng)用帶來(lái)極大的性能提升。另外，SPR還有一些特殊型號(hào)是攜帶了高達(dá)1TB帶寬的的片上HBM。針對(duì)安全，虛擬化，AI等方面SPR也做出了很多加強(qiáng)和特爾下優(yōu)化。

 

得益于這顆新CPU上專(zhuān)有AI運(yùn)算單元，相較于上代支持卷積指令集的ICX，深度學(xué)習(xí)推理性能是達(dá)到上一代的四倍。相較于上代支持半精浮點(diǎn)指令的CooperLake-SP，深度學(xué)習(xí)訓(xùn)練性能有額外一倍的增加。深度學(xué)習(xí)的應(yīng)用往往是計(jì)算密集集的業(yè)務(wù)，通常呢它也是內(nèi)存密集性業(yè)務(wù)，內(nèi)存也是關(guān)鍵資源，這代CPU內(nèi)存的帶寬和速度也比上代大了和快了50%。最新的這顆CPU上的AI加速單元的名字叫AMX, 全稱(chēng)是英特爾®高級(jí)矩陣擴(kuò)展指令集, 它是每個(gè)核心上都有的一個(gè)專(zhuān)用硬件模塊，主要負(fù)責(zé)進(jìn)行矩陣運(yùn)算，可以加速常見(jiàn)的AI應(yīng)用場(chǎng)景?，F(xiàn)在流行的深度學(xué)習(xí)框架都支持AMX加速器，象tensorflow和pytorch開(kāi)源框架，英特爾以插件的形式提供了指令集的支持。英特爾同時(shí)也開(kāi)發(fā)了高性能的開(kāi)源深度學(xué)習(xí)框架OpenVINO。OpenVINO在深度學(xué)習(xí)領(lǐng)域有著不俗的性能表現(xiàn)。

 

英特爾® 至強(qiáng)® 處理器 +OpenVINO框架的推理解決方案賦能企業(yè)優(yōu)化OCR應(yīng)用。OCR技術(shù)，在生活的方方面面都有廣泛的應(yīng)用。比如身份證識(shí)別，醫(yī)療票據(jù)掃描上傳；交通領(lǐng)域的車(chē)牌識(shí)別，自動(dòng)駕駛中的路標(biāo)識(shí)別等；辦公領(lǐng)域的文字識(shí)別，卷宗電子化等；都用到了OCR識(shí)別。OCR本身是個(gè)很大的市場(chǎng)，其算法和程序需要部署在很多地方，可能是公有云，私有云或者邊緣側(cè)。 有非常多的軟件開(kāi)發(fā)商，算法開(kāi)發(fā)商和參與其中，廠商通常需要一個(gè)相對(duì)低成本的處理方案。OCR開(kāi)發(fā)廠商通常遇到兩個(gè)技術(shù)痛點(diǎn)，第一類(lèi)是使用GPU帶來(lái)的成本和部署問(wèn)題。第二類(lèi)痛點(diǎn)是來(lái)自己使用CPU做OCR處理的開(kāi)發(fā)者，他們常常發(fā)現(xiàn)所能利用的CPU算力和CPU廠商所宣傳的峰值性能相差甚遠(yuǎn)。這往往是缺乏對(duì)CPU硬件加速和指令集的了解，所開(kāi)發(fā)的OCR程序往往沒(méi)有做到很好的優(yōu)化，達(dá)不到降本增效的效果?；谶@樣的現(xiàn)狀，Intel聯(lián)合了多個(gè)OCR重度應(yīng)用的合作伙伴，一起完成了基于CPU平臺(tái)的程序、算法和部署的優(yōu)化，力求為全行業(yè)OCR應(yīng)用提供有益的參考。

 

OCR技術(shù)即，光學(xué)字符識(shí)別（Optical Character Recognition, OCR）是指對(duì)文本資料的圖像文件進(jìn)行分析識(shí)別處理，獲取文字及版面信息的過(guò)程。常見(jiàn)的處理流程如圖所示。首先對(duì)輸入的圖像文件進(jìn)行預(yù)處理，也就是針對(duì)圖像的成像問(wèn)題進(jìn)行修正，其次檢測(cè)文本的所在位置和范圍及其布局。通常也包括版面分析和文字行檢測(cè)等，在在文本檢測(cè)的基礎(chǔ)上，對(duì)文本內(nèi)容進(jìn)行識(shí)別，將圖像中的文本信息轉(zhuǎn)化為文本信息。最終輸出圖像中的有效信息。在整個(gè)過(guò)程中文本內(nèi)容的識(shí)別時(shí)最重要，計(jì)算量也最大的部分, 我們的優(yōu)化通常集中在這里。

 

第一個(gè)案例是基于公有云的OCR業(yè)務(wù)處理優(yōu)化。該業(yè)務(wù)使用定制的CRNN模型，主要用于增值稅普通/專(zhuān)用發(fā)票檢測(cè)及識(shí)別。其硬件平臺(tái)是由Intel 8369B為基礎(chǔ)的阿里云第7代計(jì)算實(shí)例。在同客戶(hù)的深入合作中，我們?yōu)槠湓谧罱鼉纱布脚_(tái)，分別了適配最新的技術(shù)做了優(yōu)化。ICX的整個(gè)優(yōu)化方案，我們分為兩步，第一步是通過(guò)OpenVINO和它的異步調(diào)用模式來(lái)提升性能，這一步比客戶(hù)原來(lái)的方案延時(shí)加速了6倍。隨后，我們繼續(xù)利用VNNI指令加速整個(gè)推理過(guò)程，這又在上一步的基礎(chǔ)上繼續(xù)把延時(shí)減少了2倍。在SPR平臺(tái)上，通過(guò)我們的優(yōu)化，客戶(hù)得到了滿(mǎn)足業(yè)務(wù)需求的，更具性?xún)r(jià)比的CPU部署方案，并且降低了產(chǎn)品部署的復(fù)雜度。

 

第二個(gè)案例是基于私有云的醫(yī)保OCR業(yè)務(wù)處理優(yōu)化。該業(yè)務(wù)使用定制的CNN+Bi-LSTM模型，主要也是用于增值稅普通/專(zhuān)用發(fā)票檢測(cè)及識(shí)別。部署在由英特爾5318S處理器為基礎(chǔ)的私有云平臺(tái)上。經(jīng)過(guò)基于第三代英特爾至強(qiáng)可擴(kuò)展處理器平臺(tái)的cpu加速，基于Intel®

 

OpenVINO™框架的異步調(diào)用加速吞吐的優(yōu)化后，以處理相同的圖片數(shù)據(jù)耗費(fèi)的時(shí)間為基準(zhǔn)。與用戶(hù)原始深度學(xué)習(xí)框架FP32精度相比，OpenVINO FP32實(shí)現(xiàn)了約為性能8.9倍的提升。性?xún)r(jià)比獲得大幅提升，滿(mǎn)足了平臺(tái)日常業(yè)務(wù)的需求。

 

第三個(gè)案例是企業(yè)OCR業(yè)務(wù)處理優(yōu)化。該業(yè)務(wù)使用定制的CNN+2D Attention模型，主要是用于增值稅普通/專(zhuān)用發(fā)票檢測(cè)及識(shí)別。經(jīng)過(guò)我們的整體優(yōu)化后，CPU上的性能已經(jīng)優(yōu)于原先的GPU性能了，性?xún)r(jià)比獲得提升，滿(mǎn)足了客戶(hù)從GPU遷移至CPU的需求。

 

第四個(gè)案例是電信智能營(yíng)業(yè)廳OCR業(yè)務(wù)處理優(yōu)化。該業(yè)務(wù)使用定制的CRNN模型，用于發(fā)票合同檢測(cè)及識(shí)別。其硬件平臺(tái)是也是由Intel 8380處理器為基礎(chǔ)的私有云平臺(tái)。經(jīng)過(guò)優(yōu)化后，整臺(tái)服務(wù)器的吞吐量在原先增長(zhǎng)了 7.5倍客戶(hù)得到了更具性?xún)r(jià)比的部署方案，并且降低了產(chǎn)品部署的復(fù)雜度。該業(yè)務(wù)在第四代至強(qiáng)可擴(kuò)展器上性能相較優(yōu)化前的有25倍的提升。