說起阿爾法蛋大蛋2.0機(jī)器人，有不少家長(zhǎng)和孩子最感興趣的就是TA的指讀功能：只要把小學(xué)語文英語課本放在TA面前，再用手指著課本上的詞句，大蛋2.0馬上就能聲情并茂地朗讀出來，屏幕上也會(huì)同步顯示所指的內(nèi)容，還可以點(diǎn)擊進(jìn)行跟讀評(píng)測(cè)。

　　除此之外，指尖查詞也同樣實(shí)用。任意的中英紙質(zhì)讀物放在TA面前，用手指一指紙上的字、詞，中文的有筆順筆畫、部首結(jié)構(gòu)、釋義組詞，英文的則有音標(biāo)、詞性詞義、例句和發(fā)音評(píng)測(cè)等。

 

　　其實(shí)，阿爾法蛋大蛋2.0的指讀功能的實(shí)現(xiàn)集合了許多種技術(shù)，其中有一項(xiàng)關(guān)鍵技術(shù)叫做手勢(shì)識(shí)別——在科大訊飛的手勢(shì)識(shí)別技術(shù)基礎(chǔ)上，淘云科技針對(duì)兒童使用的場(chǎng)景進(jìn)行了深度優(yōu)化，才能讓大蛋2.0“看到”孩子手指的內(nèi)容、幫助孩子學(xué)習(xí)字詞、課文等。

 

　　就在今年1月17日，科大訊飛在德國(guó)The 20BN-Jester Dataset手勢(shì)識(shí)別評(píng)測(cè)中以97.26%的準(zhǔn)確率斬獲冠軍，并刷新世界紀(jì)錄。阿爾法蛋大蛋2.0“指哪讀哪”的秘訣之一，這回在世界級(jí)的賽場(chǎng)上大放異彩啦!

 

科大訊飛刷新德國(guó)The 20BN-Jester Dataset手勢(shì)識(shí)別評(píng)測(cè)世界紀(jì)錄

(截圖來源：The 20BN-Jester Dataset )

 

　　The 20BN-Jester Dataset評(píng)測(cè)集由德國(guó)TwentyBN公司發(fā)起，擁有全球最大規(guī)模動(dòng)態(tài)手勢(shì)識(shí)別數(shù)據(jù)集，在線實(shí)時(shí)滾動(dòng)排名的競(jìng)賽方式吸引了華為、斯坦福大學(xué)、福特等眾多國(guó)內(nèi)外優(yōu)秀創(chuàng)新企業(yè)和頂尖學(xué)術(shù)機(jī)構(gòu)的參與。 該測(cè)評(píng)從海量的視頻資源選取了1376名被采集者的動(dòng)態(tài)手勢(shì)，包含“向左或向右重?fù)?rdquo;、“兩個(gè)手指向上或向下滑動(dòng)”、“向前或向后擺手”在內(nèi)的27種手勢(shì)類別，涵蓋大部分常見手勢(shì)類別。 為了讓參賽者提供的識(shí)別方案具有更大的應(yīng)用價(jià)值，在該評(píng)測(cè)集中，針對(duì)不同的被采集者，選用風(fēng)格迥異的背景對(duì)其做出的手勢(shì)進(jìn)行采集，最終用于評(píng)測(cè)的手勢(shì)視頻具有“持續(xù)時(shí)間短、手勢(shì)動(dòng)作復(fù)雜”的特點(diǎn)，這要求識(shí)別模型對(duì)時(shí)空信息具備很強(qiáng)的理解能力。

 

 

　　在這次測(cè)評(píng)中，科大訊飛成功借鑒復(fù)雜版本分析中文本檢測(cè)以及駕駛場(chǎng)景中圖像語義分割技術(shù)，并結(jié)合手勢(shì)識(shí)別任務(wù)對(duì)算法進(jìn)行針對(duì)性地遷移和改進(jìn)。 在識(shí)別模型設(shè)計(jì)上，為實(shí)現(xiàn)動(dòng)態(tài)手勢(shì)識(shí)別效率與準(zhǔn)確率的均衡，團(tuán)隊(duì)摒棄了計(jì)算量復(fù)雜的3D卷積神經(jīng)網(wǎng)絡(luò)方案，采用更為輕量化的2D卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)視頻進(jìn)行逐幀分析，同時(shí)為了進(jìn)一步提升性能，團(tuán)隊(duì)設(shè)計(jì)相鄰幀特征交互模塊和自注意力機(jī)制相結(jié)合的方案，實(shí)現(xiàn)短時(shí)長(zhǎng)時(shí)特征信息的交互，提升模型對(duì)時(shí)空信息的理解能力，大幅提升模型識(shí)別性能，最終取得了97.26%的識(shí)別準(zhǔn)確率。 “低功耗，更精準(zhǔn)”是團(tuán)隊(duì)在設(shè)計(jì)方案時(shí)遵循的原則，也是相關(guān)技術(shù)實(shí)現(xiàn)應(yīng)用落地的前提和保障。得益于此，這次評(píng)測(cè)所采用的方案可以直接應(yīng)用在移動(dòng)端在線手勢(shì)識(shí)別，從而讓人機(jī)交互的方式更靈活便捷。

 

　　正是得益于不斷進(jìn)步的手勢(shì)識(shí)別技術(shù)，結(jié)合OCR技術(shù)識(shí)別內(nèi)容，以及圖像識(shí)別、語音合成等應(yīng)用，再加上淘云科技在兒童場(chǎng)景下對(duì)技術(shù)的深度優(yōu)化，AI學(xué)習(xí)機(jī)器人阿爾法蛋大蛋2.0才能實(shí)現(xiàn)“指哪學(xué)哪”。
 

 

　　除了指讀之外，阿爾法蛋大蛋2.0還擁有個(gè)性化精準(zhǔn)學(xué)的特色功能，讓孩子先通過少量題目找到知識(shí)點(diǎn)掌握的薄弱點(diǎn)，然后有針對(duì)性地進(jìn)行分析、進(jìn)行知識(shí)點(diǎn)學(xué)習(xí)和習(xí)題訓(xùn)練，提高學(xué)習(xí)效率與效果?？谡Z評(píng)測(cè)、繪本伴讀、算術(shù)批改、創(chuàng)意編程等，也讓大蛋2.0為孩子們的學(xué)習(xí)解鎖了更多新方式。用AI啟迪未來新人類，可不止是說說而已!