這太令人印象深刻了。但對(duì)于實(shí)際問(wèn)題呢？神經(jīng)網(wǎng)絡(luò)可以在你需要的時(shí)候幫你找到你需要的任何表情符號(hào)嗎？
哎呀，是的。它們可以。
這篇文章將概述Dango背后的一些工程原理，它可以讓我們從數(shù)以億計(jì)的現(xiàn)實(shí)世界的符號(hào)表情使用情況中自動(dòng)學(xué)習(xí)，從而產(chǎn)生了一款輕量快捷的工具，用來(lái)在手機(jī)上實(shí)時(shí)為你預(yù)測(cè)表情符號(hào)。
Dango是什么？
Dango是一款運(yùn)行在手機(jī)上的浮動(dòng)助理，它會(huì)根據(jù)你與你朋友在任何應(yīng)用中所寫的東西來(lái)預(yù)測(cè)表情符號(hào)，貼圖和GIF圖片。這使得你在任何應(yīng)用中都有同樣豐富的對(duì)話：Messenger，Kik，Whatsapp，Snapchat等。（單單在所有應(yīng)用中都實(shí)現(xiàn)這樣的功能就是一大挑戰(zhàn)了，不過(guò)這不屬于這里要討論的）。
推薦表情符號(hào)很困難：Dango必須理解你正在寫的語(yǔ)句的意思，然后才能為你推薦你想使用的表情。在核心部分，Dango的預(yù)測(cè)由神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。神經(jīng)網(wǎng)絡(luò)是一種計(jì)算結(jié)構(gòu)，有上百萬(wàn)的可調(diào)參數(shù)，以類似人腦神經(jīng)元的連接方式相互連接。
隨機(jī)對(duì)這些參數(shù)初始化來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，然后輸入從互聯(lián)網(wǎng)上抓取的數(shù)以百萬(wàn)的現(xiàn)實(shí)世界表情符號(hào)使用案例，比如：
最開始，網(wǎng)絡(luò)只是隨意猜測(cè)，但是隨著新的訓(xùn)練樣例的輸入，它輕微調(diào)整那百萬(wàn)個(gè)參數(shù)，因此它會(huì)在那個(gè)樣例上表現(xiàn)更好。在頂級(jí)GPU上訓(xùn)練了幾天之后，網(wǎng)絡(luò)開始輸出更具意義的推薦了：
我們從表情符號(hào)中學(xué)到的東西
這種由數(shù)據(jù)驅(qū)動(dòng)的表情符號(hào)預(yù)測(cè)方法意味著Dango比我們更了解表情符號(hào)。Dango教我們使用新的俚語(yǔ)，以及世界各地人們使用表情符號(hào)講述故事的新方式。
例如：如果你寫“Kanye is the”，Dango將會(huì)預(yù)測(cè)一個(gè)山羊表情。這只山羊當(dāng)然表示Greatest of All Time（G.O.A.T），這是Kanye在今年早些時(shí)候的自稱：
在他意識(shí)到他是當(dāng)代以及所有時(shí)代最偉大的藝術(shù)家時(shí)說(shuō)的。
— KANYE WEST （@kanyewest）2016-02-14
Dango可以通過(guò)多表情符號(hào)來(lái)表示事物。例如，如果你居住在不列顛哥倫比亞或科羅拉多，并享受生活，Dango就會(huì)這么推薦表情。
如果你對(duì)某人生氣，希望他們滾出去。Dango會(huì)很樂(lè)意讓它們出去：
Dango同樣從網(wǎng)絡(luò)文化中學(xué)習(xí)到了豐富的知識(shí)。它了解模因和趨勢(shì)。例如，如果你看過(guò)在喝茶的Kermit青蛙的圖片“但這不關(guān)我事（but that’s none of my business）”那就知道了。
Dango還了解許多其他的細(xì)微引用和笑話，而且它總是在學(xué)習(xí)，以跟上潮流
當(dāng)然還有許多我們沒發(fā)現(xiàn)的。
不僅僅是表情符號(hào)
由于Dango在表情符號(hào)上訓(xùn)練，可能一開始會(huì)意識(shí)到它可以理解和表示的概念數(shù)目很小——在寫這篇文章的時(shí)候，Unicode協(xié)會(huì)擁有1624個(gè)標(biāo)準(zhǔn)化表情符號(hào)，盡管對(duì)字體設(shè)計(jì)師來(lái)說(shuō)這個(gè)數(shù)目是個(gè)頭疼問(wèn)題，但仍然數(shù)目相對(duì)較少。
然而，這并不意味著只有1624種含義。你在使用表情符號(hào)的時(shí)候，它們的意義是根據(jù)它們的外形以及使用的上下文來(lái)定義的——這些意義會(huì)高度多樣化。
可能表示“舉手擊掌”或者“謝謝”或者“拜托了”。
可能專門表示茄子。
此外，表情符號(hào)可以結(jié)合使用來(lái)表達(dá)新的概念。例如：
表示親吻臉頰，但是
表示吹口哨，
表示吐煙霧。
這些表情符號(hào)的組合可能變的非常復(fù)雜：
這意味著Dango可以表示的語(yǔ)義概念的數(shù)量比單個(gè)表情符號(hào)可以表示的數(shù)量多得多。這是一個(gè)強(qiáng)有力的概念，因?yàn)樗x予了Dango理解各種各樣的一般概念的方法，不管Unicode協(xié)會(huì)是否認(rèn)可。
Dango因此同樣可以推薦貼圖和GIF。上面已經(jīng)提到，Dango能夠理解滾出去：
它同樣可以為你推薦GIF：
深入了解
讓我們深入了解下它的工作原理。
一種樸素的推薦表情符號(hào)的方法（我們?cè)贒ango中首次嘗試的方法）可以直接將一些詞匯映射成類似如下的表情符號(hào)：
但是這種方法具有局限性，它并沒有反映表情符號(hào)（和語(yǔ)言）的實(shí)際使用情況。許多由詞匯組成的微妙組合不可能用簡(jiǎn)單的映射來(lái)描述。
為了處理這些情況，Dango使用了遞歸神經(jīng)網(wǎng)絡(luò)（RNN）。RNN是一種特別的神經(jīng)網(wǎng)絡(luò)架構(gòu)，非常適用于連續(xù)輸入，因此常常用于自然語(yǔ)言處理，語(yǔ)音處理和金融時(shí)間序列分析等領(lǐng)域。在這里我將快速過(guò)一遍什么是RNN，想更深入了解的話可以看看Andrej KarPathy的一篇很棒的概述。
RNN通過(guò)維護(hù)一個(gè)內(nèi)部狀態(tài)來(lái)處理順序輸入，一種記憶機(jī)制，使他們能夠跟蹤之前看到的數(shù)據(jù)。這對(duì)于區(qū)分我很開心的表情以及我不開心的表情很重要。
多個(gè)RNN也可以彼此堆疊：每層RNN接收輸入序列，然后將它轉(zhuǎn)換成一個(gè)新的，更抽象的表示，然后將它輸入給下一層的RNN，以此類推。這些網(wǎng)絡(luò)堆疊的越深，它們可以表示的功能種類越復(fù)雜。順便說(shuō)一句，這就是現(xiàn)在流行的“深度學(xué)習(xí)”由來(lái)。一些難題的重大突破部分是因?yàn)閱渭兊厥褂昧烁顚拥木W(wǎng)絡(luò)層堆疊。
Dango的神經(jīng)網(wǎng)絡(luò)最終輸出一個(gè)有上百個(gè)數(shù)字的列表。這個(gè)列表可以表示成高維度空間中的點(diǎn)，就像三個(gè)數(shù)字可以表示點(diǎn)在三維空間中的x,y,z坐標(biāo)值。
我們可以稱這種高維空間為語(yǔ)義空間，把它想象成一個(gè)多維的網(wǎng)格，不同的點(diǎn)表示不同的思想。在這個(gè)空間中，相似的思想靠的更近。深度學(xué)習(xí)先驅(qū)Geoff Hinton將這種空間稱為“思想向量”。Dango在訓(xùn)練過(guò)程中學(xué)習(xí)到的是，如何將自然語(yǔ)言語(yǔ)句和表情符號(hào)轉(zhuǎn)換為這種空間中單獨(dú)的向量。
所以，當(dāng)Dango接收到某一文本時(shí)，它將這個(gè)文本映射到這個(gè)語(yǔ)義空間中。為決定推薦哪些表情符號(hào)，它將每個(gè)表情符號(hào)的向量投射到這個(gè)語(yǔ)義向量上。投射是一項(xiàng)簡(jiǎn)單的操作，它會(huì)給出兩個(gè)向量相似度的度量。然后Dango推薦有最長(zhǎng)投影的那個(gè)表情符號(hào)——這些是與輸入文本意義最接近的表情符號(hào)。
可視化語(yǔ)義空間
對(duì)于那些通過(guò)視覺來(lái)思考的人來(lái)說(shuō)，這種空間隱喻是一個(gè)強(qiáng)大的工具，可以幫助我們通過(guò)直覺來(lái)了解和談?wù)撋窠?jīng)網(wǎng)絡(luò)。（在Whirlscape，我們非常沉迷于空間隱喻；看看我們?cè)缙诘囊黄P(guān)于Minuum鍵盤算法的文章）。
為幫助我們想象Dango的語(yǔ)義空間，我們可以使用一項(xiàng)可視化高維度空間的流行技術(shù)，叫做T分布隨機(jī)鄰近嵌入，簡(jiǎn)稱t-SNE。這種技術(shù)試圖將每個(gè)高維度點(diǎn)放置到二維空間中，并確保在原來(lái)空間中鄰近的點(diǎn)在二維空間中仍保持鄰近。雖然這個(gè)映射不完美，但是它仍然可以告訴我們很多信息。我們現(xiàn)在使用t-SNE來(lái)將表情符號(hào)在語(yǔ)義空間中可視化出來(lái)：
打開交互式地圖并探索
注意語(yǔ)義相似的表情符號(hào)是如何在這個(gè)空間中自動(dòng)聚集在一起的。例如，大多數(shù)臉部表情聚集在“臉部半島”區(qū)域。
高興的表情在一個(gè)區(qū)域：
憤怒的表情在另一個(gè)區(qū)域。
所有的心形表情都聚集在山峰右邊附近，我們稱之為“愛之頂點(diǎn)（Point Love）”。
再隨著尾巴往后看，你可以發(fā)現(xiàn)一些其他有趣的分組：籃球、橄欖球、排球、足球表情都相互靠近，帶有頭發(fā)的臉部表情符號(hào)與沒有頭發(fā)的臉部表情相互分離（這與他們是否想出門有關(guān)）。在右邊的盡頭處，你可以看到一些旗幟表情和一些冷門的表情，比如文件柜和快進(jìn)。
此外，Dango從來(lái)沒有明確的被告知臉部與心形，或啤酒，或農(nóng)村動(dòng)物有不同之處。Dango從互聯(lián)網(wǎng)上使用數(shù)以億計(jì)的現(xiàn)實(shí)世界表情使用樣例來(lái)訓(xùn)練模型，之后生成這種語(yǔ)義映射。那么我們這里說(shuō)的訓(xùn)練是什么意思呢？
在訓(xùn)練前，初始化一個(gè)神經(jīng)網(wǎng)絡(luò)；輸入一些或多或少的隨機(jī)值；本質(zhì)上是從清潔狀態(tài)開始。句子被隨機(jī)映射到語(yǔ)義空間，其中，表情符號(hào)是隨機(jī)分散的。
要訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)，我們定義一個(gè)目標(biāo)函數(shù)；這基本上是評(píng)估網(wǎng)絡(luò)對(duì)給定樣例性能的方式。目標(biāo)函數(shù)輸出一個(gè)分?jǐn)?shù)值，告訴我們Dango對(duì)樣例預(yù)測(cè)情況的好壞。分?jǐn)?shù)越小越好。然后我們使用一個(gè)非常簡(jiǎn)單的算法，叫做梯度下降。對(duì)于每個(gè)訓(xùn)練樣例，梯度下降在最能減小目標(biāo)函數(shù)的方向上，輕微地調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)中百萬(wàn)個(gè)參數(shù)的值。
在GPU上訓(xùn)練了幾天之后，目標(biāo)函數(shù)不能進(jìn)一步優(yōu)化了——Dango已經(jīng)訓(xùn)練完成，能夠派上用場(chǎng)了！
語(yǔ)言的未來(lái)
語(yǔ)言正在變得可視化。表情符號(hào)、貼圖以及GIF大受歡迎，盡管以高級(jí)的方式使用它們?nèi)孕枰罅縿趧?dòng)。表情愛好者為每一種情況創(chuàng)建了個(gè)人收藏圖像，并記住了表情符號(hào)鍵盤的每一頁(yè)，但我們其余的人依靠“最常用”菜單來(lái)立即使用表情符號(hào)，有時(shí)候是GIF。
這種可視化語(yǔ)言已經(jīng)與技術(shù)一起成熟了，并且這種共生關(guān)系還將繼續(xù)，新技術(shù)引發(fā)新語(yǔ)言，反過(guò)來(lái)，新語(yǔ)言催生新技術(shù)。未來(lái)的通信將會(huì)使用到人工智能工具，幫助你無(wú)縫對(duì)接圖像和文字，Dango為處在這方面的前沿而感到自豪。
希望你能從中獲得靈感，并和我們一樣，將你的語(yǔ)句投射在語(yǔ)義空間的某處，被上百個(gè)表情符號(hào)包圍。也許你開始玩轉(zhuǎn)自己的神經(jīng)網(wǎng)絡(luò)。請(qǐng)讓我們知曉！
最后，請(qǐng)?jiān)囋囄覀兊腄ango并給予反饋。每當(dāng)你琢磨著：我應(yīng)該使用什么表情？Dango將會(huì)給你答案。
