自然語(yǔ)言處理，又稱 NLP（Natural language processing），是目前以及未來(lái) AI 領(lǐng)域最重要的基礎(chǔ)技術(shù)之一，主要是在機(jī)器學(xué)習(xí)的基礎(chǔ)上結(jié)合語(yǔ)言學(xué)和統(tǒng)計(jì)學(xué)在自動(dòng)化服務(wù)中對(duì)語(yǔ)言進(jìn)行建模。說的直白一點(diǎn)，NLP 就是關(guān)于人和機(jī)器如何互相理解、機(jī)器如何更懂人類的關(guān)鍵。
作為目前 AI 最主要的兩個(gè)分支領(lǐng)域，NLP（自然語(yǔ)言處理）和 Computer Vision（計(jì)算機(jī)視覺）分別代表了人類嘗試讓機(jī)器理解世界的兩個(gè)緯度，也是目前人工智能領(lǐng)域發(fā)展最快的兩個(gè)分支。伴隨國(guó)內(nèi)外各家智能音箱和語(yǔ)音助手的出現(xiàn)，NLP 一時(shí)間成了眾多科技巨頭正面交鋒的 AI 主戰(zhàn)場(chǎng)。
自然語(yǔ)言處理到底如何一路走來(lái)、最終又將會(huì)讓機(jī)器和人之間的關(guān)系走向哪？作為在 NLP 領(lǐng)域投資最多的公司，Google 或許是最有發(fā)言權(quán)的。
消除語(yǔ)言障礙，Google NLP 的第一個(gè)任務(wù)
在 Google 的概念中，語(yǔ)言不應(yīng)該是人類溝通的障礙，更不應(yīng)該是使用網(wǎng)絡(luò)的阻礙。
Google 研究項(xiàng)目總監(jiān) Linne Ha 告訴極客公園，Google 的使命在于匯總?cè)澜绲男畔⒉⑹蛊淠軌虮黄毡楂@取和使用，而破除語(yǔ)言障礙就成了其中的關(guān)鍵。消除語(yǔ)言造成的隔閡，這些年來(lái)始終是 Google NLP 團(tuán)隊(duì)的主要任務(wù)之一。這種消除并不止停留在翻譯層面，語(yǔ)言處理（文本分析、生成、對(duì)話等）、音頻處理、手寫識(shí)別等都是 Google 正在著眼解決的問題。
目前世界上有 6000 種語(yǔ)言，這其中超過 100 萬(wàn)人使用的語(yǔ)言就有 400 種，還有很多小眾的方言。但現(xiàn)在的互聯(lián)網(wǎng)主導(dǎo)語(yǔ)言依然是英語(yǔ)，全世界大約 50% 的網(wǎng)絡(luò)內(nèi)容都是英文的。讓全世界的人都能成為互聯(lián)網(wǎng)的受益者，不被語(yǔ)言的差異所阻礙，這正是 Google Bringing Everyone Online 計(jì)劃的偉大設(shè)想。
「統(tǒng)一碼」和「不要豆腐」字體，它們是 Google 完成這件事的第一步。
Unicode（統(tǒng)一碼）是計(jì)算機(jī)的標(biāo)準(zhǔn)字符編碼，它為每種語(yǔ)言中的每個(gè)字符設(shè)定了統(tǒng)一并且唯一的二進(jìn)制編碼，以滿足跨語(yǔ)言、跨平臺(tái)進(jìn)行文本轉(zhuǎn)換、處理的要求，谷歌一種都在鼓勵(lì)更多的國(guó)家和地區(qū)放棄使用非 Unicode 的字體。
除此之外，很多時(shí)候當(dāng)電腦和手機(jī)等設(shè)備在對(duì)文本進(jìn)行渲染，如果設(shè)備上沒有相應(yīng)的字體，就會(huì)出現(xiàn)空白方塊字符，這些方塊看起來(lái)就像豆腐一樣。針對(duì)這種情況，Google 開發(fā)了一款叫做 Noto 的字體（Noto 就是 No Tofu 的縮寫），它幾乎兼容所有語(yǔ)言，并且提供統(tǒng)一的風(fēng)格，以此來(lái)消除文字在不同設(shè)備上渲染出現(xiàn)的空白方塊（Tofu）。
?。▓D片來(lái)源：techtolead）
當(dāng)呈現(xiàn)方式的障礙消除之后，信息的輸入就成了下一個(gè)需要解決的問題。而機(jī)器學(xué)習(xí)的介入，開始讓人與機(jī)器之間的信息交互方式發(fā)生了變化。
手寫和語(yǔ)音是谷歌在鍵盤之外賦予機(jī)器的信息接收方式，這個(gè)在普通用戶看起來(lái)順其自然的演進(jìn)，背后其實(shí)是一個(gè)不小的工程。
不管是手寫還是語(yǔ)音，共同存在的一個(gè)問題是個(gè)體差異。很多時(shí)候，就算是同一種文字、同一種語(yǔ)言，也會(huì)因?yàn)椴煌娜硕鴰喜煌目谝艉筒煌墓P跡。面對(duì)這個(gè)問題，Google NLP 收集了大量書寫樣本和語(yǔ)音樣本，并利用機(jī)器學(xué)習(xí)從這些樣本中學(xué)習(xí)去辨認(rèn)筆跡和口音。
早在十年之前 Google 就有了語(yǔ)音搜索的設(shè)想，并且在 2007 年 Google 想出了通過提供 GOOG-411（Google Voice Local Search） 的服務(wù)來(lái)收集數(shù)據(jù)。這個(gè)全自動(dòng)的語(yǔ)音識(shí)別搜索服務(wù)很受歡迎，也很快幫助 Google 根據(jù)這些詢問的語(yǔ)音建立了一個(gè)大型數(shù)據(jù)庫(kù)。經(jīng)過這些高質(zhì)量的語(yǔ)音搜索數(shù)據(jù)訓(xùn)練，一年之后，語(yǔ)音搜索就足以在智能手機(jī)上啟動(dòng)了。
之后 Google 又通過在世界各地的大量采集，擴(kuò)展了 50 種其他語(yǔ)言的語(yǔ)音搜索能力，讓全世界數(shù)百萬(wàn)人可以以更低的門檻使用上互聯(lián)網(wǎng)。
神經(jīng)網(wǎng)絡(luò)，NLP 的躍遷籌碼
DNN（深度神經(jīng)網(wǎng)絡(luò)）的加入，讓 Google 的語(yǔ)音交互技術(shù)上升到了一個(gè)全新的高度。
2012 年 Google 正式開始運(yùn)用深度神經(jīng)網(wǎng)絡(luò)，這項(xiàng)技術(shù)在一開始就讓語(yǔ)音識(shí)別能力提高了約 25％，且之后 Google 不斷在優(yōu)化算法，讓這種識(shí)別率的提升效果始終保持著強(qiáng)勁的增長(zhǎng)。同時(shí)，機(jī)器學(xué)習(xí)的能力提升也讓 Google NLP 的能力有了大幅度的提升，能夠更好的理解人類的句子。
目前，Google 通過這些技術(shù)提供了 30 多種語(yǔ)言的語(yǔ)音輸入支持，涵蓋超過十億人。其中個(gè)一典型的使用場(chǎng)景就是的 Gboard 輸入法和 Google 語(yǔ)音搜索，這些 App 提供了 119 種語(yǔ)言的支持，包括 11 種印度語(yǔ)，3 種印度尼西亞語(yǔ)，甚至包含了 2 種非洲最重要的語(yǔ)言——斯瓦希里語(yǔ)和阿姆哈拉語(yǔ)。
Google 的團(tuán)隊(duì)從多年的數(shù)據(jù)收集中得出了一套高效低成本的方案，通過和同一地方的人用多語(yǔ)言進(jìn)行溝通，用更少的數(shù)據(jù)建立了更好的語(yǔ)言模型。
在解決了基本的溝通問題之后，Google NLP 也開始在更多領(lǐng)域釋放自身價(jià)值，其中最典型的兩個(gè)場(chǎng)景就是翻譯和 AI 語(yǔ)音助手。
谷歌在 2016 年 9 月正式推出了整合神經(jīng)網(wǎng)絡(luò)的翻譯工具——GNMT（Google Neural Machine Translation）谷歌神經(jīng)機(jī)器翻譯系統(tǒng)，這一翻譯技術(shù)的運(yùn)用正是 Google 在 NLP 領(lǐng)域技術(shù)演進(jìn)的一次直觀體現(xiàn)。這種將整個(gè)句子視作翻譯單元的方式，對(duì)句子中的每一部分進(jìn)行帶有邏輯的關(guān)聯(lián)翻譯，翻譯每一個(gè)字或單詞時(shí)都包含著整句話的邏輯。
在專訪中 Linne Ha 也告訴極客公園，NMT 對(duì)于 SMT 更多是一種互補(bǔ)的關(guān)系，并沒有絕對(duì)的優(yōu)劣之分，他們各自在不同的情況下有著各自的優(yōu)勢(shì)。NMT 的出現(xiàn)彌補(bǔ)了之前 SMT 能力無(wú)法覆蓋的長(zhǎng)句翻譯和復(fù)雜邏輯翻譯等問題。
智能語(yǔ)音助手 Google Assistant 則是 Google NLP 技術(shù)目前最核心重要的運(yùn)用。早在 2012 年的安卓 4.1 和 Nexus 手機(jī)上谷歌的智能語(yǔ)音助手就以 Google Now 的形式和用戶見過面了。
當(dāng)時(shí)的 Google Now 正是使用 NLP 技術(shù)完成與用戶交互，而后通過 Web 服務(wù)來(lái)進(jìn)行問答、提供建議、完成服務(wù)等動(dòng)作。而從 2016 年開始，具有更強(qiáng)大 NLP 處理能力的 Google Assistant 就開始逐步取代 Google Now，幫助用戶在手機(jī)上完成更復(fù)雜的語(yǔ)音交互指令。
Google NLP 技術(shù)水平直接影響著 Google Assistant 的能力范圍，所以當(dāng) NLP 技術(shù)通過機(jī)器學(xué)習(xí)在長(zhǎng)期的語(yǔ)音輸入、語(yǔ)音搜索訓(xùn)練和積累后，逐漸能夠掌握對(duì)話能力，而不再只是單純的簡(jiǎn)單指令處理能力。
這時(shí)的 Google Assistant 也開始變得越來(lái)越全能，它能夠從對(duì)話中學(xué)習(xí)積累對(duì)自然語(yǔ)言的語(yǔ)意、邏輯的理解能力，并不斷優(yōu)化。
NLP 的機(jī)遇和挑戰(zhàn)
NLP 或許不會(huì)有一個(gè)確切的盡頭，因?yàn)樽匀徽Z(yǔ)言始終都在演變，而自然語(yǔ)言處理技術(shù)需要不斷去適應(yīng)這種變化。
雖然目前的 NLP 技術(shù)無(wú)論是在算法還是數(shù)據(jù)結(jié)構(gòu)上都還沒有達(dá)到極限，但限制它的可能并不是只是算法和數(shù)據(jù)，而是無(wú)法預(yù)測(cè)的語(yǔ)言習(xí)慣的變遷，以及不斷出現(xiàn)的新詞匯，以及舊詞匯的新用法。在專訪中 Linne Ha 也告訴極客公園，目前的 NLP 最大的挑戰(zhàn)在于如何運(yùn)用運(yùn)用算法，更快的從有限數(shù)據(jù)中學(xué)習(xí)和適應(yīng)語(yǔ)言習(xí)慣的新變化，并及時(shí)做出調(diào)整。
同樣的，機(jī)器翻譯也絕不會(huì)完全取代人類，因?yàn)槌苏Z(yǔ)言動(dòng)態(tài)變化的影響，數(shù)據(jù)量和算法同樣是需要解決的問題。目前能夠被利用的數(shù)據(jù)的規(guī)模相較于整個(gè)人類文明的語(yǔ)言儲(chǔ)備來(lái)說實(shí)在太小，即使是 Google 也依舊面臨相同的問題；同時(shí)，即使有朝一日真的擁有了整個(gè)人類文明的語(yǔ)言知識(shí)庫(kù)，現(xiàn)有的算法和計(jì)算能力也難以完成如此龐大的數(shù)據(jù)訓(xùn)練。
所以，將來(lái) NLP 可能并不一定能夠想一個(gè)真實(shí)的人一樣和我們進(jìn)行對(duì)話，最終它或許更可能扮演一種高級(jí)輔助的角色，成為我們語(yǔ)言體系的一部分。
不過，NLP 在未來(lái)卻有可能也會(huì)對(duì)人類的語(yǔ)言習(xí)慣產(chǎn)生一些影響，比如多語(yǔ)言的使用習(xí)慣，一個(gè)人可能會(huì)擁有正式和非正式兩種語(yǔ)言習(xí)慣。
而當(dāng)極客公園問到如今的新興創(chuàng)業(yè)公司在 NLP 領(lǐng)域還有哪些機(jī)會(huì)時(shí)，Linne 毫不猶豫的說出了「Assistant」，在她看來(lái)，現(xiàn)在語(yǔ)音智能助手的市場(chǎng)有太多太多未被填補(bǔ)的空白場(chǎng)景。
另一個(gè)機(jī)會(huì)則隱藏在像廣東話這樣的特殊語(yǔ)言中，這些語(yǔ)言中存在很多無(wú)法被轉(zhuǎn)化為書面文字的口頭語(yǔ)，這類口頭語(yǔ)對(duì)于需要先將語(yǔ)音轉(zhuǎn)化為文字，從而學(xué)習(xí)并理解的 NLP 技術(shù)來(lái)說是一個(gè)亟待解決的關(guān)鍵問題。所以，NLP 未來(lái)的機(jī)會(huì)很可能就隱藏在「beyond text」（超越文本）的語(yǔ)言學(xué)習(xí)技術(shù)上。
總體而言，語(yǔ)言是使互聯(lián)網(wǎng)更具包容性的關(guān)鍵所在。而語(yǔ)言對(duì)于下一個(gè)無(wú)所不在的計(jì)算時(shí)代是至關(guān)重要，為了讓我們真正處于未來(lái)時(shí)代的數(shù)據(jù)環(huán)境中，我們需要能夠自然地與計(jì)算機(jī)交談，讓計(jì)算機(jī)了解我們。而這不應(yīng)該只是使用英語(yǔ)的少數(shù)人的特權(quán)，而是所有人都應(yīng)該享有的人工智能時(shí)代的福利。
而讓機(jī)器更好的做到這一點(diǎn)，正是 Google NLP 的目標(biāo)和使命。
