谷歌、百度、微軟、Facebook、阿里……我們介紹過很多中美在人工智能領(lǐng)域技術(shù)和商業(yè)化方面的進(jìn)展，包括印度、以色列等等地區(qū)也出現(xiàn)過不少創(chuàng)業(yè)團(tuán)隊(duì)。
可這里面似乎沒有戰(zhàn)斗民族俄羅斯什么事。按理說，俄羅斯有在冷戰(zhàn)時(shí)代遺留下來的大量科技人才儲(chǔ)備，國(guó)家對(duì)數(shù)學(xué)、計(jì)算機(jī)等學(xué)科的基礎(chǔ)教育也足夠重視，強(qiáng)大的黑客團(tuán)隊(duì)展示了俄羅斯人資技術(shù)上能達(dá)到的種種可能。而且天寒地凍的氣候，好像也挺適合在家宅著擼代碼的。
放眼俄羅斯、甚至整個(gè)東歐地區(qū)，在人工智能領(lǐng)域最活躍的可能就是Yandex了。
Yandex：把搜索引擎當(dāng)做技術(shù)發(fā)展的根本
Yandex是誰(shuí)？大多數(shù)人第一反應(yīng)是俄羅斯的“百度”。
沒錯(cuò)，在1990年，來自莫斯科大學(xué)的兩位校友阿卡季·弗洛日和阿卡季·勃可夫斯基共同創(chuàng)建了俄羅斯自己的搜索引擎Yandex。“Yandex”一詞俄語(yǔ)含義是“Языковой index”（語(yǔ)言索引），是英語(yǔ)單詞“Yet Another indexer”的縮寫。意味“另一種搜索引擎”。從名字就能感受到兩位創(chuàng)始人對(duì)英語(yǔ)世界的反抗。
建立了搜索引擎后，Yandex逐漸開始發(fā)展為一家全能型的互聯(lián)網(wǎng)公司：建立門戶網(wǎng)站、創(chuàng)立電商平臺(tái)、與聯(lián)邦儲(chǔ)蓄銀行Sberbank合作推廣線上支付、代理來自中國(guó)的4399小游戲、推出打車平臺(tái)……基本你能想到的風(fēng)口，Yandex都沒錯(cuò)過。
和谷歌、百度一樣，搜索引擎成了Yandex收集語(yǔ)料數(shù)據(jù)、著手機(jī)器學(xué)習(xí)技術(shù)發(fā)展的根本。
戰(zhàn)斗民族在人工智能上發(fā)展如何？
Yandex在機(jī)器學(xué)習(xí)方面都做了什么？
首先，是時(shí)下最火的無(wú)人駕駛。據(jù)稱Yandex正在著手研發(fā)無(wú)人駕駛需要的計(jì)算機(jī)視覺、語(yǔ)音識(shí)別等等相關(guān)的技術(shù)。目前Yandex選擇了豐田普銳斯作為原型車，加上英偉達(dá)的芯片、Velodyne的雷達(dá)傳感器，目標(biāo)向L5級(jí)的無(wú)人駕駛沖擊。
幾個(gè)月以前，Yandex還曬出了旗下無(wú)人駕駛車的場(chǎng)地測(cè)試視頻，視頻中無(wú)人車的表現(xiàn)中規(guī)中矩，雖然實(shí)現(xiàn)了在無(wú)人控制的情況下緩慢駕駛，但也會(huì)有難以越過障礙、躲避行人不及時(shí)等情況。
Yandex為自己定下了目標(biāo)，明年要讓豐田普銳斯上公共道路測(cè)試，同時(shí)還和卡車制造商Kamaz、Daimler達(dá)成合作，計(jì)劃推出無(wú)人駕駛的迷你公交車。坦白講，Yandex對(duì)于自身無(wú)人駕駛技術(shù)的披露相當(dāng)少，俄羅斯本土是否有無(wú)人駕駛必備的高精地圖也不得而知，俄羅斯的無(wú)人駕駛究竟會(huì)發(fā)展成什么樣，目前很難下個(gè)定論。
除了無(wú)人駕駛，Yandex還“有樣學(xué)樣”的推出了語(yǔ)音助手Alice，以此展示自己的語(yǔ)音識(shí)別技術(shù)。和Siri、谷歌語(yǔ)音助手一樣，Alice可以幫助用戶連接出行、購(gòu)物、支付、新聞、音樂等等服務(wù)。
Yandex還給Alice加上了基于神經(jīng)網(wǎng)絡(luò)的聊天引擎，讓Alice可以在社交網(wǎng)絡(luò)上學(xué)習(xí)他人的言論，這一技術(shù)的確較為先進(jìn)。在測(cè)試中，Alice甚至還學(xué)會(huì)了一些政治、暴力方面的不當(dāng)言論，不過在問題曝光后，這些言論很快被技術(shù)和諧了。
除了這些以外，Yandex還開源了機(jī)器學(xué)習(xí)框架Catboost、推出了深度神經(jīng)網(wǎng)絡(luò)搜索引擎等等。
分詞技術(shù)：本土搜索引擎的神器
我們想了解到的是，Yandex是如何戰(zhàn)勝谷歌搜索，還在自然語(yǔ)言方面取得了相對(duì)前沿的進(jìn)展。答案或許是因?yàn)閅andex獨(dú)有的分詞技術(shù)。
所謂分詞技術(shù)，其實(shí)是中文搜索引擎中的技術(shù)。即搜索引擎針對(duì)用戶提交查詢的關(guān)鍵詞串進(jìn)行的查詢處理后根據(jù)用戶的關(guān)鍵詞串用各種匹配方法進(jìn)行分詞的一種技術(shù)。
比如在搜索引擎中搜“不知道你在說什么”，就可能分成“不，知道，你，在，說什么”和“不知道，你，在，說什么”等等很多種分法，再到數(shù)據(jù)庫(kù)中進(jìn)行索引。
如何確定分詞的方式有很多種，比如正向最大匹配法，按照中文閱讀習(xí)慣，從左向右分詞；又比如最短路徑分詞法，把一段話切出的詞數(shù)最少等等。這些只是比較傳統(tǒng)的方法，現(xiàn)在還可以利用NLP技術(shù)，從語(yǔ)義理解上進(jìn)行分詞；利用鄰近算法，看哪些相鄰字符出現(xiàn)的頻率最多，就按照這樣的方式進(jìn)行分詞。
如何戰(zhàn)勝谷歌？語(yǔ)言壁壘是關(guān)鍵
同樣的概念，在Yandex的搜索引擎技術(shù)中也存在，只不過不叫分詞技術(shù)，叫“морфология”這個(gè)詞可以被理解為“詞形”。
這就要談到了俄語(yǔ)這門語(yǔ)言的特殊性，和中文、英語(yǔ)不同，俄語(yǔ)中詞與詞之間的關(guān)系通常用詞形變化表示，于是，同一個(gè)名詞可以有12個(gè)形式，形容詞甚至能達(dá)到20、30個(gè)形式……所以，俄語(yǔ)中會(huì)有動(dòng)名詞、形名詞這些奇怪的東西。
于是，因?yàn)槎碚Z(yǔ)的特性，在搜索中非常容易引起歧義，對(duì)搜索的精度要求也更高。比如машиностроительный這個(gè)詞，在俄語(yǔ)中意為“機(jī)械的”。在谷歌搜索中，可以找到與之完全匹配的網(wǎng)頁(yè)，卻很難找到有關(guān)機(jī)械形容詞剩下的二十多個(gè)詞形變化的網(wǎng)頁(yè)。
而Yandex搜索引擎技術(shù)擅長(zhǎng)的，恰恰就是關(guān)鍵詞的多義分析和查找。也形成了一些Yandex獨(dú)有的搜索方式，比如加上“”即可只搜索指定單詞，不搜索變形詞，也利用指令只搜索形容詞形態(tài)、動(dòng)詞形態(tài)等等。
俄語(yǔ)屬于斯拉夫語(yǔ)族內(nèi)的東斯拉夫語(yǔ)支，也就是說白俄羅斯語(yǔ)、烏克蘭語(yǔ)甚至捷克、波蘭等等地方的語(yǔ)言都會(huì)都類似的語(yǔ)法形態(tài)。而Yandex的分詞技術(shù)在這些語(yǔ)言中的表現(xiàn)也很出色。
憑借著語(yǔ)言優(yōu)勢(shì)上的獨(dú)有技術(shù)，Yandex戰(zhàn)勝了谷歌成為了俄羅斯本土最大的搜索引擎。而大量用戶使用累積的數(shù)據(jù)，更讓Yandex可以發(fā)展機(jī)器學(xué)習(xí)技術(shù)對(duì)算法進(jìn)行進(jìn)一步優(yōu)化。放到整個(gè)NLP技術(shù)里也是一樣，難怪Yandex可以在語(yǔ)音識(shí)別上獲得不小的進(jìn)展。
機(jī)器學(xué)習(xí)給了這個(gè)世界一個(gè)相對(duì)平等的機(jī)會(huì)，就算技術(shù)、資金相對(duì)落后，語(yǔ)言上的優(yōu)勢(shì)仍然可以樹立起壁壘，更別提語(yǔ)料數(shù)據(jù)這一寶貴的數(shù)據(jù)。有Yandex的案例在先，是不是意味著那些基于泰語(yǔ)、印度語(yǔ)、阿拉伯語(yǔ)等等小語(yǔ)種的搜索引擎，也會(huì)在人工智能領(lǐng)域有著獨(dú)有的優(yōu)勢(shì)？
看來除了中美之外，我們還可以把眼光放到更遠(yuǎn)的地方。
