IT之家5月9日消息，meta公司發(fā)布了一個(gè)新的開(kāi)源人工智能模型ImageBind，該模型能夠?qū)⒍喾N數(shù)據(jù)流，包括文本、音頻、視覺(jué)數(shù)據(jù)、溫度和運(yùn)動(dòng)讀數(shù)等整合在一起。該模型目前只是一個(gè)研究項(xiàng)目，還沒(méi)有直接的消費(fèi)者或?qū)嶋H應(yīng)用，但它展示了未來(lái)生成式人工智能系統(tǒng)的可能性，這些系統(tǒng)能夠創(chuàng)造出沉浸式、多感官的體驗(yàn)。同時(shí)，該模型也表明了meta公司在人工智能研究領(lǐng)域的開(kāi)放態(tài)度，而其競(jìng)爭(zhēng)對(duì)手如OpenAI和谷歌則變得越來(lái)越封閉。
該研究的核心概念是將多種類型的數(shù)據(jù)整合到一個(gè)多維索引（或用人工智能術(shù)語(yǔ)來(lái)說(shuō)，“嵌入空間”）中。這個(gè)概念可能有些抽象，但它正是近期生成式人工智能熱潮的基礎(chǔ)。例如，人工智能圖像生成器，如DALL-E、Stable Diffusion和Midjourney等，都依賴于在訓(xùn)練階段將文本和圖像聯(lián)系在一起的系統(tǒng)。它們?cè)趯ふ乙曈X(jué)數(shù)據(jù)中的模式的同時(shí)，將這些信息與圖像的描述相連。這就是為什么這些系統(tǒng)能夠根據(jù)用戶的文本輸入生成圖片。同樣的道理也適用于許多能夠以同樣方式生成視頻或音頻的人工智能工具。
meta公司稱，其模型ImageBind是第一個(gè)將六種類型的數(shù)據(jù)整合到一個(gè)嵌入空間中的模型。這六種類型的數(shù)據(jù)包括：視覺(jué)（包括圖像和視頻）；熱力（紅外圖像）；文本；音頻；深度信息；以及最有趣的一種——由慣性測(cè)量單元（IMU）產(chǎn)生的運(yùn)動(dòng)讀數(shù)。（IMU存在于手機(jī)和智能手表中，用于執(zhí)行各種任務(wù)，從手機(jī)從橫屏切換到豎屏，到區(qū)分不同類型的運(yùn)動(dòng)。）
未來(lái)的人工智能系統(tǒng)將能夠像當(dāng)前針對(duì)文本輸入的系統(tǒng)一樣，交叉引用這些數(shù)據(jù)。例如，想象一下一個(gè)未來(lái)的虛擬現(xiàn)實(shí)設(shè)備，它不僅能夠生成音頻和視覺(jué)輸入，還能夠生成你所處的環(huán)境和物理站臺(tái)的運(yùn)動(dòng)。你可以要求它模擬一次漫長(zhǎng)的海上旅行，它不僅會(huì)讓你置身于一艘船上，并且有海浪的聲音作為背景，還會(huì)讓你感受到甲板在腳下?lián)u晃和海風(fēng)吹拂。
meta公司在博客文章中指出，未來(lái)的模型還可以添加其他感官輸入流，包括“觸覺(jué)、語(yǔ)音、氣味和大腦功能磁共振成像信號(hào)”。該公司還聲稱，這項(xiàng)研究“讓機(jī)器更接近于人類同時(shí)、全面、直接地從多種不同的信息形式中學(xué)習(xí)的能力。”
當(dāng)然，這很多都是基于預(yù)測(cè)的，而且很可能這項(xiàng)研究的直接應(yīng)用會(huì)非常有限。例如，去年，meta公司展示了一個(gè)人工智能模型，能夠根據(jù)文本描述生成短而模糊的視頻。像ImageBind這樣的研究顯示了未來(lái)版本的系統(tǒng)如何能夠整合其他數(shù)據(jù)流，例如生成與視頻輸出匹配的音頻。
對(duì)于行業(yè)觀察者來(lái)說(shuō)，這項(xiàng)研究也很有趣，因?yàn)镮T之家注意到meta公司是開(kāi)源了底層模型的，這在人工智能領(lǐng)域是一個(gè)越來(lái)越受到關(guān)注的做法。
