相信很多讀者都從各種長短視頻平臺上學(xué)到過一些有用的動(dòng)手技能，比如烹飪、維修、美妝等等。這些可能是點(diǎn)滴小事，但是做得好的話可以切實(shí)地提升生活質(zhì)量。
圖|李健楠（來源：李健楠）
另外，動(dòng)手技能的培訓(xùn)在很多職業(yè)的發(fā)展中也非常重要，例如在制造、護(hù)理、物理治療這些行業(yè)中，操作技能的高低與服務(wù)質(zhì)量和生產(chǎn)質(zhì)量息息相關(guān)。
傳統(tǒng)的動(dòng)手技能培訓(xùn)采用面對面教學(xué)的方式，受到時(shí)間空間上的諸多限制。通過視頻進(jìn)行教學(xué)可以突破這些限制，讓更多人受益。
但是，如果大家有做教學(xué)視頻的經(jīng)驗(yàn)的話，會(huì)發(fā)現(xiàn)這是一個(gè)非常繁冗的工作。僅僅是調(diào)整攝影機(jī)、尋找好的攝影機(jī)角度這一部分，就可能需要多輪反復(fù)。
因此，加拿大多倫多大學(xué)李健楠和所在團(tuán)隊(duì)希望通過智能機(jī)器人操作攝影機(jī)，減少視頻制作者的負(fù)擔(dān)。從交互研究的層面，這項(xiàng)研究希望探索機(jī)器人如何通過人類隱性的溝通信號，來理解人的意圖從而提高人與機(jī)器人合作的質(zhì)量。
圖|李健楠（來源：李健楠）
談到人和機(jī)器人的合作，大家更熟悉的還是一些顯性的溝通方式，比如通過代碼、圖形界面、或者自然語言，直接命令機(jī)器人去完成一項(xiàng)任務(wù)。
但是在緊耦合的合作中，比如由機(jī)器人拍攝人的表演，或者人與機(jī)器人一起組裝一個(gè)設(shè)備時(shí)，這類溝通方式對人類會(huì)產(chǎn)生負(fù)擔(dān)，因?yàn)槲覀儽仨殨簳r(shí)從手頭工作中抽離才能發(fā)出這些命令。
在視頻拍攝的情景之下，講解者在給觀眾示范動(dòng)手技能的同時(shí)，還要給機(jī)器人下命令，那講解的過程就可能會(huì)變得支離破碎。
人類在合作和溝通方面，其實(shí)有很多細(xì)微的技巧。在合作中，我們不光會(huì)關(guān)注對方的顯性命令和建議，還會(huì)關(guān)注種種隱性的信號，比如對方身體的朝向、手勢，還有和其他人的對話，以此理解對方的目標(biāo)。
因此，李健楠所在團(tuán)隊(duì)希望探索能否讓機(jī)器人也擁有這種能力，從而減少人類在與機(jī)器人合作時(shí)在溝通上的體力腦力資源。
具體在視頻拍攝中，讓機(jī)器人關(guān)注講解者和觀眾的溝通信號，以此決定攝影機(jī)的位置和角度等參數(shù)。
事實(shí)上，當(dāng)今市場上已經(jīng)有云臺和無人機(jī)等攝影機(jī)器人。隨著機(jī)器人成本的降低和感知能力的提高，相信今后會(huì)有更多專門面向個(gè)人和小型工作室的消費(fèi)級攝影機(jī)器人。但是，現(xiàn)在的攝影機(jī)器人依舊非常依賴人給出明確的指令，無法很好地應(yīng)對變化的場景。因此，李健楠希望這項(xiàng)研究可以啟發(fā)攝影機(jī)器人的交互設(shè)計(jì)，讓它們?nèi)ブ鲃?dòng)理解人類的意圖。
據(jù)介紹，李健楠一直關(guān)注如何通過機(jī)器人攝影，去提高動(dòng)手技能教學(xué)的體驗(yàn)。而關(guān)于本次研究的想法，則起源于他的上一個(gè)項(xiàng)目。
在上一個(gè)項(xiàng)目中，他和同事采用觀眾和講解者共同控制的機(jī)器人集群去拍攝教學(xué)視頻。實(shí)驗(yàn)中，他們發(fā)現(xiàn)該方法的一個(gè)局限在于，觀眾和講解者還是要為控制機(jī)器人而分心，導(dǎo)致教學(xué)體驗(yàn)受到影響。
因此，他們希望可以減少這些負(fù)擔(dān)。但是，視頻攝制涉及理解環(huán)境和視頻內(nèi)容走向，如果沒有任何用戶輸入的話，依舊很難交給機(jī)器人進(jìn)行自動(dòng)執(zhí)行。
在本次研究的前期，李健楠等人主要思考的是：如何能讓拍攝者快速制作分鏡頭腳本（故事板），然后輸入給機(jī)器人。
之后，他們意識到很多業(yè)余型內(nèi)容創(chuàng)作者并沒有能力、精力、或意愿去制做故事板，而且在講解過程中會(huì)有一些自由發(fā)揮的部分。
所以這個(gè)項(xiàng)目在初期停滯了很久，大家一直在構(gòu)思如何簡化故事板，但是不太順利。后來受到一些文獻(xiàn)的啟發(fā)，他們決定關(guān)注讓機(jī)器人理解人和人的溝通過程，也就是理解講解者和觀眾交流中的信號比如姿態(tài)、手勢和語言，從而來控制機(jī)器人的行為。
為此，他們研究了動(dòng)手技能教學(xué)視頻的內(nèi)容，去了解創(chuàng)作者想要的攝影主體、角度等參數(shù)，之后選擇了一系列可以與這些攝影機(jī)參數(shù)結(jié)合的溝通信號。在這之后，他們邀請擁有視頻拍攝經(jīng)驗(yàn)的用戶參與試用和改善設(shè)計(jì)。
目前，相關(guān)論文以《觀星者：基于講解者微妙信號攝制教學(xué)視頻的交互式相機(jī)機(jī)器人》（Stargazer:An Interactive Camera Robot for Capturing How-To Videos based on Subtle Instructor Cues）為題發(fā)在人機(jī)交互頂級會(huì)議ACM CHI 2023[1]上。論文也可見于預(yù)印本平臺arXiv[2]。
此外，李健楠表示：“我感興趣的一個(gè)方向是拓展機(jī)器人可以理解的溝通信號。目前，這款系統(tǒng)能夠理解的信號種類和內(nèi)容還是有所局限，會(huì)對創(chuàng)作者的發(fā)揮造成限制。希望可以結(jié)合人工智能特別是大模型，來拓展機(jī)器人可以理解的信號范圍。”
另據(jù)悉，2023年七月李健楠即將入職新加坡管理大學(xué)計(jì)算與信息系統(tǒng)學(xué)院擔(dān)任助理教授。今后，他會(huì)繼續(xù)推進(jìn)人和機(jī)器人交互的研究，專注于運(yùn)用人工智能以及交互設(shè)計(jì)的方法，幫助機(jī)器人從隱性的信號解讀人的意圖，提高人與AI合作的成效。
另外，他也計(jì)劃將這類方法推廣到更多的智能系統(tǒng)問題中，比如增強(qiáng)現(xiàn)實(shí)環(huán)境，讓智能系統(tǒng)更好地理解用戶的愿望和偏好，在無需用戶輸入的情況下，為用戶提供及時(shí)且有效的支持。
其最后表示：“新加坡管理大學(xué)有一個(gè)實(shí)力強(qiáng)勁的人機(jī)交互研究中心，教授們的研究方向除了人與機(jī)器人交互外，還涉及到數(shù)據(jù)可視化、無障礙計(jì)算、以及空間計(jì)算等方向。我現(xiàn)在正招收2024年入學(xué)的博士生，以及2023年下半年即可入職的研究助理。期待有興趣的同學(xué)可以加入我們。”
