IT之家5月31日消息,在2023年中關(guān)村論壇人工智能大模型發(fā)展論壇中,北京智源人工智能研究院推出了旗下通用分割模型SegGPT(Segment Everything In Contex)。

▲圖源Arxiv

▲圖源Arxiv
據(jù)稱,SegGPT模型是智源通用視覺模型Painter的衍生模型,具備上下文推理能力,在訓(xùn)練完成后只需要提供示例即可推理并完成對應(yīng)分割任務(wù),包括圖像和視頻中的實例、類別、零部件、輪廓、文本、人臉、醫(yī)學(xué)圖像等,都可以利用視覺提示詞(prompt)完成分割任務(wù)。
SegGPT也擁有支持任意數(shù)量視覺提示的推理能力。能夠以第一幀圖像和對應(yīng)的物體掩碼作為上下文示例進行自動視頻分割,并且可以用掩碼的顏色作為物體的ID,進行自動追蹤。
IT之家經(jīng)過查詢知悉,此前meta也發(fā)布了其基于AI的Segment Anything Model(SAM)模型,具有識別和分離圖像和視頻中特定對象的能力。而威斯康辛麥迪遜、微軟、港科大等機構(gòu)的研究人員也推出SEEM模型,通過不同的視覺提示和語言提示,一鍵分割圖像、視頻。IT之家的小伙伴們可以從這里訪問模型的論文鏈接。