Meta發(fā)布Sapiens視覺(jué)模型，讓 AI 分析和理解圖片/視頻中人類(lèi)動(dòng)作

IT之家 8 月 24 日消息，Meta Reality 實(shí)驗室最新推出了名為 Sapiens 的 AI 視覺(jué)模型，適用于二維姿勢預估、身體部位分割、深度估計和表面法線(xiàn)預測 4 種以人為中心的基本視覺(jué)任務(wù)。

這些模型的參數數量各不相同，從 3 億到 20 億不等。它們采用視覺(jué)轉換器架構，任務(wù)共享相同的編碼器，而每個(gè)任務(wù)有不同的解碼器頭。

二維姿勢預估：這項任務(wù)包括檢測和定位二維圖像中人體的關(guān)鍵點(diǎn)。這些關(guān)鍵點(diǎn)通常與肘、膝和肩等關(guān)節相對應，有助于了解人的姿勢和動(dòng)作。

身體部位分割：這項任務(wù)將圖像分割成不同的身體部位，如頭部、軀干、手臂和腿部。圖像中的每個(gè)像素都被歸類(lèi)為屬于特定的身體部位，這對虛擬試穿和醫學(xué)成像等應用非常有用。

深度估計：這項任務(wù)是估算圖像中每個(gè)像素與攝像頭的距離，從而有效地從二維圖像中生成三維圖像。這對增強現實(shí)和自動(dòng)駕駛等應用至關(guān)重要，因為在這些應用中，了解空間布局非常重要。

表面法線(xiàn)預測：這項任務(wù)是預測圖像中表面的方向。每個(gè)像素都會(huì )分配一個(gè)法向量，表示表面朝向的方向。這些信息對于三維重建和了解場(chǎng)景中物體的幾何形狀非常有價(jià)值。

Meta 公司表示該模型可原生支持 1K 高分辨率推理，并且非常容易針對個(gè)別任務(wù)進(jìn)行調整，只需在超過(guò) 3 億張野生人類(lèi)圖像上對模型進(jìn)行預訓練即可。

即使在標注數據稀缺或完全是合成數據的情況下，所生成的模型也能對野生數據表現出卓越的泛化能力。

IT之家附上參考地址