豐色發(fā)自凹非寺量子位報(bào)道|公眾號(hào)QbitAI很多3D人體模型都很強(qiáng)大，但總是難免“裸奔”。像要?jiǎng)?chuàng)造出真正的人類“化身”模型，衣服和頭發(fā)不可或缺。但這些元素的精確3D數(shù)據(jù)非常稀少，還很難獲得。來自三星AI中心（莫斯科）等團(tuán)隊(duì)的技術(shù)人員一直致力

豐色 發(fā)自 凹非寺量子位 報(bào)道 | 公眾號(hào) QbitAI

很多3D人體模型都很強(qiáng)大，但總是難免“裸奔”。

像要?jiǎng)?chuàng)造出真正的人類“化身”模型，衣服和頭發(fā)不可或缺。

但這些元素的精確3D數(shù)據(jù)非常稀少，還很難獲得。

來自三星AI中心（莫斯科）等團(tuán)隊(duì)的技術(shù)人員一直致力于此方面的研究，最終他們開發(fā)出這樣一個(gè)模型：

生成的3D人，穿著原本的衣服、發(fā)量發(fā)型也都毫無保留地呈現(xiàn)。

乍一看，“跟真人似的”。

更棒的是，無需模特示范，模型還可以“舉一反三”，擺出各種POSE！

效果是這樣子的：

該模型被命名為StylePeople。

來看看具體怎么搞的吧！

神經(jīng)裝扮模型（The neural dressing model）

其實(shí)，不止是“裸奔”，很多三維人體模型還很“死板”：模特?cái)[什么姿勢(shì)模型就跟著擺什么。

就像此前，利用隱函數(shù)來生成的三維人體模型能夠高度還原模特的著裝和發(fā)型了，但是人物姿勢(shì)依然不夠變通，只能從原模特的幾個(gè)特定視角生成。

ps.也是該團(tuán)隊(duì)的研究成果

所以在為3D人體模型還原衣服顏色、褶皺和發(fā)型的同時(shí)，也要保證人物的姿勢(shì)可以“舉一反三”。

為此研究人員采用將多邊形實(shí)體網(wǎng)格建模與神經(jīng)紋理相結(jié)合的方法。

多邊形網(wǎng)格負(fù)責(zé)控制和建模粗糙的人體幾何姿勢(shì)，而神經(jīng)渲染負(fù)責(zé)添加衣服和頭發(fā)。

首先他們?cè)O(shè)計(jì)了一個(gè)神經(jīng)裝扮模型（The neural dressing model），該模型結(jié)合了可變形網(wǎng)格建模與神經(jīng)渲染，如下圖所示。

最左列表示被可視化的前三個(gè)PCA組件。

第2、3列為在用SMPL-X建模的人體網(wǎng)格上疊加“人型化身”的紋理（texture）。

第4、5列為使用渲染網(wǎng)絡(luò)光柵化渲染出的結(jié)果。

可以優(yōu)雅地處理出寬松的衣服和長頭發(fā)以及復(fù)雜的穿衣結(jié)構(gòu)！

接下來，基于上面的神經(jīng)裝扮模型，研究人員造出能生成“Fullbody”的3D人體模型。

最終的生成架構(gòu)是StyleGANv2和神經(jīng)裝扮的結(jié)合。

StyleGAN部分使用反向傳播算法生成神經(jīng)紋理，然后將其疊加在SMPL-X網(wǎng)格上，并使用神經(jīng)渲染器進(jìn)行渲染。

在對(duì)抗性學(xué)習(xí)中，判別器將每一對(duì)圖像看為同一個(gè)人。

提高了視頻和少量圖像生成3D人類模型的技術(shù)水平

在對(duì)神經(jīng)裝扮這一方法的效果驗(yàn)證中，研究人員首先評(píng)估了基于視頻素材的3D模型生成結(jié)果。

效果如文章開頭所展示的圖像，左邊是示例源幀，其余的圖像是左邊視頻人物的“化身”。在簡單的增強(qiáng)現(xiàn)實(shí)程序做的背景下，呈現(xiàn)出了模特先前并沒有擺過的各種姿勢(shì)。

接下來，對(duì)基于小樣本圖像素材的神經(jīng)裝扮效果進(jìn)行評(píng)估。

研究人員使用僅兩個(gè)人的People Snapshot數(shù)據(jù)集將他們的神經(jīng)裝扮方法與其他各種方法（如360Degree等，見表）進(jìn)行比較。

衡量生成的模型質(zhì)量的指標(biāo)包括LPIPS（感知相似度）、SSIM（結(jié)構(gòu)相似性）、FID（真實(shí)樣本與生成樣本在特征空間之間的距離）、和IS（清晰度與多樣性得分）。

結(jié)果顯示了他們的方法在所有指標(biāo)上都占有優(yōu)勢(shì)，

除了IS以外，但影響不大，因?yàn)樗c視覺質(zhì)量的相關(guān)性最小。

最后，該團(tuán)隊(duì)表示，他們這個(gè)模型的生成效果（如下圖）仍然受到目前樣本數(shù)據(jù)規(guī)模和質(zhì)量的限制，今后工作重點(diǎn)是提高該模型的數(shù)據(jù)利用率。

有興趣的同學(xué)可以持續(xù)關(guān)注該團(tuán)隊(duì)的研究進(jìn)展。

參考鏈接：

[1]https://arxiv.org/abs/2104.08363

— 完 —

量子位 QbitAI · 頭條號(hào)簽約

關(guān)注我們，第一時(shí)間獲知前沿科技動(dòng)態(tài)