由LeNet-5从单张着装图像重建三维人体

2024年1月6日发(作者：)

第 55 卷第 1 期 2021 年 1 月浙 江 大 学 学 报(工学版)Journal of Zhejiang University (Engineering Science)Vol.55 No.1Jan. 2021

DOI: 10.3785/.1008-973X.2021.01.018由LeNet-5从单张着装图像重建三维人体许豪灿1,2，李基拓1,2，陆国栋1,2(1. 浙江大学 机械工程学院，浙江 杭州 310027；2. 浙江大学 机器人研究院，浙江 余姚 315400)摘 要：提出基于LeNet-5的从单张着装图像恢复人体三维形状的方法，建立着装人体正面轮廓和人体形状空间之间的映射模型，实现了高效、精确的三维人体建模，可以应用于对人体表面形状精度要求较高的场合，如虚拟试衣. 基于PGA在流型空间上对公开的三维人体数据集进行数据扩增，给虚拟人体进行着装，构建着装人体数据库. 从着装人体正面投影图像中提取信息，以人体形状参数及正、侧面轮廓信息为约束，基于LeNet-5完成三维人体重建. 实验证明，对于身穿不同款式服装的人，采用的模型通常都能从单张着装图像中重建得到较高精度的三维人体模型.关键词： 三维人体重建；虚拟试衣；数据扩增；着装人体；深度学习中图分类号： TP 399 文献标志码： A 文章编号： 1008−973X（2021）01−0153−09Reconstruction of three-dimensional human bodies fromsingle image by LeNet-5XU Hao-can1,2, LI Ji-tuo1,2, LU Guo-dong1,2(1. School of Mechanical Engineering, Zhejiang University, Hangzhou 310027, China;2. Robotics Institute, Zhejiang University, Yuyao 315400, China)Abstract: A novel human body modeling method that can reconstruct three-dimensional (3D) human bodies fromsingle dressed human body image based on LeNet-5 was proposed. The method can reconstruct 3D human bodiesaccurately and efficiently, and the reconstruction results can be potentially used in some occasions where requireprecise surface shapes, such as virtual try-on systems. 3D human bodies collected from open datasets were selectedand augmented on manifolds with PGA. A dressed human body database was established after dressing these 3Dhuman bodies with virtual garments in various types and sizes. Feature descriptors were extracted from the frontalprojected images of dressed human bodies. The corresponding 3D human bodies were constructed through LeNet-5with the constraints of shape parameters as well as the frontal and lateral contours. The experimental results showthat the model can reconstruct a high-precision 3D human body from a single dressed human body image for peoplewearing different styles of words: three-dimensional human modeling; virtual try-on; data augmentation; dressed human body; deeplearning三维人体模型在人机交互、服装设计、虚拟试衣等领域有着广泛的应用，如何快速、低成本地重建高精度的三维人体模型，一直是计算机图形学领域的重点研究方向.传统的三维人体重建方法主要包括基于多视角数据融合的方法和基于模板形变的方法. 按照数据来源的不同，基于多视角数据融合的方法可以细分为基于色彩数据(RGB)[1]、深度数据收稿日期：2020−01−09. 网址：/eng/article/2021/1008-973X/基金项目：国家重点研发计划资助项目（2018YFB1700704）；国家自然科学基金资助项目（61732015）；中央高校基本科研业务费专项资助项目（2019QNA4001）；浙江省自然科学基金资助项目（LY18F020004）.作者简介：许豪灿（1993—），男，博士生，从事计算机图形学的研究. /0000-0002-1474-7039. E-mail：*****************.cn通信联系人：李基拓，男，副教授. /0000-0003-1343-5305. E-mail：****************.cn

154浙 江 大 学 学 报（工学版）第 55 卷(Depth)[2-4]和色彩-深度数据(RGB-D)[5]的三维重建方法. 常见的图像特征提取方式，如SIFT、SURF、HOG等，容易受到外界因素干扰，如光照. 高精度的激光扫描仪面临高昂的设备和安装成本，低成本RGB-D相机面临原始数据精度的挑战.基于模板形变的方法需要事先设定拓扑结构已知的模板人体，通过从RGB/RGB-D图像中提取目标人体的正、侧面轮廓以及关键点位置等信息[6-8]，驱动模板人体形变. 从低维特征数据恢复高维模型本身是一个病态问题，因而基于模板形变的方法通常无法保证重建结果的稳定性与精度.随着参数化人体模型SCAPE[9]和SMPL[10]的广泛应用及深度学习的快速发展，基于深度学习的人体建模被逐渐应用于越来越多的场合. 主要思路大多是从图像中提取关键点[11]、轮廓[12-15]、热图[12]或对图像进行语义分割[11,16]，通过约束人体姿态/形态参数、正面轮廓、关键点位置等，建立输入图像与人体形态参数、姿态参数之间的映射模型. 单视角数据往往不能全面地反映人体表面形状信息，LSP[17]、Human3.6M[18]、UP-3D[19]等常见数据集中的人体姿态、服装款式丰富且背景复杂多变，重建结果往往更侧重于恢复姿态信息，形状精度一般不高.本文提出由LeNet-5从单张着装图像重建三维人体的方法，以A-pose人体的二值化图像为输入，通过对公开数据集中的虚拟人体进行数据扩增并穿着不同款式、尺寸的服装，构建着装人体数据集；以人体形状参数误差、正/侧面轮廓误差为损失函数，开展模型迭代优化，实现快速、高精度的三维人体重建.1 系统概述如图1所示，从公开数据集[20]中获取约1 500组女性真实人体样本数据. 利用SMPL调整人体姿态后，在流型空间上使用主测地线分析(prin-ciple geodesic analysis, PGA)进行数据扩增，利用Marvelous Designer①给虚拟人体穿上不同款式、不同尺寸的服装，构建着装人体数据库.对于在流型空间上扩增后的人体数据库，采用PCA进行降维，以低维度的PCA主轴系数向量γ表征高维人体；对于着装人体数据库中的每一个样本人体，通过投影得到正面轮廓图像，从中提取特征. 为了能够更加准确地建立着装人体PCAPGA

图 1 由单张图像重建三维人体流程Fig.1 Pipeline of reconstruction of three-dimensional human bodiesfrom single image正面轮廓图像与人体形状空间之间的映射模型，重建结果进行重投影，得到三维人体正、侧面轮廓图像. 以PCA主轴系数向量误差、人体正、侧面轮廓误差为损失函数，迭代优化模型，实现了基于单张着装人体正面图像的三维人体重建.2 着装人体数据集构建现有的着装人体数据集，如Human3.6M[18]、LSP[17]、UP-3D[19]等，人体姿态信息丰富且背景复杂多变，更适用于人体姿态信息恢复，难以实现高精度三维人体重建. 为了减小人体姿态及拍摄环境对重建结果的影响，以扫描人体数据为基础，采用SMPL表征人体形状并调整人体姿态，在流型空间上进行数据扩增. 借助Marvelous Designer完成人体着装，构建姿态近似、背景简单的着装人体数据集.2.1 人体姿态调整在计算机图形学中，通常使用高维三角网格表征人体表面形状. 为了构建不同形状、不同姿态人体的形变关系，参数化统计模型SCAPE和SMPL近年来被逐渐广泛采用，其中以SMPL更具有代表性. SMPL是基于网格顶点的人体形变模型，用于表征不同姿态下不同人体的表面形状，网格形变参数包括形状参数β及非刚性姿态参数θ. 为了降低人体姿态对重建结果的影响，实现高精度三维人体建模，对于所有着装人体数据，姿态均被调整为A-pose.扫描人体数据通常由数万个甚至数十万个空间点构成，维度过高且网格拓扑结构不一致，因而需要统一不同人体数据之间的网格拓扑[21]. 以网格拓扑统一的扫描人体为样本，通过SMPL估算当前人体形态参数βi及姿态参数θi，调整人体姿态至A-pose. 其中人体形态参数βi通过将当前①Marvelous Designer 官网./.

第 1 期许豪灿, 等：由 LeNet-5 从单张着装图像重建三维人体 [J]. 浙江大学学报：工学版,2021, 55(1): 153–161.155网格顶点投影至T-pose下的PCA主轴得到（SMPL模型的标准姿态为T-pose），当前姿态参数θi由下式[10]argmin∑