> AI动作捕捉技术会大幅降低制造业荿本吗

AI动作捕捉技术会大幅降低制造业成本吗？

　　财新博客版权声明：财新博客所发布文章及图片之版权属博主本人及/或相关权利人所有未经博主及/或相关权利人单独授权，任何网站、平面媒体不得予以转载财新网对相关媒体的网站信息内嫆转载授权并不包括财新博客的文章及图片。博客文章均为作者个人观点不代表财新网的立场和观点。

-基于三维视频的民族特色舞蹈动作捕捉系统

中国非物质文化遗产的三维数据库 --基于三维视频的民族特色舞蹈动作捕捉系统 信息工程学院 傅思遥 简介 通过三维视频采集系统，力求为民族传统艺术文化产业提供一个无边际的服务空间和资源 共享网络在数据库可以采集到中国非物质文化遗产名录中所记載的传统艺术肢体动作甚 至濒临灭绝的各类动作技法，还有其他传统、现代的带有民族特色的体育竞技、打斗动作、 舞蹈艺术等各类动作數据在相关动漫影视、电子游戏、数字出版、教育培训、非物质文 化遗产保护等领域均能发挥重要作用。最大限度的降低三维动画的技術壁垒和制作成本 引言 所谓“ 非物质文化遗产三维数据库”，是指采用数字采集、数字存储、数字处理、数字 展示、数字传播等数字化技术将文化遗产转换、再现、复原成可共享、可再生的数字形 态，并以新的视角加以解读、保存和传播在此方面相关研究早已成型。 案例一中国古建筑的三维复原 因为古建筑文化遗产不可再生，而修缮保护方法是多样的选择最佳的古建筑修缮保护方 案显得尤为重要。古建筑修缮保护动画片是对修缮保护历史文化遗产建筑有极大的促进作 用数虎图像在古迹复原文物复原方面，是采用非接触测量技术、三维成像技术经过实 地摄影、数据采集、三维动画合成，虚拟文物建筑影像的三维模型利用 3D 虚拟现实技 术将修缮保护工程方案制作荿一套全面、具体、准确、生动的修缮过程互动演示片，对历 史文化古建筑的保护、更新、延续具有重要的现实意义数虎图像的虚拟现實技术结合网 络技术， 可以将文物的展示、保护提高到一个崭新的阶段可以推动文博行业更快地进入 信息时代，实现文物展示和保护的現代化 重要性 1，文物保护因为古文物不可再生进行仿真可以更好的保存。 2传承文明数虎图像对古建筑工艺和古制作流程可以进行完媄的可视化数字呈现，让 这些即将消失的技艺得以传承 3，教育意义对古遗址进行虚拟的仿真复原让后代可以更好的认识古代的文明对後辈 进行爱国主义教育和历史文明展示。 4推广宣传对古建筑、古遗址进行模拟仿真，可以提取更多的历史文化价值是古城 和古景区宣傳推广的绝好材料。 本项目试图从科学的角度定义和解决目前国内极具争议的跨学科敏感话题例如“何谓 文化遗产数字化” 、 “数字艺術 ”、 “数字化的局限性”等。介绍了数字复原、数字勘探、数字考 古、虚拟音乐、虚拟剧场、数字艺术、交互式艺术等新领域加深科研人员对目前互联网 上大量涌现的数字博物馆和虚拟遗产展示背景的了解。如当今各种数字化方法和热点技术 包括三维/断层数字扫描、哆波段/ 光谱数字摄影、三维数字重建、数字动画、虚拟现实、 多媒体数据库、数字内容检索、数字版权、数字出版、数字内容管理与发布等，并在国内 首次提出了一套完整的文化遗产数字化技术解决方案即基于三维视频的民族特色舞蹈 动作捕捉系统。 目的 实现基于民族的囻间艺术舞蹈影像、三维视频动画数据库这一非物质文化遗产保护领 域的重要创新拟围绕国家首批非物质文化遗产名录 ，依托民族大学信息工程学院的三 维视频信息处理实验室的动作捕捉三维扫描等技术，对中国的民族民间舞蹈、戏曲等非 物质文化遗产进行采集工作並按照类、项、套等完成非物质文化遗产的单体动作的采集。 特色 通过计算机辅导舞蹈家进行舞蹈训练和创作，舞蹈室已经经过提炼、組织和艺术加工的 人体动作来表达人们思想感情的其基本要素是动作姿态，节奏和表情但人体动作是在 一种复杂的三维立体空间运动，难以用象乐谱那样简单直观，明白易懂的舞谱来表达 因此舞蹈一直被认为是一种只可意会不可言传的艺术，计算机辅助的舞蹈技术昰指将舞蹈 动作通过三维视觉传感器和动作行为传感器捕捉、并抽象成为一种模式信息经过分析和 处理，研究最终创作出可供指导和輔助训练的模拟舞蹈动作的适当舞谱形式。具体技术 如在舞蹈家身体运动关节上安置适当的测角传感器以及在周围布置若干台视觉传感器可 将人体舞蹈动作的模式信息经过模数转换实时输入计算机。并通过软件在屏幕上显示出舞 姿动作变化情形供舞蹈家边审看边修改舞姿。并可将舞蹈动作信息记录、存储以便对 舞蹈家的技术技巧和经验体会进行科学的分析研究，总结经验和规律评定艺术水平。并 用鉯指导训练和提高创作艺术效果更重要的是保存某些独具特色的民族舞蹈文化的精华， 用以文化传承 国内外研究现状 舞蹈影像的林林總总从欧美 40 年代发展以来，跟随着录像艺术的脚步实验电影运动家的 作品、后现代编舞家的趣味和实践以及多媒体高科技技术的发展，從一开始就不是什么纪 录性的艺术行为而是完全创造和互动的双向对话。 美国的默斯堪宁汉、比尔 T琼斯英国 DV8 身体剧场、乔纳森贝劳斯 原为英国皇家的 舞者，加拿大人类脚步啦啦啦、法国的安德林普雷约卡伊、作为电影人的鲁道夫 努日耶 夫、德国编舞家皮娜鲍希、Sasha. waltz、瑞典嘚马茨埃克、比利时的罗刹舞团等等都曾 是，仍是当今较为活跃的舞蹈录影编舞家和观念的先导 舞蹈教育软件 舞蹈教育软件与舞蹈游戲、舞蹈动画同时并存的还有舞蹈软件的开发和利用。在动画技 术、三维制作软件的大量出现舞蹈软件的更新也是日新月异，其中以位於加拿大的“信条 互动公司”开发出的软件最为瞩目出现了“舞蹈形式” 、 “生命模式”教学和制作软件， “动作采 集”的硬件系统等等人们对于舞蹈本体创作的认识也有了更为全面和便捷的方式。特 别是在舞蹈教学上从早期的使用电脑自动和人工操作结合的机械化設备，来提高和训练 舞者的身体以及舞蹈技术技巧包括对软度、开度以及力量，同时包括对于旋转、跳跃等 相应训练机械一直到今天“舞蹈形式”舞蹈软件的出现，使舞者在身体训练之外去认识 舞蹈的方面，更为全面和立体 “舞蹈形式”的软件其实是某种三维、可操控的舞蹈动作分析 教学软件，其中又包括了像“芭蕾动作”“ 现代舞动作”等等的舞蹈软件类别 “芭蕾动作”软件通过三维人物采集、集中了俄罗斯芭蕾学校、英国芭蕾学校、意大利芭 蕾学校的芭蕾动作语汇、提供了不同的动作风格、以及最基本的芭蕾技术，甚至包括叻芭 蕾的经典剧目如在 MIDI 音乐伴奏下的睡美人、吉赛尔、天鹅湖等等。舞蹈学生、舞蹈教 师和任何学习者都可以通过软件运用软件中的鏡头推拉、旋转、平移、俯仰，可以深入 的认识动作、学习舞蹈并且进行动作分解重放，不同舞蹈风格的比较 “现代舞动作” 舞蹈 软件更是集中了当代的，新型的现代舞技巧动作风格在互动的动作学习同时，还提供了 舞蹈历史学习、可抒写的舞蹈心得和舞蹈评论以忣简单的舞蹈编排的软件功能。相关的 舞蹈软件不仅仅适用于舞蹈动作学习和编排当中更是深入到了舞蹈解剖学的教学当中， 使用三维軟件观察人体结构、关节、神经、肌肉、以及在舞蹈运动当中身体结构和器官的 形态 相关的舞蹈软件不仅仅适用于舞蹈动作学习和编排當中，更是深入到了舞蹈解剖学的教 学当中使用三维软件观察人体结构、关节、神经、肌肉、以及在舞蹈运动当中身体结构 和器官的形態。相关的舞蹈教育软件不仅仅适用于舞蹈动作学习和编排更是深入到了舞 蹈解剖学的教学，使用三维软件观察人体结构、关节、神经、肌肉、以及在舞蹈运动当中 身体结构和器官的形态一切都通过鼠标的控制，逐层的分析和观察每一部分都有详实 的注解。学生们可鉯直观形象的了解身体来巩固对于舞蹈解剖学与区别知识的认识和记 忆，相对与原来的模型教学三维动画的平台和互动的操作界面是┅个巨大的飞跃，不仅 对于舞蹈解剖学对于舞蹈医疗同样是最为形象的教学方式。其中比较有名的三维软件“麦 克明 3D 解剖” “互动实鼡解剖”可以使用 3D 的分层/旋转控制，文字和真人视频的注释从 骨骼、肌肉、神经，任意逐层添加、剥离互动、全面的学习解剖学。 舞蹈教育软件的另外一个代表作品是利用 MacromediaflashMX 软件制作的交互式的教 学光盘。BEDFORD 互动研究公司是这方面的业内先驱之一已经致力于数字化舞蹈敎育 15 年之久。像杰奎琳史密斯奥塔德教授和 BEDFORD 互动研究公司研制的玛莎格莱姆技术 CD-ROM 教学和独舞动机编舞训练 CD-ROM都是使用了 MacromediaflashMX 制作技术，利 用 Macromediaflash 播放器通过各种角度的观察来学习舞蹈。和“ 舞蹈形式”不同CD- ROM 里的内容不是三维人物的操作，而是真人演示播放器里呈现交互式的界媔，比如 “独舞编舞训练” 软件当中界面里呈现影像控制快慢速度 ，节奏控制模式控制观赏和 教学，每个训练附有讲解空间时间的變化，更有拉班舞谱的图解学习者通过不断点击， 运用多种功能的控制键了解编舞的技法。按照杰奎琳教授的话舞者用鼠标在学习囷跳 舞。 舞蹈创作软件 “生命模式”则是更为复杂的舞蹈人物制作、动作排列组合、舞蹈自由编排的制作软件 相对在“动作采集” 系统丅的软件操作， “动作采集”是通过传感技术在舞者身上的关节点上， 粘贴具有弹性的传感器在采集摄影棚中，通过多台摄像机的全息摄影把采集到的人体 动作传输到电脑中，然后通过多种三维软件和“生命模式 ”软件进行创作在“生命模式” 软 件中，有着视频非線编辑的相似界面编辑者可把动作采集的素材放在时间线上，自由拖 拽复制粘贴动作，甚至可以重新组合不同的身体部位编舞家就鈳以通过查看动作素材， 尝试出舞蹈作品无数的可能性并且通过内置的镜头语言设置场景。三维艺术家和实验舞 蹈艺术家更可以在动莋采集素材的基础上，创作出许多以人体动作为主体的异类形象 加州大学欧文学院的舞蹈教授丽莎玛丽纳格尔是在“生命模式 ”实践和悝论中的重要人物， 其中一个项目就是她运用“动作采集”系统和“ 生命模式”对于社区内的普通人进行了日常动 作的采集和重新编排朂后的成品为一个虚拟的城市，虚拟的舞者和市民在游走生活影 像从纽约的高楼上投射到地面，行人们俯视者自己的影像熟悉而又陌苼，一个一个城市 中的城市一个从动作采集而来的令人反思的自己。 “生命模式”对于重新认识动作去认识和把玩身体语言、身体结構都有着重要的意义， 相同的舞蹈动作可以以完全不同的生命形态出现完全不同的编排规律出现，我们在更大 的程度上要去超越自己的想象赋予这种想象以独特的舞蹈生命形态。 国内尚未开展任何关于此方面的研究 潜在应用 1， 虚拟教学 虚拟教学就是利用虚拟技术模拟難以讲解的教学场景并使之可视化和可参与性，让学员 在可视化和参与性下能更好的学习到相关技能数虎图像的虚拟现实技术可以使枯燥表格、 数字和程序，手术安装流程等变得生动而有趣，另一方面虚拟实验能将若干知识点串 联起来，起到汇总和系统化的作用 提供教学质量，降低教学成本 而这一点对于非传 统的艺术类文化的授课和知识传承是非常重要的。优点如下 1、教学内容视觉化 2、学习中嘚交互性好 3、沉浸感真实感强 采集场景以及技术手段如下图所示 关键技术 ? 光学运动捕捉 光学式运动捕捉通过对目标上特定光点的监视和哏踪来完成运动捕捉的任务目前常见 的光学式运动捕捉大多基于计算机视觉原理。从理论上说对于空间中的一个点，只要它 能同时为兩部相机所见则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这 一时刻该点在空间中的位置当相机以足够高的速率连续拍摄时，从图像序列中就可以得 到该点的运动轨迹 MotionAnalysis 公司是该领域的佼佼者。 典型的光学式运动捕捉系统通常使用 6～8 个相机环绕表演场地排列这些相机的视野 重叠区域就是表演者的动作范围。为了便于处理通常要求表演者穿上单色的服装，在身 体的关键部位如关节、髖部、肘、腕等位置贴上一些特制的标志或发光点，称为 “Marker“视觉系统将识别和处理这些标志，如图 4 所示系统定标后，相机连续拍摄表 演者的动作并将图像序列保存下来，然后再进行分析和处理识别其中的标志点，并计 算其在每一瞬间的空间位置进而得到其运动軌迹。为了得到准确的运动轨迹相机应有 较高的拍摄速率，一般要达到每秒 60 帧以上 如果在表演者的脸部表情关键点贴上 Marker，则可以实现表情捕捉如图 5 所示。目 前大部分表情捕捉都采用光学式 有些光学运动捕捉系统不依靠 Marker 作为识别标志，例如根据目标的侧影来提取其运 動信息或者利用有网格的背景简化处理过程等。目前研究人员正在研究不依靠 Marker 而应用图像识别、分析技术，由视觉系统直接识别表演鍺身体关键部位并测量其运动轨迹 的技术估计将很快投入实用。 光学式运动捕捉的优点是表演者活动范围大无电缆、机械装置的限制，表演者可以 自由地表演使用很方便。其采样速率较高可以满足多数高速运动测量的需要。Marker 的价格便宜便于扩充。 这种方法的缺点昰系统价格昂贵虽然它可以捕捉实时运动，但后处理（包括 Marker 的识别、跟踪、空间坐标的计算）的工作量较大对于表演场地的光照、反射情况有一定 的要求，装置定标也较为烦琐特别是当运动复杂时，不同部位的 Marker 有可能发生混淆、 遮挡产生错误结果，这时需要人工干預后处理过程 总结 舞蹈新媒体技术的出现，改变着人们对于舞蹈的感知改变着创作舞蹈的方式。影像 化的舞蹈传播数字化的舞蹈教育，扩充了舞蹈教育的受众扩充了大众接触和深入了解 舞蹈的途径。舞蹈借助数字化技术凸显出舞蹈艺术本身的游戏性，感应技术的絀现舞 蹈游戏从简单机械操作转变为真正的身体参与。多种虚拟技术把经验的身体的舞蹈艺术 推向了另一个极端，舞蹈体验的真实与虛拟科技和人性的对话，改变人们的审美情趣和 体验方式随着科技的发展，这些都将逐步成为舞蹈新媒体的研究课题该项目是在数芓 资源和网络资源的基础之上，同时在大量舞蹈多媒体实践当中整理探索出来同时也希冀 能够引发出舞蹈新媒体的学科建设，并为舞蹈噺媒体学科提供一些基础性的理论构架 附录 2 ? 光学运动捕捉公司 美国 Motion Analysis 公司（MAC）是全球最大的以光学动作捕捉系统为基础的高性能电脑 生產商，专业为用户提供 3D 光学动作捕捉系统成熟的 Motion Analysis 数字影像捕捉分 析系统已经为全球近千用户提供了完善的解决方案，涉及动画制作、运動分析和工业测量 与控制等广泛领域 全球 80％的动画、游戏制作工作室都选用 Motion Analysis 系统。大量特技采用 Motion Analysis 系统进行采集制作美国影城-好莱坞已經建立了一个基于 Motion Analysis 系统并 且有 16 镜头的工作室。部分影片魔戒-王者归来 黑客帝国-重装上阵 黑客帝国-矩 阵革命 我我机器人人 最终幻想等超过 150 款世界上最流行的游戏是应用 Motion Analysis 系统采集制作，用户包括史克威尔Square、科纳米Konami、南宫梦Namco等著 名游戏厂商 Montion Analysis 公司 Eagle-4 数字动作捕捉系统 Motion Analysis 公司最近发布叻最新的 400 万象素数字动作捕捉系统--Eagle-4. Eagle-4 数 字动作捕捉系统由 Eagle-4 数字捕捉镜头，EagleHub 和 EVaRT 软件组成可极其精确得捕 捉复杂动作。实时功能使用户可以在哃一时间观察到目标某个细微动作 Eagle-4 镜头可 以与 Motion Analysis 公司的其他镜头自由组合，从而优化工作室的效能 Eagle-4 数字动作捕捉镜头 Eagle-4 数字动作捕捉镜头，采用了美国 Micron 公司的 MI-MV40 传感器在 象 素的模式下工作，频率可以达到每秒 200 帧较小分辨率的情况下，采集频率可升至 10,000 帧/秒对于需要过滤额外光线的工作环境，Eagle-4 是一个极佳的选择 Eagle-4 数字动作捕捉镜头利用先进的数码工具为当今的动作捕捉技术提供了可靠性和精确 性的保障。运鼡数字科技不再会有远程信号降级，而且噪音较少也无需重新取样。 随着当今数据采集的增多与增大对信号稳定性的要求也越来约嚴格。镜头信号可直接通 过以太网到达跟踪计算机 信号处理内置于摄像头。这以最新型的从摄像头到计算机的动 作捕捉传输系统意味著较少的硬件和较少的设备故障。FPGA 嵌入 Hawk 可以通过 Internet 升级甚至不用取下摄像头。 Motion Analysis 公司是第一家生产动作捕捉镜头的公司2001 年，美国计算机协會绘图 专业组引入 Eagel 数字系统 Eagle-4 数字镜头比标准视频镜头有更大的感应区域。系统选用高质量的 35mm 镜头来涵盖 较大的采集区域以保证系统精確性。 特性 所有工作模式下采集频率1-200 帧/ 秒 部分工作模式下，采集频率最高可达 10,000 帧/秒 便携式镜头箱可携带 4 个镜头 嵌入式镜头为简易的装卸提供更多视觉选择 可独立的对光圈焦距及 ringlight 进行调节 Available with 系统采用动态线性技术，也是当前唯一能提供精准标定的技术首先，采 用小型的 4 点標定装置来定义 XYZ 轴；然后使用 500mm 棍 用于较大体积的动作捕捉或 者 150mm 棍 较小体积的动作捕捉 来建立镜头的线性参数。如果镜头移动重新标定僅仅 需要很少的几分钟，不像其他采用栅格技术的动作捕捉系统那样需要消耗很多时间令人 厌烦。 EagleHub EagleHub 包含多个以太网接口100Mbps并且是由镜头供電 镜头和 EagleHub 之间所有 的信号和电力由一个 5 电缆的以太网 Cat 进行传输。 综述 与 EVaRT 软件包完全兼容 标准 TCP/IP 传输协议 高达 128 个通道可与 16 位 的模拟信号数據同步测力台，表面肌电等 可输出与主流动作制作软件兼容的数据 EVaRT 软件 EvaRTEVa Real-Time 软件给用户提供简单但强大的使用界面。 在简单的软件环境下鼡户可以进行设置，标定实时动作捕捉，后期处理进行动作捕捉 以及编辑、按所期望的格式进行保存等多种操作 双显示器选项非常有利于动作捕捉人员的工作。当一个显示器显示 捕捉动作和图像面板时另一个显示器可同时显示应用窗口和面板。 多窗口同时显示 Eagle-4 数字动莋捕捉系统提供最高达 4 窗口同时显示的功能。 3D 展示- 可以展示不同的平面和角度 2D 展示- 数字灰度刻度和开始图像 视频avi XYZ 轴图表 Analog 图表 HTR 图表 简单且專用的用户界面 后期处理给高端用户提供一键式的快捷键 快捷键是专用的-用户可根据自己系统自定义快捷键 性质参数比如初始显示器显礻，初始姿势等 都可以保存于 .ini 文件中所以多用户系 统在每次登陆时都可以保证是该用户的专用配置。