Motionshop—AI替换视频人物,上传一段视频,AI自动检测视频中的人物,并替换成3D卡通角色模型,生成有趣的AI视频。

Motionshop插图

Motionshop是阿里巴巴智能计算研究院推出的一个AI角色动画框架,旨在将视频中的人物角色替换为3D化身,同时保持视频中的其他场景和人物不变。该框架由视频处理流水线和姿态估计与渲染流水线两部分组成,前者负责提取并修复背景视频序列,后者则用于生成3D角色视频序列。

Motionshop利用先进的视频处理、角色跟踪/分割、姿态估计、路径追踪渲染等多种技术,使得动态视频中的主角可以被替换成3D化身。用户只需上传视频并确定目标对象,选择要替换的虚拟角色,系统会自动识别并替换成3D卡通角色模型,生成独特的AI视频。

此外,Motionshop还支持零样本目标检测,通过将文本信息与现有的闭集检测器使用基于Transformer的框架进行紧密融合,实现高效的视频人物检测和选择。这一技术不仅开启了创意表达和娱乐的全新方式,也为视频特效制作增添了更多可能性。

相关导航

暂无评论

暂无评论...