【历史最低】阿里云2核2G3M,99元/年
    137

    阿里云自研AI肖像视频生成框架已接入通义App

    2024.05.09 | 编辑:小惠 | 137次围观

      日前,阿里云方面宣布自研AI肖像视频生成框架“EMO”(Emote Portrait Alive)已接入通义App,并向所有用户免费开放。

      据了解,EMO框架可以用于生成“对口型”视频,用户只需输入人物照片及音频(说话、唱歌、rap均可),就能够让照片中的人物开口说出相关音频,并支持中英韩等多种语言。而生成视频的最终长度,则取决于输入音频的长度。

      据悉,EMO基于英伟达的Audio2Video扩散模型打造,使用了超过250个小时的专业视频和超过1.5亿张图像进行训练,相关训练分为图像预训练、视频训练和速度层训练三个阶段。其中在图像预训练阶段,网络以单帧图像为输入进行训练;在视频训练阶段,引入时间模块和音频层,处理连续帧;速度层训练则专注于调整角色头部的移动速度和频率。

      目前,通义App已首批上线超80个EMO模板,包括热门歌曲《上春山》、《野狼Disco》,以及网络热梗“钵钵鸡”、“回手掏”等,用户任选一款模板,然后上传一张肖像照片就能合成演戏、唱歌视频。但需要注意的是,目前通义App暂未开放自定义音频功能,即用户暂时无法自行上传音频内容进行合成。

      据了解,通义App是阿里云多项AI技术的重要落地和应用场景。例如此前曾走红的全民舞王应用,便是基于阿里通义实验室自研的Animate Anyone算法打造,并集成多项创新技术,包括引入ReferenceNet用于捕捉和保留原图像信息,可高度还原人物、表情及服装细节,还使用了高效的Pose Guider姿态引导器 ,确保动作的精准可控,并通过时序生成模块保障视频帧之间的连贯流畅性等。

      此外基于通义千问大模型,近期通义App还陆续推出了超长文档解析、AI编码助手、AI会议助手等免费实用功能。


    发表评论