Imagen、Phenaki是Google上個月公布的兩個文字轉影片的AI模型,前者強調具有深刻語言理解能力,能生成相片等級影片,而後者則能將多段文字提示合成長度較長、包含不同場景的影片。不同於Imagen僅能生成數秒影片,Phenaki則可生成長數分鐘的影片。
Imagen將透過AI Test Kitchen App開放給美、英、加拿大、澳洲、紐西蘭及肯亞的英語用戶測試。Google 8月宣布AI Test Kitchen App,主要用於測試Google AI技術。Google第一批測試的技術是對話AI模型LaMDA(Language Model for Dialogue Applications)。
我们介绍了 Phenaki,这是一种能够在给定一系列文本提示的情况下进行逼真的视频合成的模型。由于计算成本、高质量文本视频数据的数量有限以及视频长度可变,从文本生成视频尤其具有挑战性。为了解决这些问题,我们引入了一种用于学习视频表示的新因果模型,该模型将视频压缩为离散标记的小型表示。这个分词器及时使用因果注意力,这使得它可以处理可变长度的视频。为了从文本生成视频标记,我们使用了一个以预先计算的文本标记为条件的双向屏蔽转换器。生成的视频令牌随后被去令牌化以创建实际视频。为了解决数据问题,我们展示了对大量图像文本对以及较少数量的视频文本示例的联合训练如何产生超出视频数据集中可用内容的泛化。与之前的视频生成方法相比,Phenaki 可以在开放域中以一系列提示(即时间可变文本或故事)为条件生成任意长视频。据我们所知,这是第一次有论文研究从时间变量提示生成视频。此外,所提出的视频编码器-解码器在时空质量和每个视频的令牌数量方面优于文献中当前使用的所有每帧基线。Phenaki 可以根据开放域中的一系列提示(即时间可变文本或故事)生成任意长视频。据我们所知,这是第一次有论文研究从时间变量提示生成视频。此外,所提出的视频编码器-解码器在时空质量和每个视频的令牌数量方面优于文献中当前使用的所有每帧基线。Phenaki 可以根据开放域中的一系列提示(即时间可变文本或故事)生成任意长视频。据我们所知,这是第一次有论文研究从时间变量提示生成视频。此外,所提出的视频编码器-解码器在时空质量和每个视频的令牌数量方面优于文献中当前使用的所有每帧基线。
相关标签
数据评估
本站 自媒体维基提供的 Phenaki都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由 自媒体维基实际控制,在 2023年5月8日 下午4:05收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除, 自媒体维基不承担任何责任。
打不开?
- 建议用手机浏览器打开。微信/QQ可能屏蔽了该网站,首先保证网址是从浏览器/手机浏览器打开的,因为微信/QQ会屏蔽一些站。
- 建议使用不会屏蔽网址的浏览器。如果浏览器提示该网站违规,并非真的违规,而是浏览器厂商屏蔽了这个站。推荐原生态不会屏蔽网站的浏览器,苹果可以用自带的浏览器;安卓可以看以下推荐:
- 通常打不开都是因为网络问题。大型网站会针对三大运营商(电信、移动、联通)进行优化,小网站经常会遇到一些运营商问题打不开。一劳永逸的话,我们推荐使用加速器(将自己的网络切换成更稳定的运营商,比如电信)。部分境外网站需要魔法上网,比如ChatGPT和谷歌等。
- 以上三点均能解决99.99%网站打不开的问题。如有疑问,可在线留言,着急的话也可以加QQ社群,在群里@群主或管理员处理。