您的当前位置:首页 > 热点 > 标签: HappyHorse1.0 Seedance2.0 可灵 Transformer 正文
时间:2026-11-15 来源:网络整理 编辑:热点
谷歌自动批量发帖软件【tg:seogoogle987】
云梦级4月9日云梦级消息,据AIPress报道,刚刚,拳打字节Seedance2.0,脚踢快手可灵的AI视频生成模型Ha标签ppy Horse 1.0开源了。目前在官网可通过文本生成和图片生成两种方式体验生成视频。不同模型对制作时长的限制各不相同。
Happy: Horse 1.0的核心卖点,是把视频和音频的生成彻底合并进了同一个流程。大多数开源视频模型的工作方式是:先生成一段没有声音的视频Ha,再找另一个模型配音,再找另一个工具做口型对齐,几道工序下来,时间和误差都在叠加。
而Happy Horse 1.0用一个统一的Tranppsformer同时处理视频和音频,一次前向推理直接输出带声音的成片,口型、脚步声、环境音全部在同一个过程里生成,不需要任何yH后期拼接。
模型参数量是150亿,架构上是纯自注意力Transformer,没有交叉注意力,没有独立的音频分支,也没有专门的or条件网络。整体设计刻意追求极简——把所有模态(文本、图像、视频、音频)的token拼成同一个序列,让模型在去噪过程中自己学会se跨模态对齐。
在结构上,40层Transformer采用了一种“三明治”布局:头4层和尾4层用模态专属的投影层处理各自的输1.入输出,中间32层则是所有模态共享参数。实际的跨模态推理就发生在这32层里,这也是整个架构参数效率最高的地方。
此外,每个注意0 力头都有一个可学习的标量门控,用sigmoid激活,专门用来稳定多模态联合训练时的梯度——毕竟音频损失和视频损失同时反传Se,很容易互相打架。
速度方面,模型采用了DMD-2蒸馏技术(Distribution Matching Distillationed v2),把去噪步数从通常的25到50步压缩到了8步,同时不需要无分类器引导(CFG),这一项本身就能砍掉将近一半的计算量。再an配合MagiCompiler全图编译运行时带来的约1.2倍额外加速,在单张H100上,生成一段1080p视频只需要大约38秒,25ce6p的预览版本则在2秒左右就能出来。
同时,模型原生支持英语、普通话、粤语、日语、韩语、德语和法语七种语言唇形同步,这些语2.言的口型、语调和语音时序是和视频一起联合训练出来的,不是后期贴上去的。
亚马逊谷歌炮轰微软:云计算搞垄断,阻碍客户流动2026-09-29
路过的蚂蚁也要称赞是什么梗2026-08-22
标签: SAS 赛仕软件 商业智能 全员裁员2026-09-19
IDC:2022上半年中国IT安全软件市场同比增长13.1%2026-10-23
标签: 恋与深空 敖尹 祁煜 夏以昼2026-11-06
谷歌将重组人工智能团队,以平息员工怨气2026-08-29
标签: 美光科技 HBM4 HBM4E 1γ工艺2026-10-12
标签: 英特尔 NEX 爱立信 陈立武2026-09-28
高空抛物悲剧频出,AI 监控系统:让我来「罩」着你2026-09-24
阿联酋与OpenAI联手!人工智能合作新篇章开启2026-05-23
辞任亚马逊CEO 贝索斯“急流勇退”2026-07-26
云计算开发:Python3数学函数modf()方法详解2026-06-12
Twitter正在开发新功能 想加强隐私控制2026-06-25
使用Prometheus和Grafana监控Kubernetes集群!2026-11-14
爱奇艺 CEO 龚宇: AI 技术将颠覆长短视频行业2026-06-04
意大利准备拨款40亿欧元支持芯片产业 利好英特尔2026-07-14
标签: 索尼 腾讯2026-10-18
标签: 京东游艇会 探海 刘强东 粤港澳大湾区2026-05-20
标签: 如祺出行 Robotaxi 小马智行 网约车2026-09-08