发布时间:2023-07-09
点击次数: 文生图模型stable diffusion开源后,将「ai艺术」彻底平民化,只需一张消费级显卡即可制作出非常精美的图片。
而文本转视频领域,目前质量较高的只有Runway前不久推出的商用Gen-2模型,开源界还没有一个能打的模型。
最近,Huggingface上有作者发布了一个文生视频模型Zeroscope_v2,基于17亿参数量的ModelScope-text-to-video-synthesis模型进行二次开发。
图片
模型链接:https://huggingface.co/cerspense/zeroscope_v2_576w
相比于原版本,Zeroscope生成的视频没有水印,并且流畅度和分辨率都得到了提升,适配16:9的宽高比。
开发者cerspense表示,他的目标就是和Gen-2进行开源较量,即提高模型质量的同时,还能免费供大众使用。
Zeroscope_v2包括两个版本,其中Zeroscope_v2 567w可以快速生成576x320像素分辨率、帧率为30帧/秒的视频,可用于视频概念的快速验证,只需要约7.9GB的显存即可运行。
使用Zeroscope_v2 XL生成高清视频,分辨率为1024x576,占用约15.3GB的显存。
Zeroscope还可以与音乐生成工具MusicGen一起使用,快速制作一个纯原创短视频。
Zeroscope模型的训练用到了9923个视频片段(clip)以及29769个标注帧,每个片段包括24帧。偏移噪声包括视频帧内对象的随机移位、帧定时(frame timings)的轻微变化或微小失真。
训练期间引入噪声可以增强模型对数据分布的理解,从而可以生成更多样化的逼真视频,并更有效地解释文本描述中的变化。
使用stable diffusion webui
在Huggingface上下载zs2_XL目录下的权重文件,然后放到stable-diffusion-webui\models\ModelScope\t2v目录下即可。
在生成视频时,推荐的降噪强度值为0.66到0.85
使用Colab
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

ChatGPT Writer
免费 Chrome 扩展程序,使用 ChatGPT AI 生成电子邮件和消息。
106
查看详情
笔记链接:https://cola
b.research.google.com/drive/1TsZmatSu1-1lNBeOqz3_9Zq5P2c0xTTq?usp=sharing
先点击Step 1下的运行按钮,等待安装,大约需要3分钟;
图片
当按钮旁边出现绿色复选标记时,继续执行下一步。
图片
点击想要安装模型附近的运行按钮,为了能够在Colab中快速获得3秒左右的剪辑视频,更推荐使用低分辨率的ZeroScope模型(576或448)。
图片
需要在执行更高分辨率模型(如Potat 1或ZeroScope XL)时,权衡执行时间会更长。
再次等待复选标记出现,继续执行下一步。
选择在Step2中安装并希望使用的模型型号,对于更高分辨率的模型,推荐下面的配置参数,不需要太长的生成时间。
图片
接下来,您可以输入目标视频的提示词来改变效果,并且还可以输入否定提示词(negative prompts),然后点击运行按钮。
等待一会后,生成的视频就会被放置在outputs目录下。
图片
目前来说,文生视频领域仍处于起步阶段,即便是最好的工具也只能生成几秒钟的视频,并且通常存在较大的视觉缺陷。
但其实文生图模型最初也面临着类似的问题,但仅仅几个月后就实现了照片级真实感。
不过与文生图模型不同的是,视频领域在训练和生成期间所需要的资源都要更比图像更多。
虽然谷歌已经研发出了Phenaki和Imagen Video模型,可以生成高分辨率、更长、逻辑连贯的视频片段,但公众无法使用到这两个模型;Meta的Make-a-Video模型也同样没有发布。
目前可用的工具仍然只有Runway的商用模型Gen-2,此次Zeroscope的发布也标志着文生视频领域第一个高质量开源模型的出现。
以上就是AI新风口?首个高质量「文生视频」模型Zeroscope引发开源大战:最低8G显存可跑的详细内容,更多请关注其它相关文章!
# 开源
# 目录下
# 谁能
# 更高
# 只需
# 还可以
# 首个
# 显存
# phenaki
# stable diffusion
# runway
# ai
# 高质量
# 天津优化网站哪个好
# seo专员职位职责
# 邯郸天猫网站推广介绍
# 营销推广怎么注册营业执照
# 巩义网站建设与推广方案
# 通州区网站建设好处
# 初级seo工程师
# 福州市网站推广服务外包
# seo精准营销分类
# 餐饮网站如何优化
# 上海
相关栏目:
【
行业新闻62819 】
【
科技资讯67470 】
相关推荐:
微软向美国政府提供GPT的大模型,安全性如何保证?
静安大宁功能区企业云天励飞亮相2025世界人工智能大会,秀出AI硬实力!
如何提高集群协作效率?中外团队合作研发基于均值偏移的机器人队形控制策略
小艺将具备大模型能力,鸿蒙4加速AI普及之路
美图公司影像节或发布AI设计新品
数字文明尼山对话 | 在东方圣城与AI潮流梦幻联动,看“智慧大脑”让数字山东更美好
三星加速AR眼镜进程,预计明年上半年亮相
“思享荟”沙龙热议AIGC与元宇宙 复旦大学赵星畅谈深度数字化
Prompt解锁语音语言模型生成能力,SpeechGen实现语音翻译、修补多项任务
苹果2万5的AR遭遇砍单95%:不及预期
陈根:AI工具为游戏软件实时3D内容助力
可按用户语气自动回复消息,Zoom 推出基于生成式 AI 的新功能
普林斯顿Infinigen矩阵开启!AI造物主100%创造大自然,逼真到炸裂
参议院司法听证会:AI 不易管控,有可能被恶意分子利用来研发生化武器
看懂AI,找到增长新势能 | 笔记侠AI峰会等你来
【趋势周报】全球人工智能产业发展趋势:OpenAI向美国专利局提交“GPT-5”商标申请
AI 作画工具 Midjourney 推出“pan”功能,可平移扩展图片外场景
特斯拉 Optimus 人形机器人入驻北美门店,帮助提升汽车销量
1.6亿美元收购Singularity AI,昆仑万维布局通用人工智能
腾讯机器狗进化:通过深度学习掌握自主决策能力
类GPT模型训练提速26.5%,清华朱军等人用INT4算法加速神经网络训练
物联网“僵尸网络DDos攻击”增长惊人,威胁全球电信网络
如何获得元宇宙的第一个属于自己的空间
AI连线 | 专访风平智能CEO林洪祥:让AI数字人拥有漂亮的外表和有趣的灵魂,安全问题是重要考量
用AI技术点亮老照片:Deep Nostalgia带给照片新生动感
联想首发AI PC于今年秋季,英特尔CEO确认AI PC时代来临
消息称苹果 iPhone 15 系列健康应用将深度融合 AI 技术
【机智云物联网低功耗转接板】远程环境数据采集探索
北京市通用人工智能产业创新伙伴计划名单公布,京东科技入选“算力伙伴”
会模仿笔迹的AI,为你创造专属字体
智能手机应用中的人工智能的重要性
美版贴吧8000小组自爆停摆!拒绝数据被谷歌OpenAI白嫖,CEO被网友骂翻:背刺第三方应用
【首发】首款“消化内镜手术机器人”进入临床尾声,ROBO医疗获数千万元A轮融资
探展WAIC | 第四范式“式说”聚焦toB大模型,布局生成式AI重构企业软件
2025 WAIC|美团无人机发布第四代新机型
苹果CEO库克:持续研究生成式人工智能技术
昌吉市利用无人机实现全天候河道动态巡检
美踏控股推出创新人工智能大数据模型“心乐舞河”:虚拟人音舞社交的新体验
人工智能驱动艺术,打开达利的超现实想象
如何利用AI工具写好本科论文:科技助你一臂之力
自研4D激光雷达L1 + GPT大语言模型 宇树Unitree Go2四足机器人有啥黑科技?
将上下文长度扩展到256k,无限上下文版本的LongLLaMA来了?
京东 AI 大模型官宣 7 月 13 日发布,还有重磅合作
复盘MWC上海:AI大模型时代到来 通信网络将会怎样改变?
机器人技能大比拼
国内首款大尺寸仿鸵双足机器人“大圣”亮相,穿戴红色战袍
人工智能产业竞跑“未来赛道” 创新发展放大“赋能”效应
携程发布旅游行业垂直大模型 梁建章:AI策略是做可靠的内容 放心的推荐
万魔推出AI主攻的运动耳机,开启十年研发新纪元
AI技术改变*,新骗局来袭,*成功率接近100%