选择你喜欢的标签
我们会为你匹配适合你的网址导航

    确认 跳过

    跳过将删除所有初始化信息

    您的位置:0XUCN > 资讯 > 技术
    新闻分类

    FramePack让普通 RTX 3060 笔记本也能生成高质量长视频。

    技术 PRO 稿源:开源星探 2025-05-10 18:18

    传统视频扩散模型(如 Stable Video Diffusion)因高显存需求和序列长度限制,难以在消费级硬件上运行。

    FramePack提出了一种下一帧预测神经网络结构,通过独特的压缩机制和抗漂移采样,解决了遗忘与漂移问题,不仅提升了视频连贯性和质量,还将显存需求降至惊人的 6GB。

    什么是 FramePack?

    FramePack是 AI 赛博佛祖-lllyasviel(张吕敏)新开源的一种全新的视频生成模型增强结构,它本质上是一个:

    高效、抗漂移的逐帧预测架构,可压缩输入语义并生成连贯、高清、任意时长的视频序列。

    理论上可以生成任意长度的视频,不会因为视频变长而显著增加资源消耗。

    核心亮点

    超低显存运行:仅需 6GB 显存(如 RTX3060) 即可运行;

    渐进式视频生成:采用下一帧/帧段预测结构,逐帧生成,理论上支持无限长视频;

    支持长视频生成:生成帧数不再影响资源消耗;

    抗遗忘 + 抗漂移结构:提升连贯性,防止画面“忘记起点”或偏离主题;

    高速推理:可与 13B 模型(如 SVD)结合,支持30FPS真实速率;

    友好界面:提供 Gradio 界面,支持图像到视频生成,操作直观。

    使用要求

    • 显卡:RTX 3060 6GB 即可运行

    • 系统:Linux/Windows (支持 PyTorch)

    • 推理速度:约 30 FPS,生成 150 帧视频仅需数分钟

    • 兼容性:可与现有 13B 视频扩散模型(如 SVD)无缝结合使用快速使用

    FramePack 的部署也叫简单,支持 Windows/Linux。

    Windows 系统作者直接提供了一键安装包,解压后即可直接使用,无需环境配置。

    安装包地址:https://github.com/lllyasviel/FramePack/releases/download/windows/framepack_cu126_torch26.7z

    PS:若无法下载,我也为大家下载好了,直接滑动到文末,按照指令提取即可。

    安装包下载到本地后,第一需要解压缩,第二要使用update.bat先进行更新,然后使用run.bat运行。

    请注意,这个过程中模型将自动下载,模型会有超过30GB的数据。

    至于Linux系统用户,还是先确保有Python 3.10+环境。

    克隆项目:

    git clone https://github.com/lllyasviel/FramePack.gitcd FramePack

    安装依赖:

    pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126pip install -r requirements.txt

    启动用户图形界面:

    python demo_gradio.py

    如上图,界面左侧可以上传图片并编写提示词,而右侧是生成的视频和预览。

    因为这是一个下一帧部分预测模型,视频将生成得越来越长。你将看到每个部分的进度条以及下一个部分的潜在预览。

    初始进展可能比后期扩散慢,因为设备可能需要一些预热。

    写在最后

    张吕敏作为AI技术领域的鼻祖,每一次开源都是王炸,都能给AI开源社区及生态带来一些改变。

    而这一次的 FramePack 直接解决了大部分人由于设备限制而无法体验到的开源大模型,毕竟以前你想要在本地体验下 SVD 效果,没有高配顶配显卡基本别玩了,而现在即使用以前抛弃的普通6GB显存笔记本也能玩起来了。

    说白了,FramePack 又带动了一个“AI新时代”的到来,让视频生成进入了超低显存时代!

    它是能够让“显卡小水管”跑出“AI 大电影”的黑科技!

    就是说视频 AI 基建又提升一个维度了,咱普通人也能在本地玩出大片质感!

    GitHub 项目地址:https://github.com/lllyasviel/FramePack

    0XU.CN

    [超站]友情链接:

    四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
    关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/

    图库
    公众号 关注网络尖刀微信公众号
    随时掌握互联网精彩
    赞助链接