CineGen‑AI:开源 AI 漫画与视频生成器

CineGen‑AI:开源 AI 漫画与视频生成器

如果你是漫画创作者、动画师,或者只是对技术充满好奇的叙事者,你一定看过把一行散文转成精美动画序列所耗费的时间。CineGen‑AI(可在 GitHub 的 Will‑Water/CineGen‑AI 找到)正面迎接这一挑战,提供 关键帧驱动的工作流程,既能保持叙事的紧凑,又能提高制作速度。


什么是 CineGen‑AI?

CineGen‑AI 是一个端到端的 AI 生产工作室,使用 TypeScript/React 建造,旨在创建 动效漫画动画短剧,无需专用后端。该平台融合了:

  • Google Gemini 2.5 Flash 用于高质量脚本解析、视觉提示生成和图像到图像的推断。
  • Veo 3.1‑Fast‑Generate‑Preview 用于即时关键帧插值,将静态图像转换为流畅视频。
  • IndexedDB 用作本地存储,保障隐私和零成本部署。

这样,结果是一个 工业级 工具,让用户可以直接从小说草稿过渡到接近最终的 MP4 文件。


核心功能

阶段 描述 关键工具
1 – 脚本与剧本框架 输入故事大纲;模型会自动将其拆分为场景、指定情绪,并输出适合剧本的提示。 Gemini‑flash(文本)
2 – 资产与角色设定 生成角色参考表和场景概念艺术,包含服装变体和一致的面部特征。 Gemini‑flash‑image
3 – 导演工作台 用户设计镜头网格,指定开始结束关键帧,并依赖情境感知生成来避免连贯性错误。 Veo‑interpolate
4 – 导出 实时预览、进度跟踪,并导出高分辨率关键帧以及可供 Premiere 或 After Effects 使用的 MP4 片段合集。 内置导出器

为什么采用关键帧驱动?

传统文本到视频(TTV)模型在场景连续性和镜头顺序方面表现不佳。CineGen‑AI 让用户 先绘制,再动画

  1. 绘画 – 为每个镜头生成精确的起始和结束帧。这些图像是固定的,遵循角色和场景的一致性。
  2. 动画 – Veo 在两帧之间进行插值,生成保持每个关键帧构图和灯光的视频。

这种方法产生自然外观的动效漫画,使每一帧都显得有意并视觉连贯。


快速设置指南

  1. 克隆仓库
    git clone https://github.com/Will-Water/CineGen-AI.git
    cd CineGen-AI
    
  2. 安装依赖
    npm install
    
  3. 配置 API 密钥 – 在根目录创建 .env 文件,或在 shell 中设置 GM_API_KEY
    echo "GM_API_KEY=YOUR_GEMINI_API_KEY" > .env
    
  4. 运行应用
    npm run dev
    
  5. 访问界面 – 在浏览器打开 http://localhost:5173

应用运行后,您可以在阶段 1 开始起草故事,在阶段 2 生成资产,随后在阶段 3 浏览剧本框架。当您对序列感到满意时,点击 导出 获取 MP4 和 PNG 资产。


用例

  • 独立漫画创作者 – 更快地将完成的故事推送到 Instagram、Webtoon 等平台。
  • 动画学生 – 在制作完整动画前原型化场景并测试相机角度。
  • 教育内容创作者 – 为科学或历史主题制作引人入胜的视觉故事。
  • 演示代表与 Pitch Deck – 快速生成产品或概念的短动画演示。

扩展 CineGen‑AI

由于它是开源的,社区可做出贡献: - 集成额外的模型后端(例如,用 Stable Diffusion 实现不同艺术风格)。 - 为高级相机装置或运动跟踪构建新插件。 - 贡献多语言本地化文件。

如果发现 bug 或有想法,请在 GitHub 上提出 issue —— 本项目欢迎贡献者!


最后想法

CineGen‑AI 不仅仅是一个演示,它是一个 完全功能、面向生产的 AI 工作室,将 控制权 恢复给叙事者。专注于一致性、速度和隐私,它为漫画与动画创作开启了新的前沿。

今天就来试试,分享你的创作,一同塑造 AI 驱动叙事的未来。


资源 | 资源 | 链接 | |----------|------| | GitHub 仓库 | https://github.com/Will-Water/CineGen-AI | | 演示站点 | https://aniktku.com (under construction) | | 文档 | Readme files in multiple languages (en, zh, ja, ko) |


CineGen‑AI:为创作者而建,由创作者打造.

原创文章: 查看原文

分享本文