|

用 Toonflow 實現 AI 短劇自動化製作:3 步完成小說轉視頻全流程配置

toonflow-ai-short-drama-comic-tool-api-guide-zh-hant 图示

AI 短劇賽道正在爆發。從網文 IP 改編到短視頻平臺分發,能快速將文字內容轉化爲可視化短劇的工具,已經成爲內容創作者的剛需。

Toonflow 是一款開源的 AI 短劇 / 漫劇自動化製作工具,由 HBAI Ltd 開發並在 GitHub 上開源(AGPL-3.0 協議)。它的核心能力是將小說或劇本文本,通過 AI 自動完成角色提取、劇本生成、分鏡繪製和視頻合成的全流程。

Toonflow 本身不內置 AI 模型,而是作爲 AI Agent 編排引擎,協調 3 類外部 AI 服務來完成工作:

AI 服務類型 用途 推薦模型
大語言模型(LLM) 角色分析、劇本生成、分鏡提示詞 GPT-4o、Claude 4 Sonnet 等
圖片生成模型 角色形象、場景插圖、分鏡畫面 Nano Banana Pro
視頻生成模型 分鏡畫面轉視頻片段 Sora、豆包視頻

🚀 快速開始:Toonflow 所需的 LLM、圖片生成、視頻生成 3 類 API 服務,均可通過 API易 apiyi.com 一站式獲取,無需分別註冊多個平臺,5 分鐘完成全部配置。

本文將從 Toonflow 的核心功能介紹、安裝部署、API 服務配置 3 個維度,幫你快速上手這款 AI 短劇製作工具。


Toonflow AI 短劇工具的 4 大核心功能

Toonflow 將小說轉短劇的流程拆解爲 4 個自動化階段,每個階段都由對應的 AI 服務驅動:

功能一:AI 角色自動提取與生成

Toonflow 會調用大語言模型對輸入的小說文本進行深度分析,自動識別並提取角色信息:

提取維度 說明 示例
外貌特徵 角色的外表描述,用於生成角色立繪 黑色長髮、藍色眼眸、白色長裙
性格特質 角色的行爲模式和心理特徵 果斷冷靜、內向敏感
身份背景 角色的社會關係和故事定位 公司 CEO、女主閨蜜
角色卡片 綜合以上信息生成的視覺化角色卡 包含立繪 + 文字介紹

角色提取的質量直接決定後續分鏡畫面的角色一致性。Toonflow 通過結構化的提示詞模板,確保 LLM 輸出的角色描述可以直接作爲圖片生成的 prompt。

功能二:智能劇本與分鏡生成

用戶選擇需要改編的章節後,Toonflow 會自動:

  1. 將小說段落轉化爲結構化劇本(包含對白、場景描述、舞臺指示)
  2. 爲每個場景生成分鏡提示詞(包含前景、中景、背景構圖、角色動態、道具、鏡頭角度)

這一步完全由 LLM 完成,生成的分鏡提示詞會直接傳遞給圖片生成模型。

功能三:AI 圖片生成與分鏡繪製

Toonflow 將分鏡提示詞發送到圖片生成 API,自動生成每一幀分鏡畫面。目前支持的圖片生成後端包括:

  • Nano Banana Pro:支持 4K 分辨率輸出,角色一致性好,支持多語言文字渲染
  • 火山引擎:豆包旗下的圖片生成服務

toonflow-ai-short-drama-comic-tool-api-guide-zh-hant 图示

功能四:AI 視頻合成與在線編輯

最後一步,Toonflow 將分鏡圖片通過視頻生成 API 轉化爲動態視頻片段,並提供在線編輯功能,支持用戶對生成結果進行個性化調整。

支持的視頻生成服務包括 Sora(OpenAI)和豆包視頻生成 API。


Toonflow 安裝部署:3 種方式按需選擇

Toonflow 提供 Windows 桌面應用、Docker 部署和手動部署 3 種安裝方式。

Toonflow 系統要求

項目 最低要求
Node.js v23.11.1 或更高
內存 2GB+
操作系統 Windows(桌面版)/ Linux(服務器部署)
網絡 需要訪問外部 AI API 服務

方式一:Windows 桌面應用(推薦新手)

直接從 GitHub Releases 下載 Electron 桌面安裝包:

  • GitHub 項目地址: github.com/HBAI-Ltd/Toonflow-app
  • 默認登錄賬號: admin
  • 默認登錄密碼: admin123

下載安裝後即可運行,桌面版內置了後端服務,無需額外配置運行環境。

方式二:Docker 部署(推薦服務器)

# 克隆項目
git clone https://github.com/HBAI-Ltd/Toonflow-app.git
cd Toonflow-app

# 使用 Docker Compose 一鍵啓動
docker-compose -f docker/docker-compose.yml up -d --build

啓動後訪問 http://localhost:60000 進入管理界面。

方式三:手動部署(適合開發者)

# 安裝依賴
yarn install

# 開發模式啓動(僅後端,端口 60000)
yarn dev

# 桌面應用 + 後端同時啓動
yarn dev:gui

# 生產構建
yarn build

手動部署時建議使用 PM2 進行進程管理,確保服務穩定運行。


Toonflow API 服務配置:3 類 AI 接口完整對接教程

Toonflow 安裝完成後,需要配置 3 類 AI 服務的 API 接口才能正常使用。這是整個配置過程中最關鍵的一步。

🎯 配置建議:推薦使用 API易 apiyi.com 作爲統一的 API 服務提供商。該平臺同時提供 LLM、圖片生成、視頻生成 3 類 API 的統一接口,使用相同的 base_url 和認證方式,大幅簡化 Toonflow 的配置工作。

<!– 背景 –>

<!– 標題 –> Toonflow API 配置參數對照 3 類 AI 服務使用相同的 base_url · 統一接口一次配置

<!– 列1: LLM API –> LLM 大語言模型

<!– LLM 參數 –> 接口地址 api.apiyi.com/v1

推薦模型 GPT-4o Claude 4 Sonnet DeepSeek V3 Gemini 2.5 Pro

用途 • 角色信息自動提取 • 結構化劇本生成 • 分鏡提示詞編寫 • 對白和場景描述

單集成本估算 $0.5 – $2

OpenAI 兼容格式 v1.0.2+ 支持模型檢測

<!– 列2: 圖片生成 API –> 圖片生成模型

<!– 圖片生成參數 –> 接口地址 api.apiyi.com/v1

推薦模型 Nano Banana Pro 火山引擎

核心參數 • 分辨率: 1K / 2K / 4K • 比例: 16:9 / 9:16 / 1:1 • 模式: 文生圖 / 圖生圖 • 風格: 動漫 / 寫實 / 水彩

用途 • 角色立繪和角色卡 • 分鏡畫面生成 • 場景背景插圖

單集成本估算 $1 – $5

<!– 列3: 視頻生成 API –> 視頻生成模型

<!– 視頻生成參數 –> 接口地址 api.apiyi.com/v1

推薦模型 Sora 豆包視頻

核心參數 • 時長: 5-20 秒/片段 • 輸入: 分鏡圖片 + 提示詞 • 分辨率: 720p / 1080p • 格式: MP4 輸出

用途 • 分鏡畫面動態化 • 角色動作生成 • 場景轉場效果

單集成本估算 $10 – $50

<!– 底部統一標註 –> 以上 3 類服務均可通過 API易 apiyi.com 統一接口獲取 · 相同 base_url 和 API Key · 一次配置即可使用

配置一:大語言模型(LLM)API 接入

Toonflow 的角色分析、劇本生成、分鏡提示詞生成功能均依賴 LLM。配置時需要提供 OpenAI 兼容格式的 API 接口。

推薦模型選擇

模型 適用場景 特點
GPT-4o 通用場景,劇本質量高 理解力強,輸出穩定
Claude 4 Sonnet 長篇小說分析 長上下文優勢明顯
DeepSeek V3 成本敏感場景 性價比高
Gemini 2.5 Pro 多模態分析 支持圖文混合輸入

配置參數示例

在 Toonflow 設置頁面填入以下信息:

接口地址(base_url): https://api.apiyi.com/v1
API Key: 你的 API Key
模型名稱: gpt-4o(或其他支持的模型)

💡 提示:配置完成後,可以點擊 Toonflow 設置頁面中的「模型檢測」按鈕,驗證 API 連通性是否正常。這個功能在 v1.0.2 版本中新增。

配置二:Nano Banana Pro 圖片生成 API 接入

Nano Banana Pro 是 Toonflow 推薦的圖片生成模型,支持文生圖(text-to-image)和圖生圖(image-to-image)兩種模式,最高支持 4K 分辨率輸出。

Nano Banana Pro 核心參數

參數 說明 推薦值
模型名稱 API 調用時的 model 參數 nano-banana-pro
分辨率 輸出圖片分辨率 2K(分鏡用)或 4K(封面用)
圖片比例 寬高比 16:9(橫版短劇)或 9:16(豎版短劇)
風格控制 通過提示詞控制畫風 動漫風、寫實風、水彩風等

配置參數示例

接口地址(base_url): https://api.apiyi.com/v1
API Key: 你的 API Key
圖片模型: nano-banana-pro

Nano Banana Pro 的角色一致性表現優秀,特別適合需要在多個分鏡中保持同一角色形象的短劇製作場景。

配置三:Sora / 豆包視頻生成 API 接入

視頻生成是 Toonflow 工作流的最後一步。將分鏡圖片轉化爲動態視頻片段。

支持的視頻生成服務

服務 特點 單次生成時長
Sora(OpenAI) 畫質優秀,運動自然 約 5-20 秒
豆包視頻 中文場景優化好 約 5-15 秒

配置參數示例

接口地址(base_url): https://api.apiyi.com/v1
API Key: 你的 API Key
視頻模型: sora(或對應的豆包模型名稱)

💰 成本提示:視頻生成是整個流程中成本最高的環節。建議先用圖片生成確認分鏡效果滿意後,再批量生成視頻。通過 API易 apiyi.com 平臺調用可以獲得更靈活的計費方式,適合控制短劇製作成本。


Toonflow 完整工作流實戰:從小說到短劇的 5 步操作

配置完成後,以下是使用 Toonflow 製作一部 AI 短劇的完整操作流程:

第 1 步:創建項目並導入小說

在 Toonflow 管理界面創建新項目,將小說文本(TXT 格式)導入系統。支持按章節自動分割。

第 2 步:AI 角色提取

點擊「角色生成」,系統自動調用 LLM 分析全文,提取主要角色信息並生成角色卡片。可以手動調整角色描述以優化後續畫面生成效果。

第 3 步:選章生成劇本

選擇要製作的章節,點擊「劇本生成」。LLM 會將小說段落轉化爲帶有對白和場景指示的結構化劇本。

第 4 步:分鏡圖片生成

系統根據劇本自動生成分鏡提示詞,並調用 Nano Banana Pro 生成每幀畫面。這一步可以逐幀預覽和調整。

第 5 步:視頻合成與編輯

確認分鏡效果後,調用 Sora 或豆包視頻 API 將靜態畫面轉化爲動態視頻。Toonflow 提供在線編輯器進行最終調整。


Toonflow 技術架構與開發信息

技術棧 具體實現
後端框架 Node.js + Express + TypeScript
數據庫 SQLite3(better-sqlite3)
AI SDK Vercel AI SDK、Aigne 中間件
圖片處理 Sharp
桌面應用 Electron
HTTP 客戶端 Axios
參數校驗 Zod
進程管理 PM2(生產環境)
容器化 Docker + Docker Compose

Toonflow 項目採用 AGPL-3.0 開源協議,個人和非商業使用免費。商業使用需要聯繫 HBAI Ltd 獲取商業授權(聯繫郵箱: [email protected])。


Toonflow 常見問題 FAQ

Q1:Toonflow 需要本地 GPU 嗎?

不需要。Toonflow 本身只是一個編排工具,所有 AI 推理任務都通過遠程 API 完成。你的電腦只需要能運行 Node.js 和瀏覽器即可。通過 API易 apiyi.com 接入 API 服務後,無需關心 GPU 資源。

Q2:Toonflow 支持哪些圖片生成模型?

目前主要支持 Nano Banana Pro 和火山引擎圖片生成。其中 Nano Banana Pro 支持最高 4K 分辨率,角色一致性表現優秀,是短劇分鏡繪製的首選。在 API易 apiyi.com 平臺可以直接調用 Nano Banana Pro 模型。

Q3:製作一集短劇的 API 成本大約多少?

成本取決於章節長度和分鏡數量。一般來說:

  • LLM 調用(角色分析 + 劇本 + 分鏡提示詞):約 $0.5-2
  • 圖片生成(20-50 張分鏡):約 $1-5
  • 視頻生成(20-50 個片段):約 $10-50

視頻生成是主要成本。建議通過 API易 apiyi.com 的靈活計費方式優化支出。

Q4:Toonflow 有路線圖嗎?

項目規劃了以下功能:

  • Prompt 精修 Agent(智能視頻提示詞優化)
  • 多格式文本支持(漫畫腳本、遊戲對話等)
  • 角色服裝和道具管理(長篇一致性)
  • 批量處理任務隊列
  • 一鍵風格轉換模板

Toonflow AI 短劇工具總結

Toonflow 爲 AI 短劇製作提供了一套完整的自動化解決方案,將小說轉短劇的流程從人工操作簡化爲 AI 流水線。它的核心價值在於:

  1. 全流程自動化:角色提取 → 劇本生成 → 分鏡繪製 → 視頻合成,一站式完成
  2. 開源免費:AGPL-3.0 協議,個人使用零成本
  3. 靈活的 AI 後端:支持多種 LLM、圖片和視頻生成模型,不鎖定特定供應商
  4. 多種部署方式:桌面應用、Docker、手動部署,適配不同使用場景

推薦通過 API易 apiyi.com 一站式獲取 Toonflow 所需的全部 AI API 服務,統一接口、統一計費,快速完成配置開始創作。


參考資料

  1. Toonflow GitHub 倉庫: 官方開源項目

    • 鏈接: github.com/HBAI-Ltd/Toonflow-app
    • 說明: 包含源碼、安裝文檔和版本發佈
  2. Toonflow Gitee 鏡像: 國內訪問加速

    • 鏈接: gitee.com/HBAI-Ltd/Toonflow-app
    • 說明: 適合國內網絡環境
  3. API易官方文檔: AI API 服務接入指南

    • 鏈接: help.apiyi.com
    • 說明: LLM、圖片生成、視頻生成 API 使用教程

本文由 APIYI 技術團隊撰寫,關注 AI 大模型應用與開發實踐。更多技術教程請訪問 API易 apiyi.com。

Similar Posts