O setor de mini-séries (short dramas) de IA está explodindo. Desde a adaptação de IPs de literatura web até a distribuição em plataformas de vídeos curtos, ferramentas que conseguem transformar rapidamente conteúdo textual em vídeos visualmente atraentes tornaram-se uma necessidade básica para criadores de conteúdo.
O Toonflow é uma ferramenta de código aberto para automação de mini-séries e mangás em vídeo, desenvolvida pela HBAI Ltd e disponível no GitHub (sob licença AGPL-3.0). Sua principal capacidade é pegar o texto de um romance ou roteiro e, através da IA, completar automaticamente todo o fluxo de extração de personagens, geração de roteiro, desenho de storyboards e síntese de vídeo.
O Toonflow não possui modelos de IA integrados; ele funciona como um motor de orquestração de Agentes de IA, coordenando três tipos de serviços externos de IA para realizar o trabalho:
| Tipo de Serviço de IA | Finalidade | Modelos Recomendados |
|---|---|---|
| Modelo de Linguagem Grande (LLM) | Análise de personagens, geração de roteiro, comandos de storyboard | GPT-4o, Claude 3.5 Sonnet, etc. |
| Modelo de geração de imagens | Imagem dos personagens, ilustrações de cenários, quadros de cena | Nano Banana Pro |
| Modelo de geração de vídeo | Conversão de quadros em clipes de vídeo | Sora, Doubao Video |
🚀 Começo Rápido: Os três tipos de serviços de API necessários para o Toonflow (LLM, geração de imagens e geração de vídeo) podem ser obtidos de forma centralizada através da APIYI (apiyi.com). Não é necessário se registrar em várias plataformas separadamente; você conclui toda a configuração em apenas 5 minutos.
Este artigo ajudará você a dar os primeiros passos com esta ferramenta de criação de mini-séries de IA através de três dimensões: funcionalidades principais, instalação/implantação e configuração de serviços de API.
4 Principais Funcionalidades da Ferramenta de Minisséries Toonflow AI
O Toonflow divide o fluxo de transformação de novelas em minisséries em 4 etapas automatizadas, cada uma impulsionada por seus respectivos serviços de AI:
Funcionalidade 1: Extração e Geração Automática de Personagens com AI
O Toonflow utiliza um Modelo de Linguagem Grande para realizar uma análise profunda do texto da novela original, identificando e extraindo automaticamente as informações dos personagens:
| Dimensão da Extração | Descrição | Exemplo |
|---|---|---|
| Características Físicas | Descrição da aparência do personagem, usada para gerar a ilustração do personagem | Cabelos longos pretos, olhos azuis, vestido longo branco |
| Traços de Personalidade | Padrões de comportamento e características psicológicas | Decidido e calmo, introvertido e sensível |
| Histórico e Identidade | Relações sociais e posicionamento na história | CEO da empresa, melhor amiga da protagonista |
| Cartão de Personagem | Cartão visual gerado com a combinação das informações acima | Contém a ilustração + introdução em texto |
A qualidade da extração de personagens determina diretamente a consistência dos personagens nas cenas subsequentes. Através de modelos de comandos estruturados, o Toonflow garante que as descrições de personagens geradas pelo LLM possam ser usadas diretamente como prompts para a geração de imagens.
Funcionalidade 2: Geração Inteligente de Roteiro e Storyboard
Após o usuário selecionar os capítulos que deseja adaptar, o Toonflow executa automaticamente:
- A conversão dos parágrafos da novela em um roteiro estruturado (incluindo diálogos, descrições de cena e instruções de palco).
- A geração de comandos de storyboard para cada cena (incluindo composição de primeiro plano, plano médio e fundo, dinâmica dos personagens, objetos e ângulos de câmera).
Esta etapa é totalmente realizada pelo LLM, e os comandos de storyboard gerados são enviados diretamente para o modelo de geração de imagens.
Funcionalidade 3: Geração de Imagens com AI e Desenho de Storyboard
O Toonflow envia os comandos de storyboard para a API de geração de imagens, criando automaticamente cada quadro do storyboard. Atualmente, os backends de geração de imagens suportados incluem:
- Nano Banana Pro: Suporta saída em resolução 4K, possui ótima consistência de personagens e suporte para renderização de texto em vários idiomas.
- Volcengine: O serviço de geração de imagens da linha Doubao.
Funcionalidade 4: Síntese de Vídeo com AI e Edição Online
Na última etapa, o Toonflow transforma as imagens do storyboard em clipes de vídeo dinâmicos através de APIs de geração de vídeo, oferecendo também uma função de edição online que permite aos usuários realizar ajustes personalizados nos resultados gerados.
Os serviços de geração de vídeo suportados incluem o Sora (OpenAI) e a API de geração de vídeo do Doubao.
Instalação e Implantação do Toonflow: 3 Maneiras de Escolher Conforme sua Necessidade
O Toonflow oferece três métodos de instalação: aplicativo de desktop para Windows, implantação via Docker e implantação manual.
Requisitos de Sistema do Toonflow
| Item | Requisito Mínimo |
|---|---|
| Node.js | v23.11.1 ou superior |
| Memória | 2GB+ |
| Sistema Operacional | Windows (versão desktop) / Linux (implantação em servidor) |
| Rede | Requer acesso a serviços externos de API de IA |
Opção 1: Aplicativo de Desktop para Windows (Recomendado para iniciantes)
Baixe o pacote de instalação Electron diretamente do GitHub Releases:
- Endereço do projeto no GitHub:
github.com/HBAI-Ltd/Toonflow-app - Usuário padrão:
admin - Senha padrão:
admin123
Basta baixar e instalar para começar a usar. A versão de desktop já vem com o serviço de backend integrado, dispensando a configuração extra de ambiente de execução.
Opção 2: Implantação via Docker (Recomendado para servidores)
# Clonar o projeto
git clone https://github.com/HBAI-Ltd/Toonflow-app.git
cd Toonflow-app
# Iniciar com um clique usando Docker Compose
docker-compose -f docker/docker-compose.yml up -d --build
Após iniciar, acesse http://localhost:60000 para entrar na interface de gerenciamento.
Opção 3: Implantação Manual (Ideal para desenvolvedores)
# Instalar dependências
yarn install
# Iniciar em modo de desenvolvimento (apenas backend, porta 60000)
yarn dev
# Iniciar aplicativo de desktop + backend simultaneamente
yarn dev:gui
# Build de produção
yarn build
Para a implantação manual, recomenda-se o uso do PM2 para o gerenciamento de processos, garantindo que o serviço funcione de forma estável.
Configuração de Serviços de API do Toonflow: Tutorial Completo de Integração para 3 Tipos de Interfaces de IA
Após concluir a instalação do Toonflow, você precisará configurar as interfaces de API para três tipos de serviços de IA para que ele funcione corretamente. Este é o passo mais crítico de todo o processo de configuração.
🎯 Sugestão de Configuração: Recomendamos o uso do APIYI (apiyi.com) como seu provedor unificado de serviços de API. Esta plataforma oferece uma interface única para APIs de LLM, geração de imagens e geração de vídeos, utilizando o mesmo
base_urle método de autenticação, o que simplifica drasticamente a configuração do Toonflow.
Configuração 1: Integração da API de Modelo de Linguagem Grande (LLM)
As funções de análise de personagem, geração de roteiro e geração de comandos de storyboard do Toonflow dependem de um LLM. Ao configurar, você deve fornecer uma interface de API compatível com o formato OpenAI.
Modelos Recomendados:
| Modelo | Cenário de Uso | Características |
|---|---|---|
| GPT-4o | Cenários gerais, alta qualidade de roteiro | Forte compreensão, saída estável |
| Claude 3.5 Sonnet | Análise de romances longos | Vantagem clara em janelas de contexto longas |
| DeepSeek V3 | Cenários sensíveis ao custo | Excelente custo-benefício |
| Gemini 1.5 Pro | Análise multimodal | Suporta entrada mista de texto e imagem |
Exemplo de Parâmetros de Configuração:
Preencha as seguintes informações na página de configurações do Toonflow:
Endereço da interface (base_url): https://api.apiyi.com/v1
Chave API: Sua Chave API
Nome do modelo: gpt-4o (ou outro modelo suportado)
💡 Dica: Após a configuração, você pode clicar no botão "Testar Modelo" na página de configurações do Toonflow para verificar a conectividade da API. Esta função foi adicionada na versão v1.0.2.
Configuração 2: Integração da API de Geração de Imagens Nano Banana Pro
O Nano Banana Pro é o modelo de geração de imagens recomendado para o Toonflow. Ele suporta os modos texto para imagem e imagem para imagem, com saída de até 4K de resolução.
Parâmetros Principais do Nano Banana Pro:
| Parâmetro | Descrição | Valor Recomendado |
|---|---|---|
| Nome do modelo | Parâmetro model na chamada da API |
nano-banana-pro |
| Resolução | Resolução da imagem de saída | 2K (para storyboard) ou 4K (para capas) |
| Proporção | Relação entre largura e altura | 16:9 (vídeos horizontais) ou 9:16 (vídeos verticais) |
| Controle de estilo | Estilo visual via comandos | Estilo anime, realista, aquarela, etc. |
Exemplo de Parâmetros de Configuração:
Endereço da interface (base_url): https://api.apiyi.com/v1
Chave API: Sua Chave API
Modelo de imagem: nano-banana-pro
O Nano Banana Pro apresenta um desempenho excelente em consistência facial, sendo ideal para a produção de séries curtas onde é necessário manter a mesma aparência do personagem em vários quadros.
Configuração 3: Integração da API de Geração de Vídeos Sora / Doubao
A geração de vídeos é a etapa final do fluxo de trabalho do Toonflow, transformando as imagens do storyboard em clipes de vídeo dinâmicos.
Serviços de Geração de Vídeo Suportados:
| Serviço | Características | Duração por Geração |
|---|---|---|
| Sora (OpenAI) | Excelente qualidade de imagem, movimento natural | Aprox. 5-20 segundos |
| Doubao Video | Ótima otimização para cenários em chinês | Aprox. 5-15 segundos |
Exemplo de Parâmetros de Configuração:
Endereço da interface (base_url): https://api.apiyi.com/v1
Chave API: Sua Chave API
Modelo de vídeo: sora (ou o nome do modelo Doubao correspondente)
💰 Dica de Custo: A geração de vídeo é a parte mais cara de todo o processo. Recomendamos primeiro usar a geração de imagens para confirmar se o efeito do storyboard está satisfatório antes de gerar os vídeos em lote. Utilizar a plataforma APIYI (apiyi.com) permite formas de cobrança mais flexíveis, ideais para controlar os custos de produção.
Fluxo de trabalho completo do Toonflow na prática: 5 passos do romance ao curta-metragem
Após concluir a configuração, aqui está o passo a passo completo para criar um curta-metragem de AI usando o Toonflow:
Passo 1: Criar o projeto e importar o romance
Na interface de gerenciamento do Toonflow, crie um novo projeto e importe o texto do romance (formato TXT). O sistema suporta a divisão automática por capítulos.
Passo 2: Extração de personagens por AI
Clique em "Gerar Personagens" e o sistema chamará automaticamente o LLM para analisar o texto completo, extrair as informações dos personagens principais e gerar cartões de personagens. Você pode ajustar manualmente as descrições para otimizar a geração de imagens posterior.
Passo 3: Selecionar capítulos e gerar o roteiro
Escolha os capítulos que deseja produzir e clique em "Gerar Roteiro". O LLM transformará os parágrafos do romance em um roteiro estruturado com diálogos e indicações de cena.
Passo 4: Geração de imagens de storyboard
O sistema gera automaticamente os comandos (prompts) de storyboard com base no roteiro e utiliza o Nano Banana Pro para gerar cada quadro. Nesta etapa, você pode visualizar e ajustar quadro a quadro.
Passo 5: Síntese e edição de vídeo
Após confirmar o storyboard, utilize as APIs de vídeo do Sora ou Doubao para transformar as imagens estáticas em vídeos dinâmicos. O Toonflow oferece um editor online para os ajustes finais.
Arquitetura técnica e informações de desenvolvimento do Toonflow
| Stack Tecnológica | Implementação Específica |
|---|---|
| Framework de Backend | Node.js + Express + TypeScript |
| Banco de Dados | SQLite3 (better-sqlite3) |
| SDK de AI | Vercel AI SDK, Middleware Aigne |
| Processamento de Imagem | Sharp |
| Aplicativo Desktop | Electron |
| Cliente HTTP | Axios |
| Validação de Parâmetros | Zod |
| Gerenciamento de Processos | PM2 (ambiente de produção) |
| Conteinerização | Docker + Docker Compose |
O projeto Toonflow adota a licença de código aberto AGPL-3.0, sendo gratuito para uso pessoal e não comercial. Para uso comercial, é necessário entrar em contato com a HBAI Ltd para obter a autorização comercial (e-mail de contato: [email protected]).
Toonflow: Perguntas Frequentes (FAQ)
Q1: O Toonflow precisa de uma GPU local?
Não. O Toonflow em si é apenas uma ferramenta de orquestração; todas as tarefas de inferência de IA são realizadas via API remota. Seu computador só precisa ser capaz de rodar Node.js e um navegador. Ao conectar os serviços de API através da APIYI (apiyi.com), você não precisa se preocupar com recursos de GPU.
Q2: Quais modelos de geração de imagens o Toonflow suporta?
Atualmente, o suporte principal é para o Nano Banana Pro e a geração de imagens da Volcengine. O Nano Banana Pro suporta resolução de até 4K e possui um excelente desempenho em consistência de personagens, sendo a escolha ideal para desenhar storyboards de webséries. Você pode fazer a invocação do modelo Nano Banana Pro diretamente pela plataforma APIYI (apiyi.com).
Q3: Qual é o custo aproximado de API para produzir um episódio de uma websérie?
O custo depende da duração do capítulo e do número de storyboards. De modo geral:
- Invocação de LLM (análise de personagens + roteiro + comandos de storyboard): cerca de $0,5 – $2
- Geração de imagens (20-50 storyboards): cerca de $1 – $5
- Geração de vídeo (20-50 clipes): cerca de $10 – $50
A geração de vídeo representa o maior custo. Sugerimos otimizar seus gastos utilizando o sistema de tarifação flexível da APIYI (apiyi.com).
Q4: O Toonflow tem um roadmap?
O planejamento do projeto inclui as seguintes funcionalidades:
- Agent de refinamento de Prompt (otimização inteligente de comandos de vídeo)
- Suporte a múltiplos formatos de texto (roteiros de quadrinhos, diálogos de jogos, etc.)
- Gerenciamento de roupas e acessórios de personagens (consistência em produções longas)
- Fila de processamento de tarefas em lote
- Modelos de conversão de estilo com um clique
Resumo da ferramenta de webséries de IA Toonflow
O Toonflow oferece uma solução de automação completa para a produção de webséries de IA, simplificando o fluxo de transformar uma novel em vídeo, passando de uma operação manual para uma linha de produção de IA. Seus valores centrais são:
- Automação de todo o fluxo: Extração de personagens → Geração de roteiro → Desenho de storyboards → Síntese de vídeo, tudo em um só lugar.
- Código aberto e gratuito: Licença AGPL-3.0, com custo zero para uso pessoal.
- Backend de IA flexível: Suporta diversos LLMs e modelos de geração de imagens e vídeos, sem prender o usuário a um fornecedor específico.
- Múltiplas formas de implantação: Aplicativo de desktop, Docker ou instalação manual, adaptando-se a diferentes cenários de uso.
Recomendamos utilizar a APIYI (apiyi.com) para centralizar todos os serviços de API de IA necessários para o Toonflow. Com interface e faturamento unificados, você configura tudo rapidamente e já pode começar a criar.
Referências
-
Repositório GitHub do Toonflow: Projeto oficial de código aberto
- Link:
github.com/HBAI-Ltd/Toonflow-app - Descrição: Contém o código-fonte, documentação de instalação e lançamentos de versão (releases).
- Link:
-
Mirror do Toonflow no Gitee: Acesso acelerado para regiões específicas
- Link:
gitee.com/HBAI-Ltd/Toonflow-app - Descrição: Recomendado para ambientes de rede com latência ou restrições ao GitHub.
- Link:
-
Documentação oficial da APIYI: Guia de acesso aos serviços de API de IA
- Link:
help.apiyi.com - Descrição: Tutoriais de uso para APIs de LLM, geração de imagens e geração de vídeos.
- Link:
Este artigo foi escrito pela equipe técnica da APIYI, com foco em aplicações de Modelos de Linguagem Grandes e práticas de desenvolvimento. Para mais tutoriais técnicos, visite APIYI em apiyi.com.
