Le secteur des mini-séries IA est en pleine explosion. De l'adaptation de web-romans à la diffusion sur les plateformes de vidéos courtes, les outils capables de transformer rapidement du texte en contenu visuel sont devenus indispensables pour les créateurs de contenu.
Toonflow est un outil open source d'automatisation pour les mini-séries et les mangas animés par IA, développé par HBAI Ltd et disponible sur GitHub (sous licence AGPL-3.0). Sa force réside dans sa capacité à prendre un roman ou un scénario et à gérer automatiquement tout le processus : extraction des personnages, génération du script, dessin du story-board et synthèse vidéo.
Toonflow n'intègre pas de modèles IA en interne ; il fonctionne comme un moteur d'orchestration d'agents IA, coordonnant trois types de services IA externes pour accomplir le travail :
| Type de service IA | Utilisation | Modèles recommandés |
|---|---|---|
| Grand modèle de langage (LLM) | Analyse des personnages, génération de script, invites de story-board | GPT-4o, Claude 3.5 Sonnet, etc. |
| Modèle de génération d'images | Apparence des personnages, illustrations de scènes, visuels de story-board | Nano Banana Pro |
| Modèle de génération de vidéo | Conversion d'images en clips vidéo | Sora, Doubao Video |
🚀 Démarrage rapide : Les trois types de services API nécessaires à Toonflow (LLM, génération d'images et vidéo) peuvent tous être obtenus via le service proxy API APIYI (apiyi.com). Pas besoin de s'inscrire sur plusieurs plateformes, la configuration complète se fait en 5 minutes.
Cet article vous guidera à travers les fonctionnalités clés de Toonflow, son installation et le paramétrage des services API pour vous aider à prendre en main rapidement cet outil de création de mini-séries IA.
Les 4 fonctionnalités clés de l'outil de mini-séries Toonflow AI
Toonflow décompose le processus de transformation d'un roman en mini-série en 4 étapes automatisées, chacune pilotée par des services d'IA correspondants :
Fonctionnalité 1 : Extraction et génération automatique de personnages par IA
Toonflow utilise un grand modèle de langage pour analyser en profondeur le texte du roman, identifiant et extrayant automatiquement les informations sur les personnages :
| Dimension d'extraction | Description | Exemple |
|---|---|---|
| Caractéristiques physiques | Description de l'apparence, utilisée pour générer le design du personnage | Longs cheveux noirs, yeux bleus, robe blanche |
| Traits de personnalité | Modes de comportement et caractéristiques psychologiques | Décidé et calme, introverti et sensible |
| Identité et contexte | Relations sociales et rôle dans l'histoire | PDG de l'entreprise, meilleure amie de l'héroïne |
| Fiche de personnage | Carte visuelle générée combinant les informations ci-dessus | Comprend le design visuel + une présentation textuelle |
La qualité de l'extraction des personnages détermine directement la cohérence faciale dans les plans du storyboard. Grâce à des modèles d'invites structurés, Toonflow s'assure que les descriptions générées par le LLM peuvent être directement utilisées comme invites pour la génération d'images.
Fonctionnalité 2 : Génération intelligente de scripts et de storyboards
Une fois que l'utilisateur a choisi les chapitres à adapter, Toonflow automatise les tâches suivantes :
- Conversion des paragraphes du roman en un script structuré (incluant les dialogues, les descriptions de scènes et les indications scéniques).
- Génération d'invites de storyboard pour chaque scène (incluant la composition du premier plan, du plan moyen et de l'arrière-plan, la dynamique des personnages, les accessoires et les angles de caméra).
Cette étape est entièrement réalisée par le LLM, et les invites de storyboard générées sont transmises directement au modèle de génération d'images.
Fonctionnalité 3 : Génération d'images par IA et dessin de storyboard
Toonflow envoie les invites de storyboard à l'API de génération d'images pour créer automatiquement chaque image du storyboard. Les moteurs de rendu actuellement pris en charge incluent :
- Nano Banana Pro : Supporte une résolution 4K, offre une excellente cohérence des personnages et permet le rendu de texte multilingue.
- Volcengine : Le service de génération d'images de la gamme Doubao.
Fonctionnalité 4 : Synthèse vidéo par IA et édition en ligne
Enfin, Toonflow transforme les images du storyboard en clips vidéo dynamiques via l'API de génération vidéo, et propose une fonction d'édition en ligne permettant aux utilisateurs de personnaliser les résultats générés.
Les services de génération vidéo pris en charge incluent Sora (OpenAI) et l'API de génération vidéo de Doubao.
Installation et déploiement de Toonflow : 3 méthodes selon vos besoins
Toonflow propose trois modes d'installation : application de bureau Windows, déploiement Docker et déploiement manuel.
Configuration requise pour Toonflow
| Élément | Exigence minimale |
|---|---|
| Node.js | v23.11.1 ou supérieure |
| Mémoire vive (RAM) | 2 Go+ |
| Système d'exploitation | Windows (version bureau) / Linux (déploiement serveur) |
| Réseau | Accès requis aux services API IA externes |
Méthode 1 : Application de bureau Windows (Recommandé pour les débutants)
Téléchargez directement le pack d'installation Electron depuis les Releases GitHub :
- Adresse du projet GitHub :
github.com/HBAI-Ltd/Toonflow-app - Identifiant par défaut :
admin - Mot de passe par défaut :
admin123
Une fois téléchargé et installé, vous pouvez le lancer immédiatement. La version de bureau intègre déjà le service backend, aucune configuration d'environnement supplémentaire n'est nécessaire.
Méthode 2 : Déploiement Docker (Recommandé pour les serveurs)
# Cloner le projet
git clone https://github.com/HBAI-Ltd/Toonflow-app.git
cd Toonflow-app
# Lancer en un clic avec Docker Compose
docker-compose -f docker/docker-compose.yml up -d --build
Après le démarrage, accédez à http://localhost:60000 pour entrer dans l'interface d'administration.
Méthode 3 : Déploiement manuel (Pour les développeurs)
# Installer les dépendances
yarn install
# Démarrer en mode développement (backend uniquement, port 60000)
yarn dev
# Démarrer simultanément l'application de bureau + le backend
yarn dev:gui
# Build pour la production
yarn build
Pour un déploiement manuel, il est conseillé d'utiliser PM2 pour la gestion des processus afin de garantir la stabilité du service.
Configuration des services API Toonflow : Tutoriel complet pour l'intégration des 3 types d'interfaces IA
Une fois Toonflow installé, vous devez configurer les interfaces API pour trois types de services IA afin de pouvoir l'utiliser normalement. C'est l'étape la plus cruciale de tout le processus de configuration.
🎯 Conseil de configuration : Nous vous recommandons d'utiliser APIYI (apiyi.com) comme fournisseur de services API unique. Cette plateforme propose une interface unifiée pour les API LLM, de génération d'images et de vidéos, utilisant la même base_url et le même mode d'authentification, ce qui simplifie considérablement la configuration de Toonflow.
Configuration 1 : Accès à l'API du Grand Modèle de Langage (LLM)
Les fonctions d'analyse de personnages, de génération de scripts et de création d'invites pour storyboards de Toonflow dépendent toutes d'un LLM. Lors de la configuration, vous devez fournir une interface API au format compatible OpenAI.
Modèles recommandés :
| Modèle | Scénario d'utilisation | Caractéristiques |
|---|---|---|
| GPT-4o | Scénarios généraux, scripts de haute qualité | Grande capacité de compréhension, sortie stable |
| Claude 3.5 Sonnet | Analyse de romans longs | Avantage net sur la fenêtre de contexte longue |
| DeepSeek V3 | Scénarios sensibles aux coûts | Excellent rapport qualité-prix |
| Gemini 1.5 Pro | Analyse multimodale | Supporte les entrées mixtes texte/image |
Exemple de paramètres de configuration :
Remplissez les informations suivantes dans la page des paramètres de Toonflow :
Adresse de l'interface (base_url) : https://api.apiyi.com/v1
Clé API : Votre clé API
Nom du modèle : gpt-4o (ou tout autre modèle supporté)
💡 Astuce : Une fois la configuration terminée, vous pouvez cliquer sur le bouton « Test du modèle » dans la page des paramètres de Toonflow pour vérifier la connectivité de l'API. Cette fonctionnalité a été ajoutée dans la version v1.0.2.
Configuration 2 : Accès à l'API de génération d'images Nano Banana Pro
Nano Banana Pro est le modèle de génération d'images recommandé par Toonflow. Il supporte les modes texte vers image et image vers image, avec une sortie pouvant atteindre une résolution 4K.
Paramètres clés de Nano Banana Pro :
| Paramètre | Description | Valeur recommandée |
|---|---|---|
| Nom du modèle | Paramètre model lors de l'appel API |
nano-banana-pro |
| Résolution | Résolution de l'image de sortie | 2K (pour storyboards) ou 4K (pour couvertures) |
| Ratio d'image | Rapport largeur/hauteur | 16:9 (format paysage) ou 9:16 (format portrait) |
| Contrôle du style | Contrôle du style via les invites | Anime, réaliste, aquarelle, etc. |
Exemple de paramètres de configuration :
Adresse de l'interface (base_url) : https://api.apiyi.com/v1
Clé API : Votre clé API
Modèle d'image : nano-banana-pro
Nano Banana Pro offre d'excellentes performances en matière de cohérence faciale, ce qui est idéal pour la production de vidéos courtes nécessitant de conserver le même personnage à travers plusieurs plans.
Configuration 3 : Accès à l'API de génération de vidéos Sora / Doubao
La génération de vidéos est la dernière étape du flux de travail Toonflow. Elle transforme les images du storyboard en clips vidéo dynamiques.
Services de génération de vidéos supportés :
| Service | Caractéristiques | Durée par génération |
|---|---|---|
| Sora (OpenAI) | Excellente qualité d'image, mouvements naturels | Env. 5-20 secondes |
| Doubao Video | Bonne optimisation pour les contextes chinois | Env. 5-15 secondes |
Exemple de paramètres de configuration :
Adresse de l'interface (base_url) : https://api.apiyi.com/v1
Clé API : Votre clé API
Modèle vidéo : sora (ou le nom du modèle Doubao correspondant)
💰 Note sur les coûts : La génération de vidéos est l'étape la plus coûteuse du processus. Il est conseillé de valider d'abord le rendu du storyboard avec la génération d'images avant de lancer la génération de vidéos en masse. Passer par la plateforme APIYI (apiyi.com) permet de bénéficier d'une facturation plus flexible, idéale pour maîtriser les coûts de production de vos vidéos.
Guide pratique du workflow complet Toonflow : 5 étapes pour passer du roman au court-métrage
Une fois la configuration terminée, voici le processus complet pour créer un court-métrage IA avec Toonflow :
Étape 1 : Créer un projet et importer le roman
Dans l'interface d'administration de Toonflow, créez un nouveau projet et importez le texte de votre roman (au format TXT). Le système prend en charge la segmentation automatique par chapitre.
Étape 2 : Extraction des personnages par l'IA
Cliquez sur « Génération de personnages ». Le système appelle automatiquement un grand modèle de langage pour analyser l'intégralité du texte, extraire les informations des personnages principaux et générer des fiches de personnages. Vous pouvez ajuster manuellement les descriptions pour optimiser la génération ultérieure des images.
Étape 3 : Sélection des chapitres et génération du script
Choisissez les chapitres que vous souhaitez produire et cliquez sur « Génération de script ». Le grand modèle de langage transformera les paragraphes du roman en un script structuré comprenant les dialogues et les indications de mise en scène.
Étape 4 : Génération des images du storyboard
Le système génère automatiquement des invites de storyboard basées sur le script et fait appel à Nano Banana Pro pour générer chaque image. Cette étape permet de prévisualiser et d'ajuster le rendu image par image.
Étape 5 : Synthèse vidéo et montage
Une fois le storyboard validé, utilisez les API vidéo de Sora ou Doubao pour transformer les images statiques en vidéos dynamiques. Toonflow propose un éditeur en ligne pour effectuer les derniers ajustements.
Architecture technique et informations de développement de Toonflow
| Pile technologique | Implémentation spécifique |
|---|---|
| Framework Backend | Node.js + Express + TypeScript |
| Base de données | SQLite3 (better-sqlite3) |
| SDK IA | Vercel AI SDK, middleware Aigne |
| Traitement d'images | Sharp |
| Application de bureau | Electron |
| Client HTTP | Axios |
| Validation des paramètres | Zod |
| Gestion des processus | PM2 (environnement de production) |
| Conteneurisation | Docker + Docker Compose |
Le projet Toonflow est publié sous licence open-source AGPL-3.0. Son utilisation est gratuite pour un usage personnel et non commercial. Pour un usage commercial, veuillez contacter HBAI Ltd pour obtenir une licence commerciale (e-mail de contact : [email protected]).
FAQ Toonflow : Questions fréquentes
Q1 : Toonflow nécessite-t-il un GPU local ?
Pas du tout. Toonflow est avant tout un outil d'orchestration. Toutes les tâches d'inférence IA sont effectuées via des API distantes. Votre ordinateur a seulement besoin de pouvoir exécuter Node.js et un navigateur web. En passant par le service proxy API de APIYI (apiyi.com), vous n'avez plus à vous soucier des ressources GPU.
Q2 : Quels modèles de génération d'images sont supportés par Toonflow ?
Actuellement, l'outil supporte principalement Nano Banana Pro et la génération d'images de Volcengine. Nano Banana Pro est particulièrement recommandé car il supporte une résolution allant jusqu'au 4K et offre une excellente cohérence des personnages, ce qui en fait le choix idéal pour le storyboard de mini-séries. Vous pouvez appeler directement le modèle Nano Banana Pro via la plateforme APIYI (apiyi.com).
Q3 : Quel est le coût approximatif en API pour produire un épisode ?
Le coût dépend de la longueur du chapitre et du nombre de plans (storyboard). En règle générale :
- Invocation du LLM (analyse des personnages + script + invites de storyboard) : environ 0,5 $ – 2 $
- Génération d'images (20 à 50 plans) : environ 1 $ – 5 $
- Génération de vidéos (20 à 50 segments) : environ 10 $ – 50 $
La génération vidéo représente le poste de dépense principal. Nous vous conseillons d'optimiser vos coûts grâce au système de facturation flexible de APIYI (apiyi.com).
Q4 : Toonflow a-t-il une feuille de route (roadmap) ?
Le projet prévoit d'intégrer les fonctionnalités suivantes :
- Agent d'optimisation d'invites (optimisation intelligente des invites vidéo)
- Support de textes multi-formats (scripts de BD, dialogues de jeux, etc.)
- Gestion des costumes et accessoires (pour la cohérence sur le long terme)
- File d'attente pour le traitement par lots
- Modèles de conversion de style en un clic
Résumé de l'outil Toonflow AI pour les séries courtes
Toonflow offre une solution d'automatisation complète pour la création de mini-séries IA, transformant le processus fastidieux de conversion d'un roman en vidéo en une véritable ligne de production automatisée. Sa valeur ajoutée repose sur :
- Automatisation complète du flux : Extraction des personnages → Génération du script → Dessin du storyboard → Synthèse vidéo, le tout en un seul endroit.
- Open source et gratuit : Sous licence AGPL-3.0, l'utilisation personnelle ne coûte rien.
- Backend IA flexible : Supporte plusieurs modèles de langage (LLM), de génération d'images et de vidéos, sans vous enfermer chez un fournisseur unique.
- Plusieurs modes de déploiement : Application de bureau, Docker ou déploiement manuel, pour s'adapter à tous les besoins.
Pour commencer à créer rapidement, nous vous recommandons d'utiliser APIYI (apiyi.com) pour centraliser tous les services d'API IA nécessaires à Toonflow : une interface unique et une facturation unifiée pour configurer votre projet en un clin d'œil.
Ressources
-
Dépôt GitHub Toonflow : Projet open-source officiel
- Lien :
github.com/HBAI-Ltd/Toonflow-app - Description : Contient le code source, la documentation d'installation et les notes de version.
- Lien :
-
Miroir Gitee Toonflow : Accès accéléré pour la Chine
- Lien :
gitee.com/HBAI-Ltd/Toonflow-app - Description : Adapté aux environnements réseau en Chine continentale.
- Lien :
-
Documentation officielle APIYI : Guide d'accès aux services API IA
- Lien :
help.apiyi.com - Description : Tutoriels d'utilisation pour les API de grands modèles de langage (LLM), la génération d'images et la génération de vidéos.
- Lien :
Cet article a été rédigé par l'équipe technique d'APIYI, spécialisée dans les applications et les pratiques de développement des grands modèles de langage. Pour plus de tutoriels techniques, visitez APIYI sur apiyi.com.
