AI 숏폼 드라마 시장이 폭발적으로 성장하고 있습니다. 웹소설 IP 각색부터 숏폼 플랫폼 배포까지, 텍스트 내용을 빠르게 시각화된 영상으로 변환해주는 도구는 이제 콘텐츠 크리에이터들에게 필수적인 도구가 되었습니다.
Toonflow는 HBAI Ltd에서 개발하여 GitHub에 오픈 소스(AGPL-3.0 라이선스)로 공개한 AI 숏폼 드라마/만화 자동 제작 도구입니다. 소설이나 시나리오 텍스트를 입력하면 AI가 캐릭터 추출, 대본 생성, 스토리보드 작성, 영상 합성까지 전 과정을 자동으로 완료해주는 것이 핵심 기능입니다.
Toonflow 자체에는 AI 모델이 내장되어 있지 않으며, AI 에이전트 오케스트레이션 엔진으로서 3가지 유형의 외부 AI 서비스를 조율하여 작업을 수행합니다.
| AI 서비스 유형 | 용도 | 추천 모델 |
|---|---|---|
| 대규모 언어 모델(LLM) | 캐릭터 분석, 대본 생성, 스토리보드 프롬프트 | GPT-4o, Claude 3.5 Sonnet 등 |
| 이미지 생성 모델 | 캐릭터 이미지, 장면 삽화, 스토리보드 화면 | Nano Banana Pro |
| 영상 생성 모델 | 스토리보드 화면을 영상 클립으로 변환 | Sora, Doubao Video |
🚀 빠른 시작: Toonflow에 필요한 LLM, 이미지 생성, 영상 생성 등 3가지 유형의 API 서비스는 **APIYI(apiyi.com)**를 통해 한 곳에서 모두 이용할 수 있습니다. 여러 플랫폼에 일일이 가입할 필요 없이 5분 만에 모든 설정을 마칠 수 있습니다.
이 글에서는 Toonflow의 핵심 기능 소개, 설치 및 배포, 그리고 API 서비스 설정이라는 3가지 측면을 통해 이 AI 숏폼 드라마 제작 도구를 빠르게 익힐 수 있도록 도와드리겠습니다.
Toonflow AI 숏폼 드라마 제작 도구의 4가지 핵심 기능
Toonflow는 소설을 숏폼 드라마로 변환하는 과정을 4개의 자동화 단계로 세분화하며, 각 단계는 해당 AI 서비스에 의해 구동됩니다.
기능 1: AI 캐릭터 자동 추출 및 생성
Toonflow는 대규모 언어 모델을 호출하여 입력된 소설 텍스트를 심층 분석하고, 캐릭터 정보를 자동으로 식별하여 추출해요.
| 추출 항목 | 설명 | 예시 |
|---|---|---|
| 외모 특징 | 캐릭터의 외형 묘사, 캐릭터 원화 생성에 사용 | 검은 긴 머리, 푸른 눈동자, 흰색 원피스 |
| 성격 특성 | 캐릭터의 행동 패턴 및 심리적 특징 | 결단력 있고 냉정함, 내성적이고 예민함 |
| 신분 배경 | 캐릭터의 사회적 관계 및 스토리 내 위치 | 회사 CEO, 여주인공의 절친 |
| 캐릭터 카드 | 위 정보를 종합하여 생성된 시각화 캐릭터 카드 | 캐릭터 원화 + 텍스트 소개 포함 |
캐릭터 추출의 품질은 이후 스토리보드 화면의 캐릭터 일관성을 직접적으로 결정해요. Toonflow는 구조화된 프롬프트 템플릿을 통해 LLM이 출력하는 캐릭터 묘사가 이미지 생성 프롬프트로 즉시 사용될 수 있도록 보장합니다.
기능 2: 스마트 대본 및 스토리보드 생성
사용자가 각색할 챕터를 선택하면 Toonflow가 자동으로 다음 작업을 수행해요.
- 소설 단락을 구조화된 대본으로 변환(대사, 장면 묘사, 무대 지시 포함)
- 각 장면별 스토리보드 프롬프트 생성(전경, 중경, 배경 구도, 캐릭터 동선, 소품, 카메라 각도 포함)
이 단계는 완전히 LLM에 의해 수행되며, 생성된 스토리보드 프롬프트는 이미지 생성 모델로 직접 전달됩니다.
기능 3: AI 이미지 생성 및 스토리보드 드로잉
Toonflow는 스토리보드 프롬프트를 이미지 생성 API로 전송하여 각 프레임의 스토리보드 화면을 자동으로 생성해요. 현재 지원하는 이미지 생성 백엔드는 다음과 같습니다.
- Nano Banana Pro: 4K 해상도 출력을 지원하며 캐릭터 일관성이 뛰어나고, 다국어 텍스트 렌더링을 지원합니다.
- 화산엔진(Volcengine): Doubao(豆包) 산하의 이미지 생성 서비스입니다.
기능 4: AI 비디오 합성 및 온라인 편집
마지막 단계로, Toonflow는 스토리보드 이미지를 비디오 생성 API를 통해 동영상 클립으로 변환하고, 사용자가 생성 결과를 개별적으로 조정할 수 있는 온라인 편집 기능을 제공해요.
지원하는 비디오 생성 서비스에는 Sora(OpenAI)와 Doubao 비디오 생성 API가 포함됩니다.
Toonflow 설치 및 배포: 필요에 따른 3가지 방법 선택
Toonflow는 Windows 데스크톱 앱, Docker 배포, 수동 배포의 세 가지 설치 방식을 제공합니다.
Toonflow 시스템 요구 사양
| 항목 | 최소 요구 사양 |
|---|---|
| Node.js | v23.11.1 이상 |
| 메모리 | 2GB+ |
| 운영체제 | Windows(데스크톱 버전) / Linux(서버 배포) |
| 네트워크 | 외부 AI API 서비스 접근 필요 |
방법 1: Windows 데스크톱 앱 (초보자 추천)
GitHub Releases에서 Electron 데스크톱 설치 패키지를 직접 다운로드하세요.
- GitHub 프로젝트 주소:
github.com/HBAI-Ltd/Toonflow-app - 기본 로그인 계정:
admin - 기본 로그인 비밀번호:
admin123
다운로드 후 설치하면 바로 실행할 수 있습니다. 데스크톱 버전은 백엔드 서비스가 내장되어 있어 별도의 환경 설정이 필요하지 않습니다.
방법 2: Docker 배포 (서버 환경 추천)
# 프로젝트 클론
git clone https://github.com/HBAI-Ltd/Toonflow-app.git
cd Toonflow-app
# Docker Compose를 사용하여 한 번에 실행
docker-compose -f docker/docker-compose.yml up -d --build
실행 후 http://localhost:60000에 접속하여 관리 화면으로 들어갑니다.
방법 3: 수동 배포 (개발자용)
# 의존성 설치
yarn install
# 개발 모드 실행 (백엔드 전용, 포트 60000)
yarn dev
# 데스크톱 앱 + 백엔드 동시 실행
yarn dev:gui
# 프로덕션 빌드
yarn build
수동 배포 시에는 서비스의 안정적인 운영을 위해 PM2와 같은 프로세스 관리 도구를 사용하는 것을 권장합니다.
Toonflow API 서비스 설정: 3가지 AI 인터페이스 연동 가이드
Toonflow 설치를 마쳤다면, 정상적인 사용을 위해 3가지 AI 서비스의 API 인터페이스를 설정해야 합니다. 이는 전체 설정 과정에서 가장 중요한 단계입니다.
🎯 설정 팁: 통합 API 서비스 제공업체인 APIYI (apiyi.com) 사용을 추천합니다. 이 플랫폼은 LLM, 이미지 생성, 비디오 생성의 3가지 API를 통합 인터페이스로 제공하며, 동일한 base_url과 인증 방식을 사용하여 Toonflow 설정을 대폭 간소화해 줍니다.
설정 1: 대규모 언어 모델(LLM) API 연동
Toonflow의 캐릭터 분석, 시나리오 생성, 콘티 프롬프트 생성 기능은 모두 LLM에 의존합니다. 설정 시 OpenAI 호환 형식의 API 인터페이스를 제공해야 합니다.
추천 모델 선택:
| 모델 | 적용 시나리오 | 특징 |
|---|---|---|
| GPT-4o | 범용 시나리오, 고품질 대본 | 뛰어난 이해력, 안정적인 출력 |
| Claude 3.5 Sonnet | 장편 소설 분석 | 긴 컨텍스트 윈도우 강점 |
| DeepSeek V3 | 비용 효율적인 시나리오 | 높은 가성비 |
| Gemini 1.5 Pro | 멀티모달 분석 | 이미지-텍스트 혼합 입력 지원 |
설정 파라미터 예시:
Toonflow 설정 페이지에서 다음 정보를 입력하세요.
인터페이스 주소(base_url): https://api.apiyi.com/v1
API 키: 사용자의 API 키
모델 이름: gpt-4o (또는 기타 지원 모델)
💡 팁: 설정을 마친 후 Toonflow 설정 페이지의 「모델 감지」 버튼을 클릭하여 API 연결 상태를 확인할 수 있습니다. 이 기능은 v1.0.2 버전에서 새롭게 추가되었습니다.
설정 2: Nano Banana Pro 이미지 생성 API 연동
Nano Banana Pro는 Toonflow에서 권장하는 이미지 생성 모델로, 텍스트-이미지 변환(text-to-image)과 이미지-이미지 변환(image-to-image) 모드를 모두 지원하며 최대 4K 해상도 출력이 가능합니다.
Nano Banana Pro 핵심 파라미터:
| 파라미터 | 설명 | 추천값 |
|---|---|---|
| 모델 이름 | API 호출 시 model 파라미터 | nano-banana-pro |
| 해상도 | 출력 이미지 해상도 | 2K(콘티용) 또는 4K(표지용) |
| 이미지 비율 | 가로세로 비율 | 16:9(가로형) 또는 9:16(세로형) |
| 스타일 제어 | 프롬프트를 통한 화풍 조절 | 애니메이션, 실사, 수채화 등 |
설정 파라미터 예시:
인터페이스 주소(base_url): https://api.apiyi.com/v1
API 키: 사용자의 API 키
이미지 모델: nano-banana-pro
Nano Banana Pro는 얼굴 일관성 표현이 뛰어나, 여러 콘티에서 동일한 캐릭터 이미지를 유지해야 하는 숏폼 드라마 제작 환경에 특히 적합합니다.
설정 3: Sora / Doubao(두바오) 비디오 생성 API 연동
비디오 생성은 Toonflow 워크플로의 마지막 단계입니다. 콘티 이미지를 역동적인 비디오 클립으로 변환합니다.
지원되는 비디오 생성 서비스:
| 서비스 | 특징 | 1회 생성 시간 |
|---|---|---|
| Sora (OpenAI) | 뛰어난 화질, 자연스러운 움직임 | 약 5~20초 |
| Doubao (두바오) | 아시아권 시나리오 최적화 | 약 5~15초 |
설정 파라미터 예시:
인터페이스 주소(base_url): https://api.apiyi.com/v1
API 키: 사용자의 API 키
비디오 모델: sora (또는 해당 두바오 모델 이름)
💰 비용 팁: 비디오 생성은 전체 프로세스 중 비용이 가장 많이 발생하는 단계입니다. 먼저 이미지 생성을 통해 콘티 효과가 만족스러운지 확인한 후, 비디오를 일괄 생성하는 것을 권장합니다. APIYI(apiyi.com) 플랫폼을 통해 호출하면 보다 유연한 요금 체계를 이용할 수 있어 제작 비용 절감에 유리합니다.
Toonflow 전체 워크플로 실전: 소설에서 숏폼 드라마까지 5단계 가이드
설정을 마쳤다면, 이제 Toonflow를 사용해 AI 숏폼 드라마를 제작하는 전체 과정을 살펴볼까요? 총 5단계로 진행됩니다.
1단계: 프로젝트 생성 및 소설 가져오기
Toonflow 관리 화면에서 새 프로젝트를 생성하고, 소설 텍스트(TXT 형식)를 시스템으로 가져옵니다. 챕터별 자동 분할 기능을 지원하여 편리하게 관리할 수 있어요.
2단계: AI 캐릭터 추출
'캐릭터 생성' 버튼을 클릭하면 시스템이 자동으로 대규모 언어 모델(LLM)을 호출해 전체 내용을 분석하고, 주요 캐릭터 정보를 추출하여 캐릭터 카드를 생성합니다. 이후 이미지 생성 결과물을 최적화하기 위해 캐릭터 설명을 수동으로 세밀하게 조정할 수도 있습니다.
3단계: 장 선택 및 시나리오 생성
제작하려는 챕터를 선택한 후 '시나리오 생성'을 클릭하세요. LLM이 소설의 문장을 대사와 장면 지시문이 포함된 구조화된 시나리오로 변환해 줍니다.
4단계: 스토리보드 이미지 생성
시스템이 시나리오를 바탕으로 스토리보드 프롬프트를 자동 생성하고, Nano Banana Pro를 호출하여 각 프레임의 이미지를 생성합니다. 이 단계에서 프레임별로 이미지를 미리 확인하고 수정할 수 있습니다.
5단계: 비디오 합성 및 편집
스토리보드 이미지가 확정되면 Sora 또는 Doubao(豆包) 비디오 API를 호출하여 정지 화면을 역동적인 비디오로 변환합니다. Toonflow에서 제공하는 온라인 편집기를 통해 최종 조정 작업을 진행하면 완성입니다.
Toonflow 기술 아키텍처 및 개발 정보
| 기술 스택 | 상세 구현 |
|---|---|
| 백엔드 프레임워크 | Node.js + Express + TypeScript |
| 데이터베이스 | SQLite3 (better-sqlite3) |
| AI SDK | Vercel AI SDK, Aigne 미들웨어 |
| 이미지 처리 | Sharp |
| 데스크톱 앱 | Electron |
| HTTP 클라이언트 | Axios |
| 파라미터 검증 | Zod |
| 프로세스 관리 | PM2 (프로덕션 환경) |
| 컨테이너화 | Docker + Docker Compose |
Toonflow 프로젝트는 AGPL-3.0 오픈 소스 라이선스를 따르며, 개인 및 비상업적 용도로는 무료로 사용할 수 있습니다. 상업적 이용이 필요한 경우 HBAI Ltd에 문의하여 상업적 라이선스를 취득해야 합니다 (문의 이메일: [email protected]).
Toonflow 자주 묻는 질문 FAQ
Q1: Toonflow를 사용하려면 로컬 GPU가 필요한가요?
아니요, 필요하지 않습니다. Toonflow 자체는 오케스트레이션 도구일 뿐이며, 모든 AI 추론 작업은 원격 API를 통해 이루어집니다. 사용자의 컴퓨터는 Node.js와 브라우저만 실행할 수 있으면 됩니다. APIYI(apiyi.com)를 통해 API 서비스를 연결하면 GPU 리소스 걱정 없이 사용할 수 있습니다.
Q2: Toonflow는 어떤 이미지 생성 모델을 지원하나요?
현재 주로 Nano Banana Pro와 화산엔진(Volcengine) 이미지 생성을 지원합니다. 그중 Nano Banana Pro는 최대 4K 해상도를 지원하며 캐릭터 일관성 표현이 뛰어나, 숏폼 드라마 스토리보드 제작에 최적입니다. APIYI(apiyi.com) 플랫폼에서 Nano Banana Pro 모델을 직접 호출할 수 있습니다.
Q3: 숏폼 드라마 한 편을 제작하는 데 드는 API 비용은 어느 정도인가요?
비용은 챕터의 길이와 스토리보드 수에 따라 달라집니다. 일반적으로 다음과 같습니다:
- LLM 호출 (캐릭터 분석 + 대본 + 스토리보드 프롬프트): 약 $0.5-2
- 이미지 생성 (20-50개 스토리보드): 약 $1-5
- 비디오 생성 (20-50개 클립): 약 $10-50
비디오 생성이 주요 비용을 차지합니다. APIYI(apiyi.com)의 유연한 요금 방식을 통해 지출을 최적화하는 것을 추천합니다.
Q4: Toonflow의 로드맵이 있나요?
프로젝트는 다음과 같은 기능들을 계획하고 있습니다:
- 프롬프트 정교화 에이전트 (지능형 비디오 프롬프트 최적화)
- 다양한 텍스트 형식 지원 (만화 스크립트, 게임 대화 등)
- 캐릭터 의상 및 소품 관리 (장편 일관성 유지)
- 배치 처리 작업 큐
- 원클릭 스타일 변환 템플릿
Toonflow AI 숏폼 드라마 도구 요약
Toonflow는 AI 숏폼 드라마 제작을 위한 완벽한 자동화 솔루션을 제공하며, 소설을 드라마로 만드는 과정을 수동 작업에서 AI 파이프라인으로 단순화했습니다. 핵심 가치는 다음과 같습니다:
- 전 과정 자동화: 캐릭터 추출 → 대본 생성 → 스토리보드 제작 → 비디오 합성까지 원스톱으로 완료
- 오픈 소스 및 무료: AGPL-3.0 라이선스로 개인 사용 시 비용 부담 없음
- 유연한 AI 백엔드: 다양한 대규모 언어 모델, 이미지 및 비디오 생성 모델을 지원하며 특정 공급업체에 종속되지 않음
- 다양한 배포 방식: 데스크톱 앱, Docker, 수동 배포 등 다양한 사용 환경에 최적화
Toonflow에 필요한 모든 AI API 서비스를 APIYI(apiyi.com)에서 원스톱으로 이용해 보세요. 통합 인터페이스와 통합 결제로 설정을 빠르게 마치고 바로 창작을 시작할 수 있습니다.
참고 자료
-
Toonflow GitHub 저장소: 공식 오픈 소스 프로젝트
- 링크:
github.com/HBAI-Ltd/Toonflow-app - 설명: 소스 코드, 설치 문서 및 릴리스 정보를 포함하고 있습니다.
- 링크:
-
Toonflow Gitee 미러: 중국 내 접속 가속
- 링크:
gitee.com/HBAI-Ltd/Toonflow-app - 설명: 중국 네트워크 환경에서 빠른 접속이 필요할 때 적합합니다.
- 링크:
-
APIYI 공식 문서: AI API 서비스 연동 가이드
- 링크:
help.apiyi.com - 설명: 대규모 언어 모델(LLM), 이미지 생성, 비디오 생성 API 사용 튜토리얼을 제공합니다.
- 링크:
이 글은 AI 대규모 언어 모델 응용 및 개발 실무에 집중하는 APIYI 기술 팀에서 작성했습니다. 더 많은 기술 튜토리얼은 APIYI apiyi.com에서 확인해 보세요.
