|

Guia Completo de Configuração para Integração do Nano Banana Pro e Sora-2 ao ComfyUI: A Solução de Integração de API Mais Simples

O ComfyUI, como uma ferramenta de geração de imagens e vídeos de código aberto, tornou-se a plataforma preferida dos criadores de IA. Com o lançamento do modelo de imagem Nano Banana Pro pelo Google e do modelo de vídeo Sora-2 pela OpenAI, muitos usuários têm uma dúvida central: é possível conectar esses modelos de ponta ao ComfyUI? Qual é a configuração mais simples?

Este artigo responderá a essas duas perguntas em profundidade, oferecendo uma solução completa de integração, desde nós oficiais até plataformas de API de terceiros, ajudando você a invocar rapidamente o poder do Nano Banana Pro e do Sora-2 no seu fluxo de trabalho.

nano-banana-pro-sora-2-comfyui-integration-guide-pt-pt 图示


I. Três formas de integrar a API do Nano Banana Pro ao ComfyUI

O Nano Banana Pro é o modelo de geração de imagens carro-chefe da Google DeepMind, com suporte a resolução 4K, renderização de texto multilíngue e alta fidelidade de consistência de personagens. Com base na documentação oficial e nas práticas da comunidade, existem três formas principais de conectá-lo ao ComfyUI:

1.1 ComfyUI Partner Nodes Oficiais (Recomendado para iniciantes)

Esta é a forma mais simples de acesso, sem a necessidade de instalar nenhum plugin adicional. O ComfyUI oficial já integrou o Nano Banana Pro como nós de API nativos.

Passo a passo:

# Passo 1: Atualize o ComfyUI para a versão nightly
cd ComfyUI
git pull origin main
python main.py

# Passo 2: Na interface do ComfyUI
# 1. Clique duas vezes no canvas vazio
# 2. Pesquise pelo nó "Google Gemini Image"
# 3. Arraste-o para o seu fluxo de trabalho

Parâmetros de configuração do nó:

Nome do Parâmetro Obrigatório Descrição Valor de Exemplo
api_key Chave de API do Google AI Studio AIzaSyC...
prompt Comando de texto "A futuristic city at sunset"
mode Modo de geração generate / edit / style_transfer
resolution Resolução de saída 1024x1024 / 1280x720
aspect_ratio Proporção de tela 16:9 / 4:3 / 1:1

Vantagens: Pronto para usar, sem necessidade de configurar servidores ou proxies.
Limitações: Requer uma chave de API do Google AI Studio, que pode ter restrições em certas regiões.

🎯 Sugestão de configuração: Para usuários individuais e testes de pequena escala, recomendamos os Partner Nodes oficiais. Para serviços de nível empresarial mais estáveis, você pode obter interfaces de API de alta disponibilidade através da plataforma APIYI (apiyi.com). Ela utiliza o formato original do Google, permitindo substituir a API oficial sem alterar o código, com redução de custos de 80%.

1.2 Nós Personalizados (Custom Nodes) (Para usuários avançados)

A comunidade do GitHub oferece o nó personalizado de código aberto ComfyUI-NanoBanano, que suporta funções mais avançadas.

Passos para instalação:

# Entre no diretório de nós personalizados do ComfyUI
cd ComfyUI/custom_nodes

# Clone o repositório
git clone https://github.com/ShmuelRonen/ComfyUI-NanoBanano.git

# Instale as dependências
cd ComfyUI-NanoBanano
pip install -r requirements.txt

# Reinicie o ComfyUI

Modos de operação suportados:

Modo Descrição da Função Cenário de Aplicação
generate Texto para imagem Criar imagens do zero
edit Edição de imagem Modificar partes de uma imagem existente
style_transfer Transferência de estilo Aplicar o estilo de uma imagem a outra
object_insertion Inserção de objetos Inserir novos elementos com precisão

Vantagens: Funcionalidades mais ricas, suporte a operações multimodais.
Limitações: Requer manutenção e atualização manual do plugin.

nano-banana-pro-sora-2-comfyui-integration-guide-pt-pt 图示

1.3 Plataforma de API de terceiros (Solução Empresarial)

Para usuários corporativos que necessitam de alta concorrência, baixa latência e otimização de custos, as plataformas de API de terceiros oferecem a melhor solução.

Comparação de vantagens principais:

Dimensão API Oficial Google Plataforma Terceirizada (ex: APIYI)
Formato da API Nativo Google AI Studio Compatível com formato original Google
Migração de Código N/A Apenas substituição de dois parâmetros
Custo Preço padrão Redução de aprox. 80%
Disponibilidade Depende dos servidores Google Acesso local de alta velocidade, 99.9% SLA
Suporte Técnico Suporte da comunidade Equipe técnica 24/7

Exemplo de configuração (usando APIYI como exemplo):

# Configuração original da API oficial do Google
api_endpoint = "https://generativelanguage.googleapis.com/v1beta/models/gemini-2.0-flash-exp:generateImage"
api_key = "SUA_CHAVE_API_GOOGLE"

# Mudar para a plataforma APIYI (apenas altere estas duas linhas)
api_endpoint = "https://api.apiyi.com/v1/models/gemini-2.0-flash-exp:generateImage"
api_key = "SUA_CHAVE_API_APIYI"  # Obtida em apiyi.com

🎯 Sugestão para empresas: Se a sua equipe precisa processar tarefas de geração de imagem em lote no ComfyUI, recomendamos o acesso à API do Nano Banana Pro através da plataforma APIYI (apiyi.com). A plataforma oferece canais de aceleração dedicados e um modelo de cobrança sob demanda, ideal para ambientes de produção com volume superior a 1.000 imagens por dia.


2. Integração do modelo de vídeo Sora-2 no ComfyUI: Análise de viabilidade e plano de configuração

Para a dúvida central do cliente "Is it possible to use this video model in comfyUI?", a resposta é: Sim, mas é necessário integrá-lo via nós de API (API nodes).

2.1 Princípios técnicos da integração do Sora-2 no ComfyUI

O Sora-2 é o modelo de geração de vídeo de segunda geração lançado pela OpenAI. Diferente dos modelos de imagem, o Sora-2 não pode ser implantado localmente como o Stable Diffusion. Sua integração com o ComfyUI deve seguir um destes dois caminhos:

Método de Integração Implementação Técnica Requisitos de Recursos Viabilidade
Carregamento Local Baixar os pesos do modelo para rodar localmente Requer VRAM de GPU > 80GB ❌ Inviável (OpenAI não abriu o código)
Chamada via API Node Chamada de API remota via requisição HTTP Apenas conexão de rede e chave de API ✅ Viável (Recomendação oficial)
Alternativas Open Source Usar modelos como Open-Sora VRAM de GPU ≥ 16GB ✅ Viável (Funcionalidades limitadas)

Conclusão: O Sora-2 deve ser integrado ao ComfyUI através de nós de API, não sendo compatível com a implantação de modelo local.

2.2 Tutorial de configuração dos nós de API oficiais do Sora-2

O ComfyUI já lançou os "Sora-2 Partner Nodes", que suportam os modos de texto para vídeo (t2v) e imagem para vídeo (i2v).

Passos para instalação:

# Passo 1: Certifique-se de que a versão do ComfyUI seja ≥ v0.2.6
cd ComfyUI
git pull origin main

# Passo 2: Adicione o nó do Sora-2 no seu fluxo de trabalho (workflow)
# 1. Clique duas vezes no canvas em branco
# 2. Pesquise por "OpenAI Sora" ou "Sora-2-i2v"
# 3. Conecte os nós de entrada (comando de texto ou imagem de referência)

Configuração de parâmetros do nó Sora-2 Pro:

Nome do Parâmetro Tipo de Dado Descrição Valor Recomendado
prompt String Comando de descrição do vídeo "A drone shot of a coastal city"
resolution Enum Resolução do vídeo 1280x720 / 720x1280
duration Integer Duração do vídeo (segundos) 5-20 segundos
input_image Image Imagem de referência (modo i2v) Deve corresponder à resolução
api_key String Chave de API da OpenAI sk-proj-...

Observações importantes:

  • ⚠️ Correspondência de Resolução: No modo imagem-para-vídeo, a imagem de entrada deve corresponder exatamente à resolução de vídeo selecionada, caso contrário, ocorrerá um erro.
  • ⚠️ Controle de Custos: O Sora-2 Pro é cobrado por segundo; um vídeo de 20 segundos consome cerca de US$ 0,50 a US$ 1,00.
  • ⚠️ Cota de API: A OpenAI possui limites diários de chamadas para contas novas; é necessário solicitar um aumento de limite com antecedência.

nano-banana-pro-sora-2-comfyui-integration-guide-pt-pt 图示

2.3 Nós de API Sora-2 de terceiros (Solução Siray)

Além dos nós oficiais, a comunidade disponibiliza versões aprimoradas através dos "Sora-2 Custom Nodes".

Características do nó Siray OpenAI Sora-2-i2v:

# Instalando os nós customizados do Siray
cd ComfyUI/custom_nodes
git clone https://github.com/siray-comfyui/openai-sora-2.git
pip install -r openai-sora-2/requirements.txt

Funcionalidades avançadas:

Módulo de Função Nó Oficial Nó Siray Descrição da Vantagem
Geração em Lote Suporta processamento automático de fila
Sincronização de Áudio Pode gerar música de fundo simultaneamente
Exibição de Progresso Mostra o progresso da geração em tempo real
Cache Local Reduz chamadas de API repetidas

🎯 Sugestão de Workflow: Para equipes que precisam gerar grandes volumes de vídeos de marketing, sugerimos combinar os nós de pré-processamento do ComfyUI com a API do Sora-2 para construir um fluxo de trabalho automatizado. Através da plataforma APIYI (apiyi.com), você pode obter interfaces de API do Sora-2 mais estáveis, ideais para cenários de geração em lote, com gerenciamento de fila dedicado e planos de otimização de custos.


三、 Melhores Práticas de Fluxo de Trabalho Híbrido com Nano Banana Pro e Sora-2

O grande trunfo do ComfyUI é a possibilidade de encadear vários modelos de IA em fluxos de trabalho complexos. Confira abaixo um processo típico de criação imagem-para-vídeo:

3.1 Design da Arquitetura do Fluxo Híbrido

Fluxograma:

[Comando de texto]
    ↓
[Nodo Nano Banana Pro] → Gera imagem de capa em alta qualidade (4K)
    ↓
[Nodo de pré-processamento de imagem] → Ajusta a resolução para 1280x720
    ↓
[Nodo Sora-2 i2v] → Converte a imagem em um vídeo de 10 segundos
    ↓
[Nodo de pós-processamento de vídeo] → Adiciona transições e efeitos sonoros
    ↓
[Saída final] → Arquivo de vídeo MP4

Exemplo de Configuração de Nodos:

Estágio do Fluxo Modelo Utilizado Parâmetros Críticos Tempo de Processamento
1. Geração de Imagem Nano Banana Pro resolution=3840x2160, mode=generate 8-15 seg
2. Ajuste de Resolução Nativo do ComfyUI target_size=1280x720, resize_mode=crop < 1 seg
3. Geração de Vídeo Sora-2 Pro duration=10, motion_intensity=medium 60-120 seg
4. Exportação de Vídeo Nodo FFmpeg codec=h264, bitrate=5000k 5-10 seg

3.2 Exemplo de Código do Fluxo de Trabalho Real

Versão Minimalista do JSON do Workflow ComfyUI (Nodos Principais):

{
  "nodes": [
    {
      "id": 1,
      "type": "TextInput",
      "properties": {
        "text": "A cyberpunk city with neon lights and flying cars"
      }
    },
    {
      "id": 2,
      "type": "GoogleGeminiImage",
      "properties": {
        "api_key": "YOUR_API_KEY",
        "prompt": "@1.text",
        "resolution": "3840x2160"
      }
    },
    {
      "id": 3,
      "type": "ImageResize",
      "properties": {
        "input": "@2.output",
        "target_size": "1280x720"
      }
    },
    {
      "id": 4,
      "type": "OpenAISora2",
      "properties": {
        "api_key": "YOUR_OPENAI_KEY",
        "input_image": "@3.output",
        "duration": 10
      }
    }
  ]
}
Clique para expandir a configuração completa do fluxo (incluindo parâmetros avançados)
{
  "version": "1.0",
  "workflow_name": "Nano_Banana_to_Sora2_Video",
  "nodes": [
    {
      "id": 1,
      "type": "TextInput",
      "properties": {
        "text": "A cyberpunk city with neon lights and flying cars",
        "negative_prompt": "blurry, low quality, distorted"
      }
    },
    {
      "id": 2,
      "type": "GoogleGeminiImage",
      "properties": {
        "api_key": "YOUR_API_KEY",
        "api_endpoint": "https://api.apiyi.com/v1/models/gemini-2.0-flash-exp:generateImage",
        "prompt": "@1.text",
        "negative_prompt": "@1.negative_prompt",
        "resolution": "3840x2160",
        "aspect_ratio": "16:9",
        "guidance_scale": 7.5,
        "num_inference_steps": 30
      }
    },
    {
      "id": 3,
      "type": "ImageResize",
      "properties": {
        "input": "@2.output",
        "target_size": "1280x720",
        "resize_mode": "crop_center",
        "interpolation": "lanczos"
      }
    },
    {
      "id": 4,
      "type": "OpenAISora2Pro",
      "properties": {
        "api_key": "YOUR_OPENAI_KEY",
        "input_image": "@3.output",
        "prompt": "@1.text",
        "duration": 10,
        "resolution": "1280x720",
        "motion_intensity": "medium",
        "camera_motion": "pan_right",
        "frame_rate": 30
      }
    },
    {
      "id": 5,
      "type": "VideoExport",
      "properties": {
        "input": "@4.output",
        "format": "mp4",
        "codec": "h264",
        "bitrate": "5000k",
        "output_path": "./outputs/final_video.mp4"
      }
    }
  ],
  "connections": [
    {"from": 1, "to": 2, "type": "text"},
    {"from": 2, "to": 3, "type": "image"},
    {"from": 3, "to": 4, "type": "image"},
    {"from": 4, "to": 5, "type": "video"}
  ]
}

🎯 Dica de Otimização de Desempenho: Ao lidar com tarefas em lote, recomendamos separar as chamadas de API do Nano Banana Pro e do Sora-2 em filas diferentes. Através da função de balanceamento de carga da plataforma APIYI (apiyi.com), é possível realizar o processamento paralelo da geração de imagem e vídeo, aumentando a eficiência geral do fluxo em cerca de 40%.


四、 Perguntas Frequentes (FAQ)

Q1: O Nano Banana Pro e o Sora-2 podem rodar totalmente de forma local?

Nano Banana Pro: ❌ Não suporta implantação local, deve ser acessado via API.
Sora-2: ❌ Não suporta implantação local, a OpenAI não disponibilizou os pesos do modelo em código aberto.
Alternativa: Você pode usar o Stable Diffusion (para imagens) e o Open-Sora (para vídeos) para rodar localmente, pois são de código aberto.

Q2: Como reduzir os custos das chamadas de API do Sora-2?

Estratégia de Otimização Redução de Custo Dificuldade
Encurtar a duração do vídeo (10s → 5s) 50% ⭐ Fácil
Usar baixa resolução (720p → 480p) 30% ⭐ Fácil
Chamadas em lote para obter descontos 15-20% ⭐⭐ Médio
Usar plataformas de API de terceiros 20-40% ⭐⭐ Médio

🎯 Dica de Gestão de Custos: Para usuários com consumo mensal superior a $500 USD, sugerimos assinar um plano corporativo através da plataforma APIYI (apiyi.com). A plataforma oferece preços progressivos e descontos pré-pagos, além de suportar a gestão unificada de faturamento para o Nano Banana Pro e o Sora-2, simplificando os processos financeiros.

Q3: A resolução dos vídeos gerados pelo Sora-2 no ComfyUI é limitada?

Sora-2 Versão Standard:

  • ✅ Suporta: 720×1280, 1280×720
  • ❌ Não suporta: 1080p, 4K

Sora-2 Versão Pro:

  • ✅ Suporta: 720×1280, 1280×720, 1024×1792, 1792×1024
  • ❌ Não suporta: Resoluções personalizadas

Solução: Use os nodos de super-resolução do ComfyUI (como o ESRGAN) para fazer o upscale de vídeos de 720p para 1080p ou 4K.

Q4: Como passar automaticamente a imagem gerada pelo Nano Banana Pro para o Sora-2?

No fluxo do ComfyUI, é preciso prestar atenção aos seguintes pontos:

# Exemplo Errado: Conectar diretamente causará incompatibilidade de resolução
[Nano Banana Pro] → [Sora-2 i2v]  # ❌ Pode dar erro

# Exemplo Correto: Adicionar um nodo de conversão de resolução no meio
[Nano Banana Pro] → [Redimensionar Imagem] → [Sora-2 i2v]  # ✅ Recomendado

Tabela de Correspondência de Resolução:

Saída do Nano Banana Pro Precisa Ajustar Requisito de Entrada do Sora-2
3840×2160 (4K) ✅ Redimensionar 1280×720
1920×1080 (1080p) ✅ Recortar + Redimensionar 1280×720
1280×720 (720p) ❌ Usar diretamente 1280×720

Q5: Quais versões do ComfyUI suportam esses novos modelos?

Modelo Versão Mínima do ComfyUI Versão Recomendada Como obter
Nano Banana Pro (Nodo oficial) v0.2.3 v0.2.7+ (nightly) git pull origin main
Sora-2 (Nodo oficial) v0.2.6 v0.2.8+ (nightly) Idem acima
Nodos customizados Sem restrição Última versão estável Instalação manual de plugin

5. Resumo e Recomendações de Seleção

5.1 Revisão das Respostas para as Perguntas Principais

P: Qual é a configuração mais simples para conectar a API do Nano Banana Pro ao ComfyUI?
R: Use os Partner Nodes oficiais. São apenas três passos:

  1. Atualize o ComfyUI para a versão nightly.
  2. Procure e adicione o nó "Google Gemini Image".
  3. Insira sua chave de API e o comando (prompt) para começar a usar.

P: O modelo de vídeo Sora-2 pode ser integrado ao ComfyUI?
R: Sim, mas deve ser feito obrigatoriamente através de nós de API. Não há suporte para implantação de modelos locais. Tanto a equipe oficial quanto terceiros já disponibilizam Custom Nodes prontos para o Sora-2.

5.2 Recomendações para Diferentes Cenários

Cenário de Uso Solução Recomendada Motivo
Estudo e testes pessoais Partner Nodes oficiais Cota gratuita, configuração simples
Pequenos estúdios (<100 imagens/dia) Custom Nodes + API oficial Recursos variados, custo controlado
Ambiente de produção corporativo Plataformas de API de terceiros (como APIYI) Alta disponibilidade, otimização de custos, suporte técnico
Implantação privada offline Alternativas de código aberto (Stable Diffusion + Open-Sora) Segurança de dados, sem dependência de internet

🎯 Sugestão final: Para usuários que precisam utilizar o Nano Banana Pro e o Sora-2 simultaneamente, recomendamos gerenciar suas chamadas de API de forma centralizada pela plataforma APIYI (apiyi.com). A plataforma permite acessar ambos os modelos com uma única chave de API, simplificando a gestão e oferecendo um painel de monitoramento unificado e ferramentas de análise de custos. Visite apiyi.com agora para criar sua conta; novos usuários recebem um crédito gratuito de US$ 20 para testar seus fluxos de trabalho.

5.3 Recursos de Aprendizado Adicionais

Documentação Oficial:

  • Documentação oficial do ComfyUI: docs.comfy.org/tutorials/partner-nodes
  • Referência da API do Nano Banana Pro: ai.google.dev/gemini-api
  • Documentação da API do Sora-2: platform.openai.com/docs/guides/sora

Recursos da Comunidade:

  • Compartilhamento de fluxos de trabalho (workflows) do ComfyUI: comfyui.org/workflows
  • Coleção de nós personalizados no GitHub: github.com/ComfyUI-Workflow/awesome-comfyui

Tutoriais em Vídeo:

  • "Tutorial Completo de Nano Banana Pro no ComfyUI" – YouTube
  • "Demonstração Prática de API Nodes do Sora-2" – Bilibili

Com a explicação detalhada deste artigo, você agora domina o sistema completo para conectar o Nano Banana Pro e o Sora-2 ao ComfyUI. Seja escolhendo a simplicidade dos nós oficiais, a flexibilidade dos nós personalizados ou a robustez de nível corporativo das plataformas de terceiros, você pode decidir com base nas suas necessidades reais.

Abra o ComfyUI agora e comece sua jornada de criação com IA!

Leituras Recomendadas:

  • Guia Avançado de ComfyUI: Construindo Fluxos de Geração de Vídeo Automatizados
  • Nano Banana Pro vs. Midjourney: Comparativo de Modelos de Geração de Imagem para Empresas
  • Estratégias de Otimização de Custos da API do Sora-2: Como Reduzir Gastos de Geração de Vídeo em 70%

Similar Posts