Nota do autor: com base no cartão do sistema de segurança do OpenAI Images 2.6, analisamos os desafios da dimensão temporal na moderação de imagens animadas, o significado do recall de 77.66% e como desenvolvedores podem lidar com bloqueios.
Em 4 de novembro de 2026, a OpenAI publicou o cartão do sistema de segurança junto com o Images 2.6 e divulgou os resultados de um teste específico para imagens animadas: em 310 amostras de GIFs rotuladas como violações, o mecanismo de moderação teve um recall de 77.66%. É fácil interpretar esse número de forma equivocada: ele não representa nem a taxa de violações em produção nem a precisão geral do sistema de moderação.
Esta não é uma análise para causar alarde. O artigo se baseia no cartão oficial do sistema e na documentação da API, distinguindo claramente os fatos divulgados pela OpenAI, os resultados dos testes e nossa análise técnica.
O essencial: em 3 minutos, entenda por que moderar imagens animadas geradas por IA é mais difícil, como interpretar esses números e o que desenvolvedores precisam ajustar.
Moderação de imagens animadas por IA: principais informações
| Item | Informações divulgadas pela OpenAI | O que considerar |
|---|---|---|
| Data de lançamento | Publicado em 4 de novembro de 2026 junto com o Images 2.6 | Informações atualizadas até 5 de novembro de 2026 |
| Novo risco | Algumas violações só ficam evidentes na sequência de movimentos e na relação entre quadros | O cartão do sistema trata esse risco separadamente da avaliação de imagens estáticas |
| Nova proteção | Moderação conjunta da grade de quadros da animação (frame grid) e da descrição da geração (generation caption) | O algoritmo e o método de amostragem dos quadros não foram divulgados |
| Teste com GIFs | 310 amostras de GIFs com violações, recall de 77.66% | São amostras selecionadas para o teste e não representam a distribuição do conteúdo de usuários comuns |
| Teste com imagens estáticas | 3,077 solicitações adversariais | É uma avaliação offline, com critérios diferentes dos usados no teste com GIFs |
Por que GIFs gerados por IA são mais difíceis de moderar do que imagens estáticas
Na seção 3.2.2 do cartão do sistema, a OpenAI aponta que certos significados que violam as regras estão presentes no desenrolar de uma ação, e não em um único quadro. A relação entre os quadros e a maneira como um mesmo elemento se movimenta podem mudar o significado do conteúdo. Por isso, analisar imagens estáticas isoladamente pode não ser suficiente para avaliar os riscos de uma animação. Uma das categorias de risco citadas pela empresa envolve movimentos de conotação sexual.
Para ilustrar, vamos usar um exemplo neutro criado por nós, que não é um caso oficial. Uma imagem de um braço levantado oferece informações limitadas: olhando apenas para esse quadro, é difícil saber se a pessoa está cumprimentando alguém ou se preparando para atacar. Só ao observar os quadros seguintes — e ver se o braço se move de um lado para o outro ou avança rapidamente em direção a outra pessoa — é possível chegar a uma conclusão mais confiável. Um quadro isolado responde à pergunta “o que há na imagem”; uma sequência de quadros também precisa responder “o que está acontecendo”.
A partir disso, podemos identificar três pontos adicionais de avaliação na moderação de animações. Esta é uma análise técnica nossa e não representa detalhes dos algoritmos divulgados pela OpenAI:
- Ordem temporal: os mesmos quadros, organizados em outra sequência, podem apresentar acontecimentos completamente diferentes.
- Relação entre movimentos: para entender se pessoas ou objetos estão se aproximando, entrando em contato ou se afastando, muitas vezes é preciso analisar vários quadros.
- Significado geral: o fato de cada quadro, isoladamente, não violar as regras não garante que a animação completa também esteja em conformidade.
Diferenças entre a moderação de animações geradas por IA e de imagens estáticas
| Critério de comparação | Moderação de imagens estáticas | Moderação de animações geradas por IA |
|---|---|---|
| Objeto da avaliação | Conteúdo visual de uma única imagem | Conjunto de quadros e seu significado geral |
| Informações principais | Objetos, cenários, textos etc. | Também inclui movimentos, sequência e relações entre quadros |
| Nova medida oficial | Mantém as verificações de segurança em várias camadas | Moderação conjunta da grade de quadros e da descrição da geração |
| Estratégia de bloqueio | Avaliação conforme as políticas existentes | Escopo de bloqueio mais amplo para algumas categorias |
| Lacunas nos dados públicos | Avaliação com 3.077 solicitações adversariais | Faltam dados sobre taxa de falsos positivos, latência e testes independentes |
Os parâmetros da API também ajudam a entender a complexidade do problema. Segundo a documentação oficial, a saída em GIF aceita de 2 a 64 quadros, com 9 quadros por padrão. A duração de cada quadro pode ser configurada entre 20 e 2000 milissegundos, com 200 milissegundos por padrão. Na nossa avaliação, quanto maior o número de quadros, maior a necessidade de equilibrar detalhes e custos na moderação. O ritmo de reprodução também pode influenciar a percepção do conteúdo. A OpenAI, porém, não divulgou se analisa todos os quadros individualmente nem explicou como a duração dos quadros entra na avaliação.
Como a OpenAI avalia GIFs gerados por IA: várias camadas de proteção e uma grade de quadros
Segundo a seção 3.1 do cartão do sistema, o sistema de segurança de imagens estáticas do Images 2.6 tem três camadas de verificação. A proteção para GIFs adiciona mecanismos a essa base.
- Análise da solicitação antes da geração: uma verificação de políticas baseada em um modelo de linguagem avalia a solicitação do usuário. Pedidos que não cumprem as regras podem ser recusados antes da geração.
- Análise da entrada: um modelo multimodal de raciocínio de segurança verifica o comando e as imagens de entrada, além de avaliar se a solicitação de edição tem uma intenção que viola as regras.
- Análise da saída: o resultado gerado é examinado para bloquear conteúdos considerados inadequados antes de serem exibidos ao usuário.
Para GIFs, a OpenAI informa que o modelo de raciocínio de segurança analisa todo o conjunto de quadros da animação, levando em conta as instruções de geração e as mudanças de movimento ao longo do tempo. Em algumas categorias de conteúdo, o bloqueio também é mais abrangente do que para imagens estáticas, para cobrir riscos inferidos a partir dos movimentos. Isso mostra que a análise deixou de se limitar a imagens isoladas e passou a considerar o significado da animação como um todo.
Também vale prestar atenção ao que a OpenAI não divulgou: o algoritmo de amostragem de quadros, a arquitetura interna do modelo, a latência acrescentada pela análise de animações e a forma de cobrança específica para a análise de GIFs. Se quiser entender como os bloqueios funcionam no seu caso de uso, você pode primeiro testar o fluxo de tratamento de erros pela interface unificada da APIYI apiyi.com e depois verificar cada ponto com o modelo que pretende usar.
Como interpretar a taxa de recall de 77,66% na moderação de GIFs por IA
O teste avaliou em conjunto as descrições geradas e as grades de quadros animados de 310 GIFs identificados como violações de política. O recall responde à seguinte pergunta: qual proporção dessas violações conhecidas foi detectada pelo sistema de moderação? A OpenAI também reconhece que violações baseadas em movimento ainda são difíceis de detectar e que as medidas atuais podem deixar passar parte desse conteúdo.
| O número | Interpretação | Motivo |
|---|---|---|
| É a proporção de violações conhecidas detectadas | ✅ Correto | Esse é exatamente o significado do recall no teste |
| É a precisão geral do sistema de moderação | ❌ Incorreto | O teste abrangeu apenas amostras com violações |
| É a taxa de aprovação de conteúdo normal | ❌ Incorreto | A amostra não incluía conteúdo normal para calcular essa métrica |
| 22,34% é a probabilidade de encontrar GIFs que violam políticas online | ❌ Incorreto | As amostras foram selecionadas especificamente e não representam a distribuição real |
| Permite avaliar os falsos positivos | ❌ Incorreto | O teste não informou a taxa de falsos positivos nem a precisão completa |
Portanto, os 77,66% servem melhor como referência para avaliar a capacidade de detectar casos difíceis, e não como uma avaliação geral da segurança online. O valor desse resultado está no fato de a OpenAI ter divulgado dados concretos para discussão, ao mesmo tempo em que expôs que os riscos ligados a movimento ainda não foram totalmente resolvidos.
O que 3.077 testes adversariais revelam sobre as camadas de moderação de imagens por IA
O system card também avaliou a segurança de imagens estáticas usando 3.077 solicitações difíceis, criadas especialmente para esse fim. Vale destacar que esses dados não são resultados de testes com GIFs. Ainda assim, eles mostram claramente que “segurança do próprio modelo”, “capacidade de bloqueio da moderação” e “resultado final não bloqueado” são três métricas diferentes.
| Modelo (avaliação de imagens estáticas) | Geração segura | Geração de conteúdo em violação, bloqueado | Geração de conteúdo em violação, não bloqueado nesta avaliação |
|---|---|---|---|
| GPT-Image-2.5 Sunburst | 76.15% | 21.94% | 1.92% |
| GPT-Image-2.6 Sunburst | 75.50% | 22.78% | 1.72% |
| GPT-Image-2.5 Flare | 78.36% | 20.15% | 1.49% |
| GPT-Image-2.6 Flare | 75.04% | 22.81% | 2.14% |
Esses dados não sustentam conclusões simplistas como “a nova versão é mais segura em todos os aspectos” ou “a nova versão é mais perigosa”. Segundo a explicação oficial, as mudanças na proporção geral de resultados não bloqueados não atingiram significância estatística nem no Sunburst nem no Flare. No entanto, a proporção de gerações seguras do Flare caiu de 78.36% para 75.04%, uma mudança estatisticamente significativa.
“Não bloqueado nesta avaliação” também é apenas um resultado de avaliação offline: não significa que o conteúdo em violação tenha sido efetivamente entregue ao usuário. Além disso, o resultado de 77.66% vem de uma amostra e de um mecanismo diferentes dos usados para esses dados de imagens estáticas. Por isso, não é adequado compará-los diretamente para concluir “quanto pior são as imagens animadas em relação às estáticas”.
Impacto da moderação de GIFs com IA para desenvolvedores e plataformas de conteúdo
Para desenvolvedores de API: trate bloqueios de moderação como parte normal do fluxo
O parâmetro moderation da API de imagens da OpenAI aceita dois valores: auto e low. A opção low aplica menos restrições de filtragem, mas não desativa o sistema de segurança. Quando uma solicitação é bloqueada, a API pode retornar error.code = "moderation_blocked". Alguns erros também incluem a etapa da moderação e categorias gerais, mas esses campos nem sempre são retornados.
| Campo ou ação | Explicação oficial | Recomendação de implementação |
|---|---|---|
error.code |
Pode ser moderation_blocked |
Use como principal critério para identificar o erro |
moderation_stage |
Pode ser input, output ou unknown |
Registre nos logs para atendimento e investigação |
categories |
Categorias gerais, como sexual e violence |
Trate como campo opcional |
| Mensagem ao usuário | Seja claro sem revelar detalhes excessivos sobre as regras internas | Oriente o usuário a alterar a descrição |
| Estratégia de repetição | Não repita automaticamente erros de moderação que exigem correção da entrada | Deixe o usuário alterar a descrição e enviar novamente |
O exemplo mínimo abaixo mostra como capturar um bloqueio de moderação. Substitua o nome do modelo por um que esteja disponível para você:
import openai
client = openai.OpenAI(
api_key="YOUR_API_KEY",
base_url="https://api.apiyi.com/v1"
)
try:
result = client.images.generate(model="YOUR_IMAGE_MODEL", prompt="一只挥手的卡通吉祥物")
except openai.APIStatusError as e:
if e.code == "moderation_blocked":
print("内容未通过审核，请修改描述后重新提交")
else:
raise
Veja o exemplo completo de geração de GIF e registro de moderação
import base64
import logging
import openai
client = openai.OpenAI(
api_key="YOUR_API_KEY",
base_url="https://api.apiyi.com/v1"
)
def generate_gif(prompt: str, model: str = "YOUR_IMAGE_MODEL") -> str | None:
try:
result = client.images.generate(
model=model,
prompt=prompt,
extra_body={
"output_format": "gif",
"frame_count": 9,
"frame_duration_ms": 200,
},
)
except openai.APIStatusError as e:
if e.code != "moderation_blocked":
raise
# Os campos de detalhes nem sempre são retornados; trate sua ausência
body = e.body if isinstance(e.body, dict) else {}
details = body.get("moderation_details") or {}
logging.warning(
"moderation_blocked stage=%s categories=%s",
details.get("moderation_stage"),
details.get("categories"),
)
# Não repita automaticamente; deixe o usuário alterar a descrição
return None
with open("output.gif", "wb") as f:
f.write(base64.b64decode(result.data[0].b64_json))
return "output.gif"
Os parâmetros de GIF acima vêm da documentação oficial da OpenAI. A saída em GIF é um recurso de `images/generations`; a interface `images/edits` não permite gerar GIFs diretamente.
Recomendação: primeiro, use o
error.code, que é estável, para definir o tratamento de erros. Depois, acrescente logs e mensagens na interface. Você pode obter créditos gratuitos de teste na APIYI, em apiyi.com, para validar o fluxo de invocação; consulte a lista de modelos e a documentação mais recentes da plataforma para verificar o suporte a cada modelo e aos parâmetros de GIF.
Para plataformas de conteúdo: crie processos para falsos positivos e falsos negativos
A OpenAI ainda não divulgou a taxa de falsos positivos na moderação de GIFs. No entanto, algumas categorias têm critérios de bloqueio mais amplos. Isso significa que as plataformas devem considerar a possibilidade de obras legítimas serem bloqueadas por engano e oferecer avisos e canais de recurso. A OpenAI também reconhece que parte do conteúdo pode passar despercebida. Por isso, plataformas que permitem publicar e compartilhar GIFs não devem depender da moderação upstream como única linha de defesa.
Estas são nossas recomendações práticas, não exigências oficiais:
- Revisão antes da publicação: mantenha verificações próprias das políticas da plataforma para conteúdos públicos, além de um canal para denúncias dos usuários.
- Revisão da animação completa: na revisão humana ou automática, não avalie apenas o quadro de capa. Considere a reprodução completa.
- Registros separados: contabilize separadamente “solicitação bloqueada” e “denúncia após a publicação” para facilitar a identificação de problemas em cada etapa.
Para identificação de origem: marcas d’água não substituem a moderação
O cartão do sistema apresenta uma abordagem de identificação de origem em várias camadas, que inclui a continuidade do suporte aos metadados C2PA e a introdução da marca d’água invisível SynthID, do Google DeepMind. A primeira registra principalmente informações de origem; a segunda incorpora um sinal invisível ao conteúdo de mídia. Isso não significa, porém, que todo GIF exportado terá uma marca d’água verificável, nem garante que ela sobreviverá à compressão ou à transcodificação.
Da mesma forma, não detectar uma marca d’água não prova que o conteúdo não foi gerado por IA. A OpenAI também reconhece que não existe uma solução única e completa para identificar a origem. A marcação de origem responde à pergunta “de onde isso pode ter vindo?”, enquanto a moderação responde a “isso pode ser gerado ou compartilhado?”. As duas devem se complementar.
Perguntas frequentes sobre moderação de GIFs por IA
Q1: Os 77,66% significam que 22,34% dos GIFs que violam as regras foram enviados aos usuários?
Não é possível concluir isso. Os 77,66% representam a taxa de detecção em um teste com 310 GIFs identificados como violações. As amostras foram selecionadas especificamente para o teste e não refletem a distribuição do conteúdo em produção nem a probabilidade real de conteúdo que viola as regras chegar aos usuários.
Q2: A moderação de GIFs por IA pode usar um classificador de imagens estáticas para verificar cada quadro?
Verificar cada quadro pode detectar algumas violações isoladas, mas dificilmente identifica sentidos que só aparecem na sequência de movimentos. Por isso, moderar GIFs não é o mesmo que simplesmente enviar cada quadro a um classificador de imagens estáticas. A OpenAI combina uma grade de quadros com descrições geradas para fazer uma análise conjunta, mas não divulgou o algoritmo usado.
Q3: Existem dados de testes independentes sobre a moderação de GIFs?
Até 5 de novembro de 2026, as fontes disponíveis para este artigo não apresentavam testes independentes confiáveis e públicos realizados por terceiros. Também faltam dados públicos sobre o desempenho em animações de diferentes durações, a taxa de falsos positivos, a latência real e as taxas de detecção por tipo de movimento que viola as regras.
Q4: Definir moderation como low desativa a moderação de GIFs por IA?
Não. `low` é apenas um modo de filtragem com menos restrições. Isso não significa desativar o sistema de segurança nem contornar a política de conteúdo. Em produção, recomenda-se começar com o padrão `auto` e avaliar se é necessário ajustá-lo conforme o caso de uso.
Q5: O que fazer ao receber moderation_blocked?
Recomenda-se interromper as tentativas automáticas, mostrar ao usuário uma orientação clara sobre o que alterar e registrar nos logs a etapa e a categoria de moderação disponíveis. Para validar rapidamente esse fluxo de tratamento de erros, você pode se cadastrar na APIYI apiyi.com e obter créditos de teste. Depois, substitua o nome do modelo no exemplo deste artigo por um modelo disponível na plataforma e execute-o.
Q6: Como comparar as diferenças de moderação entre modelos de imagem?
Prepare um conjunto de comandos que respeitem as políticas, sejam relevantes para seu caso de uso e tenham limites bem definidos. Registre os resultados gerados, os bloqueios e os campos de erro de cada modelo. A interface unificada da APIYI apiyi.com pode reduzir as alterações no código ao trocar de modelo, mas os resultados se aplicam apenas às suas amostras e não devem ser usados para tirar conclusões gerais sobre a segurança dos modelos.
Principais pontos sobre a moderação de animações com IA
- Principal desafio: o significado de uma violação pode estar no movimento e na relação entre os quadros.
- Medidas oficiais: além da moderação em várias camadas, a grade de quadros e a descrição de geração são analisadas em conjunto.
- Número-chave: 77.66% é a taxa de detecção em uma amostra de 310 GIFs com violações.
- Interpretação equivocada comum: esse número não representa a taxa de violações em produção, a precisão geral nem a taxa de aprovação de conteúdo adequado.
- Método de avaliação: a segurança do próprio modelo, os bloqueios da moderação e os resultados finais não bloqueados devem ser analisados separadamente.
- Lacunas nos dados: ainda faltam dados públicos confiáveis sobre a taxa de falsos positivos em GIFs, a latência da moderação e testes independentes.
- Na prática: use
error.codepara tratar bloqueios e verifique o fluxo de chamadas pela APIYI apiyi.com.
Conclusão
As animações com IA não só acrescentam uma dimensão à geração de conteúdo, como também trazem a dimensão temporal para a avaliação de segurança. O sistema de moderação não pode olhar apenas para “o que aparece nas imagens”; precisa avaliar também “o que essas imagens expressam em sequência”.
A análise conjunta da grade de quadros e da descrição de geração pela OpenAI, assim como os resultados do teste com 310 GIFs, refletem essa abordagem. Eles também mostram que os riscos relacionados a movimentos ainda não foram totalmente resolvidos. Sem dados sobre falsos positivos e testes independentes, desenvolvedores e plataformas devem prestar atenção ao escopo dos testes e preparar formas de lidar com bloqueios, bloqueios indevidos e violações não detectadas.
Se você está integrando a geração de imagens ao seu produto, pode usar os créditos gratuitos da APIYI apiyi.com para testar as chamadas à interface e o tratamento de erros. Depois, consulte a documentação da plataforma para confirmar o suporte aos modelos e parâmetros específicos.
📚 Referências
- OpenAI: ChatGPT Images 2.6 System Card: principal fonte sobre a moderação em múltiplas camadas e os riscos dos GIFs
- Link:
deploymentsafety.openai.com/chatgpt-images-2-6 -
Observação: confira as seções 3.1, 3.2.1, 3.2.2 e 4
-
OpenAI: System Card em PDF: fonte dos dados de teste com 310 amostras de GIF
- Link:
deploymentsafety.openai.com/chatgpt-images-2-6/chatgpt-images-2-6.pdf -
Observação: útil para conferir os números de avaliação e o escopo dos testes citados neste artigo
-
OpenAI API: documentação de geração de imagens: orientações sobre a interface para desenvolvedores
- Link:
developers.openai.com/api/docs/guides/image-generation -
Observação: inclui parâmetros de GIF, o parâmetro
moderatione recomendações para lidar com erros de moderação -
OpenAI: Introducing Images 2.6: anúncio oficial de lançamento
- Link:
openai.com/index/introducing-images-2-6 - Observação: ajuda a entender o contexto do lançamento do recurso de GIF e o escopo do produto
Autor: equipe técnica da APIYI
Discussões técnicas: entre em contato conosco pela página inicial da APIYI em apiyi.com. Para mais informações, acesse a central de documentação em docs.apiyi.com
