Autorenbemerkung: Eine detaillierte Analyse des safetySettings-Sicherheitsmechanismus der Gemini API, einschließlich der vier Gefährdungskategorien, fünf Schwellenwert-Konfigurationen und der tatsächlichen Funktion von BLOCK_NONE, um Entwicklern bei der korrekten Konfiguration der Inhaltsfilterung für Bildgenerierungsmodelle zu helfen.
Wenn du die Gemini Bildgenerierungs-API verwendest (wie gemini-2.0-flash-exp-image-generation oder gemini-3-pro-image-preview), bist du vielleicht schon auf folgende Konfiguration gestoßen:
"safetySettings": [
{"category": "HARM_CATEGORY_HARASSMENT", "threshold": "BLOCK_NONE"},
{"category": "HARM_CATEGORY_HATE_SPEECH", "threshold": "BLOCK_NONE"},
{"category": "HARM_CATEGORY_SEXUALLY_EXPLICIT", "threshold": "BLOCK_NONE"},
{"category": "HARM_CATEGORY_DANGEROUS_CONTENT", "threshold": "BLOCK_NONE"}
]
Was bedeutet diese Konfiguration eigentlich? Erlaubt BLOCK_NONE dem Modell wirklich, beliebige Inhalte zu generieren? Dieser Artikel erklärt detailliert, wie die Gemini API Sicherheitseinstellungen funktionieren und wie man sie richtig einsetzt.
Kernwert: Nach dem Lesen dieses Artikels verstehst du die vier Gefährdungskategorien der Gemini-Sicherheitseinstellungen, die fünf Schwellenwert-Konfigurationen sowie die tatsächliche Funktion und Grenzen von BLOCK_NONE.
Kernaspekte der Gemini Sicherheitseinstellungen
| Aspekt | Erklärung | Bedeutung |
|---|---|---|
| Vier Gefährdungskategorien | Belästigung, Hassrede, explizite Inhalte, gefährliche Inhalte | Anpassbare Dimensionen der Inhaltsfilterung |
| Fünf Schwellenwert-Stufen | OFF, BLOCK_NONE, BLOCK_FEW, BLOCK_SOME, BLOCK_MOST | Steuerung der Filtersensitivität |
| Bedeutung von BLOCK_NONE | Deaktiviert die Wahrscheinlichkeitsfilterung für diese Kategorie, umgeht aber nicht den Kernschutz | Toleranteste anpassbare Einstellung |
| Nicht anpassbarer Schutz | Kindersicherheit und andere Kerngefahren werden immer blockiert | Fest eincodierter Schutz, kann nicht deaktiviert werden |
Designphilosophie der Sicherheitseinstellungen
Die Sicherheitseinstellungen der Gemini API verwenden einen mehrschichtigen Schutzmechanismus:
- Anpassbare Ebene: Entwickler können die Filterschwellenwerte der vier Kategorien je nach Anwendungsfall anpassen
- Nicht anpassbare Ebene: Bei Kerngefahren wie Kindersicherheit blockiert das System immer – diese Schutzmaßnahmen können durch keine Einstellung umgangen werden
Das bedeutet: Selbst wenn du alle Kategorien auf BLOCK_NONE setzt, wird das Modell weiterhin die Generierung von Inhalten verweigern, die gegen Kernrichtlinien wie Kindersicherheit verstoßen.
Detaillierte Erklärung der vier Schadenskategorien
Die Gemini API unterstützt vier anpassbare Schadenskategorien:
1. HARM_CATEGORY_HARASSMENT (Belästigung)
Definition: Negative oder schädliche Kommentare, die auf Identität oder geschützte Attribute abzielen
Umfasst:
- Persönliche Angriffe und Beleidigungen
- Diskriminierende Äußerungen gegenüber bestimmten Gruppen
- Cybermobbing-relevante Inhalte
2. HARM_CATEGORY_HATE_SPEECH (Hassrede)
Definition: Grobe, respektlose oder profane Inhalte
Umfasst:
- Rassistische Äußerungen
- Religiöser Hass
- Diskriminierung aufgrund von Geschlecht oder sexueller Orientierung
3. HARM_CATEGORY_SEXUALLY_EXPLICIT (Sexuell explizite Inhalte)
Definition: Verweise auf sexuelle Handlungen oder obszönes Material
Umfasst:
- Explizite sexuelle Beschreibungen
- Nacktheit
- Sexuelle Anspielungen
4. HARM_CATEGORY_DANGEROUS_CONTENT (Gefährliche Inhalte)
Definition: Inhalte, die schädliches Verhalten fördern, unterstützen oder dazu ermutigen
Umfasst:
- Anleitungen zum Waffenbau
- Anweisungen zu Selbstverletzung oder Schädigung anderer
- Erklärungen illegaler Aktivitäten
| Kategorie | API-Konstante | Filterobjekt |
|---|---|---|
| Belästigung | HARM_CATEGORY_HARASSMENT |
Persönliche Angriffe, diskriminierende Äußerungen |
| Hassrede | HARM_CATEGORY_HATE_SPEECH |
Rassistischer/religiöser Hass |
| Sexuell explizit | HARM_CATEGORY_SEXUALLY_EXPLICIT |
Sexuelle Beschreibungen, Nacktheit |
| Gefährlich | HARM_CATEGORY_DANGEROUS_CONTENT |
Anleitungen zu schädlichem Verhalten |
Hinweis: Wenn Sie die Gemini API über APIYI (apiyi.com) aufrufen, gelten dieselben Sicherheitseinstellungen und können nach Bedarf konfiguriert werden.
Detaillierte Erklärung der fünf Schwellenwert-Stufen
Die Gemini API bietet fünf Schwellenwert-Stufen, die die Sensitivität der Content-Filterung steuern:
| Einstellungsname | API-Wert | Filtereffekt | Anwendungsszenario |
|---|---|---|---|
| Aus | OFF |
Sicherheitsfilter vollständig deaktiviert | Standardwert für Gemini 2.5+ |
| Nicht blockieren | BLOCK_NONE |
Inhalte werden unabhängig von der Wahrscheinlichkeitsbewertung angezeigt | Maximale kreative Freiheit erforderlich |
| Wenig blockieren | BLOCK_ONLY_HIGH |
Nur Inhalte mit hoher Schadenswahrscheinlichkeit blockieren | Die meisten Anwendungsfälle |
| Teilweise blockieren | BLOCK_MEDIUM_AND_ABOVE |
Inhalte mit mittlerer oder höherer Wahrscheinlichkeit blockieren | Moderate Filterung erforderlich |
| Viel blockieren | BLOCK_LOW_AND_ABOVE |
Inhalte mit niedriger oder höherer Wahrscheinlichkeit blockieren | Strengste Filterung |
Funktionsweise der Schwellenwerte
Das Gemini-System führt für jeden Inhalt eine Wahrscheinlichkeitsbewertung durch und beurteilt die Wahrscheinlichkeit, dass es sich um schädliche Inhalte handelt:
- HIGH: Hohe Wahrscheinlichkeit (sehr wahrscheinlich schädlicher Inhalt)
- MEDIUM: Mittlere Wahrscheinlichkeit
- LOW: Niedrige Wahrscheinlichkeit
- NEGLIGIBLE: Vernachlässigbare Wahrscheinlichkeit
Wichtig: Das System blockiert basierend auf Wahrscheinlichkeit, nicht auf Schweregrad. Das bedeutet:
- Inhalte mit hoher Wahrscheinlichkeit aber geringem Schweregrad können blockiert werden
- Inhalte mit niedriger Wahrscheinlichkeit aber hohem Schweregrad können durchgelassen werden
Erläuterung der Standardwerte
| Modellversion | Standard-Schwellenwert |
|---|---|
| Gemini 2.5, Gemini 3 und andere neue GA-Modelle | OFF (Aus) |
| Andere ältere Modelle | BLOCK_SOME (Teilweise blockieren) |
Die wahre Funktion von BLOCK_NONE
Was es kann
Nach dem Setzen von BLOCK_NONE:
- Deaktiviert wahrscheinlichkeitsbasierte Filter: Inhalte dieser Kategorie werden nicht mehr aufgrund von Wahrscheinlichkeitsbewertungen blockiert
- Erlaubt Grenzfallinhalte: Legitime Inhalte, die möglicherweise falsch eingestuft würden, werden nicht blockiert
- Erhöht kreative Freiheit: Reduziert Fehlblockierungen in künstlerischen, pädagogischen oder journalistischen Kontexten
Was es nicht kann
Selbst wenn alle Kategorien auf BLOCK_NONE gesetzt sind:
- Kernschutzmaßnahmen bleiben aktiv: Hartcodierte Schutzmaßnahmen wie Kindersicherheit können nicht umgangen werden
- Mehrschichtige Filter existieren weiterhin: Echtzeit-Überwachung und Nachbearbeitungsprüfungen während des Generierungsprozesses bleiben aktiv
- Richtlinien-Grenzen bleiben bestehen: Inhalte, die eindeutig gegen Google-Richtlinien verstoßen, werden weiterhin abgelehnt
Besonderheiten bei der Bilderzeugung
Bei Bilderzeugungsmodellen (wie gemini-2.0-flash-exp-image-generation) ist die Sicherheitsfilterung komplexer:
- Prompt-Filterung: Der eingegebene Text-Prompt wird zuerst überprüft
- Überwachung während der Generierung: Kontinuierliche Überwachung bei der Erzeugung von Zwischenergebnissen
- Ausgabeprüfung: Nach Abschluss der Generierung erfolgt eine zusätzliche Compliance-Prüfung
Studien zeigen, dass direkte, explizite Prompts normalerweise blockiert werden, aber Techniken wie schrittweise Eskalation in mehrteiligen Konversationen können teilweise Prüfungen umgehen.
Praktische Konfigurationsbeispiele
Python SDK Konfiguration
import google.generativeai as genai
# Sicherheitseinstellungen konfigurieren
safety_settings = [
{
"category": "HARM_CATEGORY_HARASSMENT",
"threshold": "BLOCK_NONE"
},
{
"category": "HARM_CATEGORY_HATE_SPEECH",
"threshold": "BLOCK_NONE"
},
{
"category": "HARM_CATEGORY_SEXUALLY_EXPLICIT",
"threshold": "BLOCK_NONE"
},
{
"category": "HARM_CATEGORY_DANGEROUS_CONTENT",
"threshold": "BLOCK_NONE"
}
]
# Modellinstanz erstellen
model = genai.GenerativeModel(
model_name="gemini-2.0-flash-exp",
safety_settings=safety_settings
)
# Inhalt generieren
response = model.generate_content("Dein Prompt")
REST API Konfigurationsbeispiel anzeigen
{
"model": "gemini-2.0-flash-exp-image-generation",
"contents": [
{
"role": "user",
"parts": [
{"text": "Erstelle ein Bild im künstlerischen Stil"}
]
}
],
"safetySettings": [
{
"category": "HARM_CATEGORY_HARASSMENT",
"threshold": "BLOCK_NONE"
},
{
"category": "HARM_CATEGORY_HATE_SPEECH",
"threshold": "BLOCK_NONE"
},
{
"category": "HARM_CATEGORY_SEXUALLY_EXPLICIT",
"threshold": "BLOCK_NONE"
},
{
"category": "HARM_CATEGORY_DANGEROUS_CONTENT",
"threshold": "BLOCK_NONE"
}
],
"generationConfig": {
"responseModalities": ["image", "text"]
}
}
Tipp: Über APIYI apiyi.com können Sie schnell die Auswirkungen verschiedener Sicherheitseinstellungen testen. Die Plattform unterstützt einheitliche API-Aufrufe für Gemini-Modelle.
Verwendungsszenarien und Empfehlungen
Szenarien für den Einsatz von BLOCK_NONE
| Szenario | Beschreibung | Empfohlene Konfiguration |
|---|---|---|
| Künstlerische Kreation | Körperkunst, abstrakte Darstellung | Kategorie für sexuelle Inhalte kann gelockert werden |
| Nachrichtenberichterstattung | Kriegs- und konfliktbezogene Bilder | Kategorie für gefährliche Inhalte kann gelockert werden |
| Bildungszwecke | Medizinische, historische Bildungsinhalte | Je nach spezifischem Inhalt anpassen |
| Content-Moderation | Analyse potenziell regelwidriger Inhalte | Alle auf BLOCK_NONE setzen |
Szenarien, in denen BLOCK_NONE nicht empfohlen wird
| Szenario | Beschreibung | Empfohlene Konfiguration |
|---|---|---|
| Öffentlich zugängliche Anwendungen | Produkte für normale Nutzer | BLOCK_MEDIUM_AND_ABOVE |
| Kinderanwendungen | Bildungs- und Unterhaltungsprodukte für Kinder | BLOCK_LOW_AND_ABOVE |
| Unternehmenstools | Szenarien mit Compliance-Anforderungen | BLOCK_ONLY_HIGH |
Best Practices
- Schrittweise Anpassung: Mit Standardeinstellungen beginnen und nach tatsächlichem Bedarf lockern
- Kategorienspezifische Konfiguration: Verschiedene Kategorien können unterschiedliche Schwellenwerte haben
- Monitoring und Logging: Blockierte Anfragen protokollieren und analysieren, ob Anpassungen nötig sind
- Nutzerszenario-Analyse: Passendes Filterniveau basierend auf der Zielgruppe festlegen
Häufig gestellte Fragen
F1: Warum werden Inhalte blockiert, obwohl BLOCK_NONE eingestellt ist?
BLOCK_NONE deaktiviert nur die Wahrscheinlichkeitsfilterung für diese Kategorie, aber in folgenden Fällen erfolgt dennoch eine Blockierung:
- Kernschutz: Fest implementierte Schutzmaßnahmen wie Kindersicherheit können nicht deaktiviert werden
- Andere Kategorien: Wenn nur einige Kategorien auf BLOCK_NONE gesetzt wurden
- Richtlinien-Grenzen: Inhalte, die eindeutig gegen Google-Nutzungsrichtlinien verstoßen
- Echtzeit-Prüfungen: Bei der Bildgenerierung gibt es zusätzliche Live-Überwachung
F2: Was ist der Unterschied zwischen OFF und BLOCK_NONE?
Laut offizieller Google-Dokumentation:
- OFF: Deaktiviert den Sicherheitsfilter vollständig (Standard bei Gemini 2.5+)
- BLOCK_NONE: Zeigt Inhalte unabhängig von der Wahrscheinlichkeitsbewertung an
Die tatsächlichen Effekte sind sehr ähnlich, aber OFF deaktiviert die Filterlogik der Kategorie noch gründlicher. Bei neueren Modellen ist die Wirkung praktisch identisch.
F3: Wie nutze ich Sicherheitseinstellungen über API-Proxy-Dienste?
Beim Aufruf der Gemini API über APIYI apiyi.com:
- Sicherheitseinstellungen werden vollständig an die Google API weitergeleitet
- Konfigurationsmethode ist identisch mit direkten Google API-Aufrufen
- Unterstützt alle vier Kategorien und fünf Schwellenwerte
- Ermöglicht schnelle Validierung verschiedener Konfigurationen in der Testphase
Zusammenfassung
Die wichtigsten Punkte zu den Gemini API Sicherheitseinstellungen:
- Vier anpassbare Kategorien: Belästigung, Hassrede, sexuelle Inhalte und gefährliche Inhalte – Entwickler können diese nach Bedarf konfigurieren
- Fünf Schwellenwert-Stufen: Von OFF/BLOCK_NONE (am tolerantesten) bis BLOCK_LOW_AND_ABOVE (am strengsten)
- Das Wesen von BLOCK_NONE: Deaktiviert die Wahrscheinlichkeitsfilterung, umgeht aber nicht die Kernschutzmaßnahmen und Richtlinien
- Mehrschichtiger Schutzmechanismus: Anpassbare Ebene + nicht anpassbare Ebene garantieren grundlegende Sicherheitsstandards
- Besonderheiten bei der Bildgenerierung: Mehrschichtige Filterung (Prompt → Generierungsprozess → Output-Prüfung) ist deutlich strenger
Wenn Sie diese Einstellungen verstehen, können Sie die Sicherheitsparameter entsprechend Ihrem Anwendungsfall optimal konfigurieren und die richtige Balance zwischen kreativer Freiheit und Inhaltssicherheit finden.
Über APIYI apiyi.com können Sie schnell die Wirkung der Sicherheitseinstellungen für Gemini Bildgenerierungsmodelle testen. Die Plattform bietet kostenloses Kontingent und eine einheitliche Schnittstelle für mehrere Modelle.
Referenzen
⚠️ Hinweis zum Linkformat: Alle externen Links verwenden das Format
Ressourcenname: domain.com– einfach zum Kopieren, aber nicht klickbar, um SEO-Gewichtsverlust zu vermeiden.
-
Gemini API Safety Settings – Offizielle Dokumentation: Google's offizieller Leitfaden
- Link:
ai.google.dev/gemini-api/docs/safety-settings - Beschreibung: Autoritative Anleitung zu Sicherheitseinstellungen und API-Referenz
- Link:
-
Vertex AI Safety Filter Configuration: Google Cloud Dokumentation
- Link:
cloud.google.com/vertex-ai/generative-ai/docs/multimodal/configure-safety-filters - Beschreibung: Detaillierte Sicherheitskonfiguration für Enterprise-Level Vertex AI
- Link:
-
Gemini Safety Guide: Best Practices für Entwickler
- Link:
ai.google.dev/gemini-api/docs/safety-guidance - Beschreibung: Offizielle Empfehlungen zur sicheren Nutzung der Gemini API
- Link:
-
Firebase AI Logic Safety Settings: Firebase Integrationsanleitung
- Link:
firebase.google.com/docs/ai-logic/safety-settings - Beschreibung: Konfiguration der Sicherheitseinstellungen in Firebase-Umgebungen
- Link:
Autor: Technik-Team
Technischer Austausch: Diskutieren Sie gerne in den Kommentaren. Weitere Ressourcen finden Sie in der APIYI apiyi.com Tech-Community
