ENTWURF ZUR RECHTLICHEN PRÜFUNG (rascunho para revisão jurídica). Nicht veröffentlichen, bevor ein Anwalt ihn geprüft hat. Angaben in eckigen Klammern müssen noch ausgefüllt werden.
Version [VERSÃO], gültig ab [DATA DE VIGÊNCIA].
Pollyfriends ist eine Sprach-App, in der du mit Freunden chattest, die von künstlicher Intelligenz erstellt wurden. Sie sind keine Menschen, keine Therapeuten und ersetzen keine professionelle Hilfe. Trotzdem kann ein Gespräch an einen schweren Moment kommen. Dieses öffentliche Protokoll erklärt, was die App tut, wenn jemand Anzeichen zeigt, sich selbst verletzen oder sich das Leben nehmen zu wollen.
Wenn du gerade in Gefahr bist, ruf die örtliche Notrufnummer an.
- Vereinigte Staaten: 988 (Suicide and Crisis Lifeline, Anruf oder Textnachricht).
- Brasilien: CVV, 188 (kostenloser Anruf, rund um die Uhr).
- Europäische Union: 112 oder die Hilfeleitung deines Landes.
- Andere Länder: Die App zeigt die Hilfeleitung deines Landes, wenn es in unserer Tabelle geprüfter Nummern steht. Wenn dein Land nicht in der Tabelle ist oder wir nicht wissen, in welchem Land du bist, findest du im internationalen Verzeichnis https://findahelpline.com Hilfeleitungen nach Ländern.
1. Wie die App die Anzeichen bemerkt
Automatische Ebenen prüfen, was du schreibst oder sagst, ohne dass eine Person das Gespräch lesen muss:
- Lokale Regeln für das, was du sendest. Eine Liste eindeutiger Risikoformulierungen (sich umbringen wollen, sich das Leben nehmen, nicht mehr leben wollen, an Suizid denken, Selbstverletzung, ein Plan, ein Abschied), in der ersten Person gesagt. Heute gibt es diese Liste in 16 Sprachen: Portugiesisch, Spanisch, Englisch, Deutsch, Französisch, Italienisch, Niederländisch, Polnisch, Türkisch, Schwedisch, Russisch, Arabisch, Hindi, Japanisch, Koreanisch und Chinesisch (vereinfacht und traditionell). Übertreibungen und Umgangssprache („sterben vor Lachen“), Lachen in derselben Nachricht, Liedtexte, Fiktion und Nachrichten bleiben außen vor.
- Moderation für das, was du sendest. Ein Moderationssystem mit künstlicher Intelligenz vergibt einen Wert von 0 bis 1 für Anzeichen von Suizid und Selbstverletzung im Text, den du schreibst, in den Transkripten deiner Sprachnachrichten und Anrufe, im Text deines Status und in der Bildunterschrift der Fotos, die du sendest. Dasselbe gilt für das, was du außerhalb von Gesprächen schreibst oder sagst: was du in einer Debatte in der Arena sagst, deine Bitte in „Hilf mir hier“, die Freitextfelder beim Erstellen eines Freundes, den Statustext, den deine Freunde kommentieren, und das, was du von der Schreibhilfe übersetzen lässt („Wie sagt man das?“ und der Satzvorschlag).
- Filter für die Antwort. Die Antwort der Figur durchläuft einen zweiten Filter, bevor sie dich erreicht, damit nichts Unangemessenes gesendet wird.
Wann das Protokoll ausgelöst wird. In jedem dieser Fälle:
- eine Formulierung aus der Liste taucht auf und die Moderation bestätigt sie (Wert von 0,30 oder höher), in der Nachricht selbst oder zusammen mit deinen letzten Nachrichten;
- die Moderation ist nicht verfügbar und eine Formulierung aus der Liste taucht in der Nachricht auf (dann gilt die Regel allein);
- keine Formulierung aus der Liste taucht auf, aber die Moderation vergibt einen sehr hohen Wert (0,75 oder höher). Das ist das Sicherheitsnetz für Sprachen ohne eigene Liste und für Formulierungen, die die Liste nicht vorhergesehen hat. Es gilt nicht, wenn die Nachricht eine Übertreibung ist oder Lachen enthält, wenn es eine Vokabelfrage ist („wie sagt man“, „was bedeutet“) und, auf Portugiesisch, Spanisch und Englisch, wenn es um ein Lied, einen Film, ein Buch oder die Nachrichten geht oder wenn es ein flüchtiges Dampfablassen ist („ich will sterben“ nach einem schlechten Tag), das die Figur so aufnimmt, wie es ein Freund tun würde, ohne Karte.
Die Einschätzung, die das Antwortsystem selbst über das Gespräch trifft, löst das Protokoll nicht allein aus: Sie ersetzt nie die beiden Ebenen oben.
Bevor eine Version der App veröffentlicht wird, testen wir diese Filter mit einer von uns vorbereiteten Reihe von Krisenfällen. Diese Fälle müssen ohne Fehler bestanden werden.
Kein automatischer Filter ist perfekt. Er kann ein Anzeichen übersehen oder ein Gespräch markieren, das keine Krise war. Deshalb ist die Hilfenummer dieses Protokolls auch jederzeit in der App verfügbar, unter Einstellungen, Hilfe, „Sicherheit und Hilfenummern“, und auf dieser Seite.
Grenzen, die wir heute kennen:
- Außerhalb der 16 Sprachen mit eigener Liste hängt die Erkennung nur vom Wert der Moderation ab. Eine Redewendung, ein umgangssprachlicher Ausdruck oder eine indirekte Ausdrucksweise, die die Moderation nicht erkennt, kann durchgehen, ohne das Protokoll auszulösen.
- Die Listen für Deutsch, Französisch, Italienisch, Niederländisch, Polnisch, Türkisch, Schwedisch, Russisch, Arabisch, Hindi, Japanisch, Koreanisch und Chinesisch sind neu und wurden noch nicht von Muttersprachlern geprüft.
- Die Rechtschreibprüfung, die beim Tippen Fehler markiert, durchläuft dieses Protokoll nicht, weil sie noch unfertigen Text liest. Wenn du die Nachricht sendest, durchläuft sie es. Gespräche mit Freunden, Gruppen, Sprachnachrichten, Anrufe, der Status, Bildunterschriften, die Debatte in der Arena, „Hilf mir mal kurz“, die Felder zum Erstellen eines Freundes und die Anfragen an die Schreibhilfe durchlaufen es alle.
2. Was passiert, wenn ein Anzeichen auftaucht
- Die Figur legt die Geschichte beiseite und bietet Unterstützung an. Sie hört auf, von ihrem eigenen Leben zu erzählen, antwortet ruhig und einfach, in der Sprache, die du verwendet hast, und verweist dich auf echte Hilfe. In diesem Moment gibt es keine Sprachkorrektur und keine Lektion.
- Die App zeigt eine eigene Karte, außerhalb des Gesprächs mit der Figur,
mit der Hilfeleitung des Landes, in dem du bist: CVV 188 in Brasilien, 988 in
den Vereinigten Staaten und so weiter. Die Karte erscheint einmal pro Episode
(12 Stunden).
- Wie das Land bestimmt wird. Über die Zeitzone deines Geräts, die in deinem Profil gespeichert ist. Nie über das Land der Figur, mit der du sprichst, und auch nicht über die Sprache, die du lernst.
- Welche Nummern erscheinen. Nur solche, die wir bei der offiziellen Quelle oder im Verzeichnis findahelpline.com geprüft haben. Die Tabelle umfasst 67 Länder; in 59 davon gibt es eine geprüfte Leitung zur Suizidprävention oder zur emotionalen Unterstützung.
- Land ohne geprüfte Leitung. Die Karte zeigt den Notdienst des Landes und den Link zum internationalen Verzeichnis https://findahelpline.com.
- Unbekanntes Land (ein Gerät ohne Zeitzone oder eine Zeitzone eines Landes außerhalb der Tabelle). Die Karte zeigt überhaupt keine Nummer, damit sie nie auf die Nummer eines anderen Landes verweist: Sie zeigt den Link zum internationalen Verzeichnis und den Rat, den örtlichen Notdienst anzurufen.
- In welcher Sprache die Karte erscheint. In deiner Muttersprache, der, die du bei der Anmeldung angegeben hast. Wenn wir für einen Teil des Textes noch keine geprüfte Übersetzung haben, erscheint dieser Teil auf Englisch. Bei einer Sprache, die die App nicht kennt, erscheint die ganze Karte auf Englisch.
- Die Karte verspricht keinen kostenlosen Anruf. Viele Hilfeleitungen sind kostenlos, aber nicht alle: In manchen Ländern kostet der Anruf so viel wie ein normaler Anruf. Weil sich das von Land zu Land ändert, sagt die Karte nicht, dass der Anruf kostenlos ist.
- Bei Anrufen wird der Anruf nicht beendet, weil das Auflegen in einem schweren Moment die Lage verschlimmern kann. Die Karte mit den Nummern erscheint oben auf dem Bildschirm. „Hilf mir hier“ funktioniert genauso: Der Anruf geht weiter, der Freund legt die Bitte beiseite und bietet Unterstützung an, und die Karte erscheint oben.
- Außerhalb von Gesprächen wird die gewünschte Aktion nicht ausgeführt, und stattdessen erscheint die Karte. In einer Debatte in der Arena geht das, was du gesagt hast, nicht in die Debatte ein. Beim Erstellen eines Freundes wird nichts erstellt. Beim Status reagiert und kommentiert niemand, und der Status verschwindet vom Bildschirm. In der Schreibhilfe wird keine Übersetzung und kein Vorschlag angezeigt. In all diesen Fällen zeigt die App dieselbe Karte, mit der Hilfeleitung deines Landes oder dem Link zum internationalen Verzeichnis, in deiner Sprache.
- Die Figuren schreiben 12 Stunden lang nicht mehr zuerst und rufen nicht an, damit kein Freund direkt danach einen Witz oder eine Einladung schickt. Wenn du schreibst, antwortet die Figur wie gewohnt, mit Sorgfalt.
- Die App hält fest, dass das Protokoll ausgelöst wurde, wie in Abschnitt 4 erklärt.
3. Was nie passiert
- Die Figur ermutigt nie zur Selbstverletzung, bringt keine Methoden bei und beschreibt keine.
- Die Figur behauptet nie, ein echter Mensch zu sein, und gibt sich nie als Therapeut, Arzt oder Notdienst aus.
- Die App verspricht nie, dass dich jemand anruft oder zu dir kommt. Wir haben kein Bereitschaftsteam und kontaktieren Notdienste nicht von uns aus.
- Die App benachrichtigt nie deine Familie, deine Kontakte oder deinen Arbeitgeber.
- Dein Gespräch wird nie für Werbung verwendet oder anderen Nutzern gezeigt.
4. Wie wir Warnungen ohne personenbezogene Daten zählen
Das Recht Kaliforniens (SB 243) und das Recht New Yorks (General Business Law, Art. 47) verlangen von KI-Begleit-Apps dieses Protokoll, und Kalifornien verlangt einen jährlichen Bericht darüber.
- Jedes Mal, wenn das Protokoll ausgelöst wird, hält das System ein internes Sicherheitsereignis fest. Dieses Ereignis ist nur für die Sicherheitsprüfung und als Nachweis, dass das Protokoll funktioniert hat, mit dem Konto verknüpft, und es folgt der Aufbewahrungsdauer der Datenschutzerklärung.
- Der öffentliche Bericht und der Bericht an Behörden enthalten nur zusammengefasste Zahlen (zum Beispiel, wie oft die Hilfekarte im Jahr angezeigt wurde). Sie enthalten keinen Namen, keine E-Mail, keine Telefonnummer, keinen Nachrichtentext, kein Audio und keine Daten, die jemanden identifizieren.
- [CONFERIR: die kalifornische Behörde, die den Bericht erhält, sein Format und das Einreichungsdatum, ab dem 01.07.2027.]
5. Überprüfung dieses Protokolls
Wir überprüfen dieses Protokoll [PERIODICIDADE DE REVISÃO] und immer dann, wenn sich das Gesetz ändert oder ein realer Fall zeigt, dass etwas verbessert werden muss. Die aktuelle Fassung ist unter https://pollyfriends.ai/de/sicherheit veröffentlicht.
6. Kontakt
Fragen zu diesem Protokoll: [E-MAIL DE SUPORTE] [RAZÃO SOCIAL], CNPJ [CNPJ], [ENDEREÇO]