China verbietet KI-Partner für Minderjährige und regelt, wie Bindung entstehen darf
Seit dem 15. Juli dürfen chinesische Anbieter Minderjährigen keine virtuellen Partner und keine virtuellen Verwandten mehr anbieten. Wer unter 14 ist, braucht für andere KI-Begleiter die Zustimmung der Eltern. So steht es in den „Interim Measures for the Administration of Anthropomorphic AI Interaction Services“, die die Cyberspace Administration of China am 10. April gemeinsam mit vier weiteren Behörden veröffentlicht hat.
Das Beispiel eignet sich, um ein Muster einzuordnen: Was passiert, wenn ein Staat Nähe zwischen Mensch und Maschine zum Gegenstand von Aufsicht macht? Die Quellen, auf die sich dieser Text stützt, sind der Verordnungstext, den die Cyberspace Administration of China veröffentlicht hat, eine Analyse der Kanzlei HLC und ein Bericht des Portals Let’s Data Science, der sich auf AP beruft.
Minderjährige bekommen Zeitlimit und Erinnerungen
Anbieter müssen laut der Kanzleianalyse für Minderjährige einen eigenen Modus einrichten, mit Nutzungszeitlimits, Erinnerungen, in die reale Welt zurückzukehren, und erweiterten Kontrollen für Eltern. Das Verbot virtueller Beziehungen gilt für alle unter 18. Bei Nutzer:innen unter 14 kommt die Einwilligung der Erziehungsberechtigten hinzu.
Algorithmen müssen sich registrieren lassen
Auch für Erwachsene sind die Pflichten umfangreich. Anbieter müssen ihre Algorithmen registrieren und eine Sicherheitsbewertung vorlegen, bei Marktstart, bei wesentlichen Änderungen und bei mehr als 1 Million registrierten oder 100.000 monatlich aktiven Nutzer:innen. Sie müssen das Alter sowie einen Vormund oder Notfallkontakt erfassen. Beschränkt wird auch, wie Interaktionsdaten für das Training von Modellen genutzt werden dürfen, bei sensiblen personenbezogenen Daten ist eine gesonderte, ausdrückliche Einwilligung nötig.
Die Kanzleianalyse nennt keine Sanktionen, nur Maßnahmen der App-Stores gegen nicht konforme Anwendungen: Warnung, Aussetzung oder Entfernung. Der Verordnungstext sieht darüber hinaus Verwarnungen, die Einstellung des Dienstes und Bußgelder von 10.000 bis 100.000 Yuan vor, bei Schäden an Leben oder Gesundheit bis 200.000 Yuan.
Anbieter sollen Krisen erkennen und eingreifen
Anbieter sollen laut Analyse extreme emotionale Zustände erkennen und gestuft eingreifen, wenn Selbstverletzung, Suizid oder erheblicher finanzieller Verlust drohen. Let’s Data Science nennt außerdem ein Verbot emotionaler Manipulation und von Designs, die Abhängigkeit fördern, Warnhinweise bei übermäßiger Nutzung und eine Erinnerung nach jeweils zwei Stunden ununterbrochener Nutzung. In der Kanzleianalyse stehen diese beiden Punkte nicht, im Verordnungstext schon: Er verbietet, Nutzer:innen durch emotionale Manipulation zu unvernünftigen Entscheidungen zu verleiten oder emotionale Abhängigkeit zu fördern, und verlangt nach jeweils mehr als zwei Stunden ununterbrochener Nutzung einen Hinweis per Dialog oder Pop-up.
Ausgenommen sind Kundenservice, Wissensabfragen, Arbeitsassistenz, Bildung und Forschung, solange keine fortlaufende emotionale Interaktion stattfindet.
Drei Konzerne stellten Dienste ein
Nach Let’s Data Science berichtete AP, ByteDance, Alibaba und Tencent hätten im Zuge der neuen Regeln beliebte Begleiter-Dienste eingestellt, Tencent laut anderen Berichten schon im Juni. Produktnamen nennt der Bericht nicht. AP schreibt, die Unternehmen wollten damit die neuen Vorgaben einhalten. Öffentliche Belege für Anordnungen an einzelne Plattformen gibt es demnach nicht.
Über die Folgen für Nutzer:innen schweigen die Quellen
Die Regeln greifen dort ein, wo Firmen mit Nähe Geld verdienen: bei Beziehungsmodellen für Jugendliche, bei Datennutzung und bei Designs, die zum Weiternutzen anhalten. Sie sagen nichts darüber, was das Verbot für die Menschen bedeutet, die diese Dienste genutzt haben. Wie sich Einsamkeit oder Bindung verändern, wenn ein Dienst abgeschaltet wird, belegen die Quellen nicht. Auch eine Wirkung auf Jugendliche ist nicht belegt.
Für den DACH-Raum ist die Übertragbarkeit eine politische Frage, keine technische. Die Quellen vergleichen die chinesischen Regeln nicht mit europäischem Recht. Wer selbst in einer Krise steckt: Die TelefonSeelsorge ist kostenfrei und rund um die Uhr erreichbar, unter 0800 111 0 111, 0800 111 0 222 oder 116 123.
Foto von Tara Winstead: https://www.pexels.com/de-de/foto/hande-verbindung-zukunft-roboter-8386434/
