Beim AI Watermarking werden Machine-Learning-Modelle oder Datensätze mit einer digitalen Tätowierung versehen, um sie identifizieren zu können. Angesichts der explosionsartigen Zunahme von Inhalten, die durch Künstliche Intelligenz erzeugt werden, ist dieser Ansatz unverzichtbar geworden. Finde heraus, welche Techniken es gibt und welche Herausforderungen...
Innerhalb der Machine-Learning-Community ist das Watermarking oder die digitale Tätowierung der KI ein besonders aktives Forschungsgebiet.
Da generative künstliche Intelligenzen wie ChatGPT und DALL-E immer realistischere Texte und Bilder erzeugen, ist es dringend notwendig, ein System zu entwickeln, das diese Inhalte von den von Menschen erzeugten unterscheiden kann.
Viele Techniken wurden bereits von Forschern erfunden, aber nur wenige werden bereits in der realen Welt angewendet. Ist das wirklich möglich? Finde in diesem Artikel alle Antworten auf deine Fragen!
💡Auch interessant:
| KI Diskriminierung |
| AWS Skill Builder |
| Dataiku KI Tool |
| Google MusicLM KI |
| KI braucht Schlaf |
Was ist Watermarking?
Watermarking ist das Hinzufügen einer Nachricht, eines Logos, einer Unterschrift oder von Daten zu einem physischen oder digitalen Objekt. Dadurch soll es möglich sein, seine Herkunft und seinen Ursprung zu bestimmen.
Diese Methode wird seit langem bei physischen Objekten wie Banknoten und Briefmarken angewandt, um ihre Echtheit zu beweisen.
Heutzutage gibt es auch Techniken, die das AI Watermarking von digitalen Objekten wie Bildern, Audiodateien oder Videos ermöglichen. Es werden auch digitale Tätowierungen auf die Daten aufgebracht.
Diese Markierung ist manchmal sichtbar, aber nicht immer. AI Watermarking wird häufig für die Verwaltung von Urheberrechten eingesetzt, z. B. um die Herkunft eines Bildes nachzuverfolgen. Die ausgefeiltesten Techniken ermöglichen es, digitale Objekte mit versteckten Tätowierungen zu versehen, die Löschversuchen widerstehen können.
Dataset-Watermarking KI und Machine Learning
Derzeit untersuchen Forscher die Möglichkeiten, KI Watermarking Techniken auf Machine-Learning-Modelle und die Daten, die zu deren Erstellung verwendet werden, anzuwenden.
Es gibt zwei Hauptansätze. Beim Model Watermarking wird einem Machine-Learning-Modell ein Watermark hinzugefügt, um zu erkennen, ob es zur Erstellung einer Vorhersage verwendet wurde.
Alternativ dazu wird beim Dataset AI Watermarking ein Trainingsdatensatz auf unsichtbare Weise verändert, um zu erkennen, ob ein Modell darauf trainiert wurde.
Es gibt verschiedene Möglichkeiten, diese Techniken zu implementieren und zu nutzen. Zunächst einmal kann das Modell durch das Einspeisen bestimmter Daten in das Trainingsdataset verändert werden. Diese Änderungen können später erkannt werden.
Eine andere Methode besteht darin, die Gewichte des Modells während oder nach dem Training anzupassen. Auch hier kann diese Veränderung später erkannt werden.
Das Watermarking eines Datensatzes ist angemessen, wenn der Ersteller des Datensatzes nicht am Training der KI beteiligt ist. Es beruht also ausschließlich auf der Anpassung des Trainingsdatensatzes.
Dadurch lässt sich herausfinden, wie ein Modell erzeugt wurde. Im Gegensatz dazu ermöglicht Model Watermarking die Entdeckung eines Modells, wenn es eingesetzt wird.
Die Herausforderungen des KI Watermarking
Das AI Watermarking von Datasets erfordert die Entwicklung neuer Techniken, da die bestehenden Ansätze im Kontext von Machine Learning nicht funktionieren.
Wenn zum Beispiel ein Bildklassifizierungsmodell trainiert wird, werden alle Wasserzeichen in den Trainingsbildern entfernt, da sie für den Lernprozess nicht relevant sind.
Um nützlich zu sein, erfordert das Watermarking eines ML-Datasets, dass die Daten in einer Weise verändert werden, die mit dem Labeling übereinstimmt. Dadurch werden Änderungen im Modell induziert, die später erkannt werden können.
Wie kann man das Watermarking einer KI überprüfen?
Es ist möglich, das Watermarking eines KI-Modells zu überprüfen, ohne einen direkten Zugriff zu benötigen. Dies gilt insbesondere für die Bestimmung seiner Herkunft und ob es mit einem bestimmten Datensatz trainiert wurde.
Um das Watermark zu überprüfen, genügt es, seine Produktion als Reaktion auf spezifische Dateneingaben, die zum Aussetzen entworfen wurden, zu inspizieren. Theoretisch ist es also möglich, diese Methode auf jede KI anzuwenden.
Techniken des AI Watermarking
In einem Blogbeitrag stellen die Forscher von Facebook / Meta das Konzept der „radioaktiven Daten“ (radioactive data) für die KI-Watermarking vor. Ihrer Meinung nach kann man mit dieser Technik feststellen, welches Dataset verwendet wurde, um ein Modell zu trainieren.
Dies hilft, besser zu verstehen, wie verschiedene Datenbestände die Leistung verschiedener neuronaler Netze beeinflussen. Somit gibt diese Art von Technik Forschern und Ingenieuren die Fähigkeit, besser zu verstehen, wie ihre Kollegen ihre Modelle trainieren.
Im weiteren Sinne ermöglicht dies auch, potenzielle Verzerrungen in diesen Modellen zu erkennen. So kann beispielsweise verhindert werden, dass bestimmte Datenbestände für Machine-Learning-Zwecke missbraucht werden.
Durch einen wissenschaftlichen Artikel mit dem Titel „Open Source Dataset Protection“ schlagen chinesische Forscher eine nützliche Methode vor, um zu bestätigen, dass kommerzielle KI-Modelle nicht auf Datasets trainiert wurden, die für den Bildungs- oder wissenschaftlichen Gebrauch gedacht sind.
IBM hat 2018 eine Technik vorgestellt, mit der die Eigentümerschaft von Diensten für neuronale Netze mithilfe einfacher API-Abfragen überprüft werden kann. Ziel ist es, Deep-Learning-Modelle vor Cyberangriffen zu schützen. Die Forscher haben drei verschiedene Algorithmen erstellt, um relevante Inhalte, zufällige Daten oder Rauschen als Watermarks in die „neuralen Netze“ einzufügen.
Wie wird das AI Watermarking genutzt?
Bisher ist das KI-Watermarking noch hauptsächlich theoretisch. Es gibt jedoch eine Vielzahl von möglichen Anwendungsfällen.
Modell-Watermarking könnte von einer Regierungsbehörde genutzt werden, um zu überprüfen, ob ein Machine-Learning-Modell, das in einem Produkt verwendet wird, die Datenschutzgesetze einhält.
Eine zivilgesellschaftliche Organisation kann sicherstellen, dass ein Modell, das Entscheidungen trifft, geprüft wurde. Die Regulierungsbehörden können ihrerseits überprüfen, ob eine kommerzielle Organisation ein bestimmtes Machine-Learning-Modell eines Drittanbieters eingesetzt hat, um sie auf ihre Verzerrungen aufmerksam zu machen und das Produkt zu zertifizieren oder einen Rückruf zu veranlassen.
Dataset Watermarketing kann feststellen, ob ein Machine-Learning-Modell mit verzerrten oder falschen Daten trainiert wurde, um die Verbraucher zu warnen. Ein Data Steward kann feststellen, ob ein Modell mit persönlichen Daten trainiert wurde, die er zur Verfügung gestellt hat, um diese zu schützen.
Ein Datenveröffentlicher kann feststellen, ob ein Modell mit einer älteren Version des Datasets trainiert wurde, um die Nutzer vor bekannten Verzerrungen oder Fehlern zu warnen. Schließlich kann ein Regulierer feststellen, welche Datasets von Machine-Learning-Modellen verwendet werden, um Audits zu priorisieren.
Generell lässt sich mit Watermarking feststellen, welches KI-Modell von einem Dienst verwendet wird und welche Datensätze zum Training verwendet werden. Es ist daher ein wertvolles Gut für Transparenz und Ethik.
In manchen Fällen kann dieses Ziel auch mit anderen Methoden erreicht werden. Beispielsweise können Regulierungsbehörden von Unternehmen verlangen, die verwendeten Datenquellen direkt anzugeben. Watermarking kann jedoch eine bessere Quelle des Vertrauens darstellen.
Mit dem Aufkommen von generativen künstlichen Intelligenzen wie DALL-E und ChatGPT wird Watermarking unerlässlich. Nur mit dieser Technik lässt sich feststellen, ob ein Inhalt von der KI erstellt wurde.
So kann z. B. festgestellt werden, ob ein Schüler beim Schreiben eines Aufsatzes geschummelt hat oder ob eine generative KI wie MidJourney mit urheberrechtlich geschützten Bildern trainiert wird. Ebenso kann Watermarking helfen, „DeepFakes„-Videos zu erkennen, die mithilfe von KI erzeugt wurden…
ChatGPT und AI Watermarking
Seit seiner Einführung Ende 2022 durch OpenAI hat sich ChatGPT schnell zu einem viralen Phänomen entwickelt. Innerhalb von Sekunden kann diese KI alle Fragen beantworten und Texte in allen Sprachen oder sogar in Computersprache generieren.
Dieser Chatbot ist schon jetzt beeindruckend und wird wahrscheinlich mit der für 2023 geplanten Einführung von GPT-4 noch besser werden.
Daher wird es sehr schwierig werden, einen von ChatGPT erzeugten Text von menschlichem Schreiben zu unterscheiden.
Es ist daher unerlässlich, ein Watermarking-System für diese KI zu erfinden, bevor das Web mit Texten überschwemmt wird, die von einem Chatbot produziert wurden und möglicherweise falsche oder veraltete Informationen enthalten.
Zunächst beschränkte sich OpenAI darauf, die Nutzer von ChatGPT aufzufordern, die von der KI erzeugten Inhalte deutlich zu kennzeichnen. Es wäre jedoch naiv, sich nur auf die Ehrlichkeit der Nutzer zu verlassen.
Bereits in den ersten Tagen nach der Einführung der KI begannen viele Schüler, sie zu benutzen, um ihre Noten zu verbessern und zu betrügen. Diese Praxis hat sich natürlich wie ein Lauffeuer an den Schulen und Unis verbreitet…
Es ist auch zu erwarten, dass Amazon-Händler es benutzen werden, um gefälschte Bewertungen zu erstellen, oder dass Regierungen es für Propagandazwecke einsetzen werden. Ebenso werden Cyberkriminelle Banden es nutzen, um überzeugendere Phishing-E-Mails zu verfassen.
Angesichts dieser ernsten Gefahren ist AI Watermarking unverzichtbar geworden. Eine Erkennungsmethode wurde bereits von OpenAI zur DALL-E KI hinzugefügt, um eine visuelle Signatur an die von ihr erzeugten Bilder anzuhängen. Bei Textinhalten ist die Aufgabe jedoch viel schwieriger.
Der vielversprechendste Ansatz ist die Kryptografie. Bei einer Konferenz an der Universität von Texas in Austin stellte der Forscher Scott Aaronson von OpenAI eine experimentelle Technik vor.
Dabei würden Wörter in eine Reihe von Token umgewandelt, die Satzzeichen, Buchstaben oder Teile von Wörtern darstellen. Diese „Strings“ könnten aus bis zu 100.000 Token bestehen. Anschließend könnte GPT sie so anordnen, dass sie den Text widerspiegeln.
Es wäre möglich, dieses Watermark mithilfe eines kryptografischen Schlüssels zu erkennen, der nur OpenAI bekannt ist. Der Unterschied wäre daher für den Endnutzer nicht wahrnehmbar.
Anfang Februar 2023 führte OpenAI einen Klassifikator ein, mit dem Inhalte erkannt werden können, die von ChatGPT oder anderen KIs erzeugt wurden. Seine Erfolgsrate beschränkt sich jedoch auf 26 %…
Eine Technik zur Erkennung von Lieblingswörtern der KI
In einem Artikel, der am 24. Januar 2023 veröffentlicht wurde, stellen Forscher eine Watermarking-Technik für ChatGPT und andere Sprachgenerierungsmodelle vor.
Sie basiert auf einer Software, die zwei Wortlisten speichert: eine grüne und eine rote. Wenn ein Chatbot wie ChatGPT das nächste Wort in dem von ihm generierten Text auswählt, wählt er normalerweise ein Wort aus der grünen Liste.
Um zu erkennen, ob ein Text von der KI generiert wurde, lässt man eine Software einfach die Anzahl der grünen Wörter zählen. Ab einem bestimmten Schwellenwert steigt die Wahrscheinlichkeit.
Dieser Ansatz erweist sich bei langen Texten als effektiver. Theoretisch könnte er in eine Webbrowser-Erweiterung eingebaut werden, um automatisch auf KI-generierte Inhalte hinzuweisen.
Natürlich ist dieses Tool nicht unfehlbar. Insbesondere ist es möglich, einen Text manuell zu bearbeiten, um Wörter aus der grünen Liste zu ersetzen, vorausgesetzt natürlich, dass du Zugang zu dieser Liste hast. Diese Methode erfordert außerdem, dass OpenAI und andere KI-Ersteller das Tool implementieren.
Ein Wasserzeichen für KI-generierte Stimmen
Neben Texten und Bildern ist Künstliche Intelligenz auch hervorragend in der Nachahmung von Stimmen.
Mit dem Tool Vall-E kann man z. B. jede beliebige Stimme synthetisieren und sie einen Text vorlesen lassen.
Diese Technologien bieten viele Möglichkeiten für die Synchronisation von Schauspielern oder Hörbüchern, aber sie bergen auch Gefahren. Eine böswillige Person kann z. B. gefälschte Reden von Politikern oder anderen Prominenten erstellen.
Um der Gefahr des Missbrauchs entgegenzuwirken, hat Resemble AI ein Watermarking-System für KI-generierte Stimmen entwickelt. Sein Name ist eine Kombination aus den Wörtern „perceptual“ (wahrnehmend) und „thresold“ (Schwelle): PerTh.
Das System nutzt ein Machine-Learning-Modell, um Datenpakete in den Audioinhalt zu integrieren und später wieder abzurufen.
Diese Daten sind nicht wahrnehmbar, aber mit dem Inhalt verwoben. Sie sind schwer zu entfernen und stellen eine Möglichkeit dar, zu überprüfen, ob eine Stimme von der KI erzeugt wurde. Außerdem lässt diese Technik die Möglichkeit offen, das Audio zu manipulieren, um es zu beschleunigen, zu verlangsamen oder in ein Format wie MP3 zu komprimieren.
Das Audio-Watermark ist eigentlich ein tiefer Ton, der von den höheren Tönen vor den Ohren des Hörers verdeckt wird. Sie liegt also unterhalb der Wahrnehmungsschwelle.
Die Herausforderung für Resemble AI besteht darin, ein Machine-Learning-Modell zu schaffen, das die Töne erzeugen und sie an der richtigen Stelle in einem Audio platzieren kann, sodass sie nicht mehr wahrgenommen werden. Dieses Modell ist auch in der Lage, den Prozess umzukehren, um die Daten abzurufen.
Leider funktioniert diese geniale Methode momentan nur mit Stimmen, die von Resemble AI und seiner eigenen KI erzeugt wurden. Es wird wohl noch etwas dauern, bis eine universelle Lösung das Licht der Welt erblickt und zu einem Sicherheitsstandard wird.
KI ohne Wasserzeichen ist in China verboten
Seit dem 10. Januar 2023 ist es in China verboten, KI-Inhalte ohne Watermarking zu erstellen. Diese Regel wurde von der Cyberspace-Behörde herausgegeben, die auch für die Zensur im Internet zuständig ist.
Die Regierung weist auf die Gefahren hin, die von der „Technologie der tiefen Synthese“ ausgehen. Diese Innovation kann zwar die Bedürfnisse der Nutzer erfüllen, aber auch missbraucht werden, um illegale oder gefährliche Informationen zu verbreiten, den Ruf zu schädigen oder Identitäten zu stehlen.
Laut der offiziellen Erklärung gefährden von KI erzeugte Inhalte die nationale Sicherheit und die soziale Stabilität. Neue Produkte müssen daher von der Behörde bewertet und genehmigt werden, bevor sie auf den Markt gebracht werden können.
Die Bedeutung von Watermarking zur Identifizierung von KI-Inhalten wird hervorgehoben. Digitale Tätowierungen dürfen nicht entfernt, manipuliert oder verborgen werden können. Außerdem müssen die Nutzer/innen ein Konto mit ihren echten Namen anlegen und alle erzeugten Inhalte müssen bis zu ihren Erstellern zurückverfolgt werden können.
Eine KI, die Watermarks entfernen kann
Die Entwicklung von KI-Watermarking-Techniken ist dringend erforderlich, aber KI kann leider auch dazu verwendet werden, Watermarks zu entfernen…
Das kostenlos erhältliche Tool WatermarkRemover.io kann digitale Tätowierungen von Bildern entfernen. Auch wenn es für legitime Zwecke eingesetzt werden kann, spricht nichts dagegen, es für bösartige Zwecke zu missbrauchen…
Mit dieser Künstlichen Intelligenz lassen sich auch komplexe Watermarks mit mehreren Farben oder Deckkraftwerten einfach löschen. Es ist zu befürchten, dass es in Zukunft Tools geben wird, die Wasserzeichen von KI-generierten Inhalten entfernen können.
Wie sieht die Zukunft von AI Watermarking aus?
Es sind mehrere Fortschritte notwendig, um Watermarking AI in der realen Welt anzuwenden und ein Ökosystem um die von den Forschern erfundenen theoretischen Techniken herum aufzubauen.
Zunächst wird weitere Forschung nötig sein, um die besten Techniken zu identifizieren und zu perfektionieren, um Standards für alle verschiedenen Arten von Datenbeständen zu entwickeln.
Gemeinsame Standards müssen auch entwickelt werden, um KI Watermarking in die Kuratierung und Veröffentlichung von Trainingsdatasets zu integrieren. Dies beinhaltet die Einführung von Watermarks in die Daten, die Erstellung einer zuverlässigen Dokumentation und die Veröffentlichung von Daten, die für die Überprüfung benötigt werden.
Ebenso ist es zwingend notwendig, Standards für die Integration von Watermarking-Schritten in das Training und die Veröffentlichung von Machine-Learning-Modellen zu entwickeln. Schließlich müssen ein Register und Werkzeuge entwickelt werden, um die Überprüfung von Watermarks durch Organisationen durch Audits zu ermöglichen.
Fazit: AI Watermarking, eine wichtige Herausforderung für die Welt von morgen
In einigen Jahrzehnten werden sich die Sitten wahrscheinlich geändert haben. Wir werden uns an den ständigen Strom von KI-generierten Texten, Bildern und Videos so sehr gewöhnt haben, dass es nicht mehr notwendig sein wird, zu erkennen, ob ein Inhalt von einem Menschen erstellt wurde oder nicht.
Dennoch bleibt das KI-Watermarking aus Gründen des Urheberrechtsschutzes, der Bekämpfung von Verzerrungen und Diskriminierung, der Vermeidung von Desinformation und der Cybersicherheit zwingend erforderlich.
Um Experte für Machine Learning zu werden und zur Entwicklung von Watermarking-Techniken beizutragen, kannst du dich an DataScientest wenden.
In unseren Kursen kannst du alle Fähigkeiten erwerben, die du brauchst, um Machine Learning Engineer, Data Engineer oder Data Scientist zu werden.
Alle unsere Programme werden vollständig im Fernunterricht über das Internet absolviert, und unsere staatlich anerkannte Weiterbuldung kann über den Bildungsschein finanziert werden. Warte nicht länger und entdecke jetzt DataScientest!
