Seit den 2010er Jahren sind Fehler dank der Fortschritte im Machine Learning und insbesondere im Deep Learning mit tiefen neuronalen Netzen immer seltener geworden. Heute sind sie sogar sehr außergewöhnlich. Dennoch machen diese Modelle manchmal immer noch Fehler, ohne dass es den Forschern gelingt, wirksame Abwehrsysteme zu entwickeln.
Adversarial Examples oder widersprüchliche Beispiele gehören zu den Inputs, die das Modell falsch einordnen wird. Um dies zu verhindern, wurde eine Abwehrtechnik entwickelt, die als Adversarial Training bezeichnet wird. Aber wie funktioniert diese Verteidigungstechnik? Ist sie wirklich effektiv?
Was ist ein Adversarial Example ?
Adversarial Training ist eine Technik, die entwickelt wurde, um Machine-Learning-Modelle vor Adversarial Examples zu schützen.
Erinnern wir uns kurz daran, was Adversarial Examples sind. Adversarial Examples sind leicht gestörte Inputs (z. B. Bilder, Texte, Geräusche), die für den Menschen nicht wahrnehmbar sind, aber von einem Machine-Learning-Modell falsch klassifiziert werden.
Das Erstaunliche an diesen Angriffen ist die Sicherheit, die das Modell bei der falschen Vorhersage hat. Das obige Beispiel zeigt dies deutlich: Während das Modell der richtigen Vorhersage nur 57,7 % Vertrauen schenkt, schenkt es der falschen Vorhersage 99,3 % Vertrauen. Wenn du mehr über diese erstaunlichen Angriffe erfahren möchtest, schau dir den entsprechenden Artikel an
Diese Angriffe sind sehr problematisch. Beispielsweise zeigt ein 2019 in Science veröffentlichter Artikel von Forschern aus Harvard und dem MIT, wie medizinische KI-Systeme anfällig für gegnerische Angriffe sein könnten. Aus diesem Grund ist es notwendig, sich zu verteidigen. An dieser Stelle kommt das Adversarial Training ins Spiel. Es ist neben der „Defensive Distillation“ die wichtigste Technik, um sich vor solchen Angriffen zu schützen.
Wie funktioniert Adversarial Training ?
Wie funktioniert diese Technik? Es geht darum, das Machine-Learning-Modell mit vielen Adversarial Examples neu zu trainieren. Wenn in der Trainingsphase eines Vorhersagemodells der Input vom Machine-Learning-Modell falsch klassifiziert wird, lernt der Algorithmus aus seinen Fehlern und passt seine Parameter neu an, um diese Fehler nicht mehr zu machen.
So werden die Modellentwickler nach dem ersten Training des Modells viele Adversarial Examples erzeugen. Sie werden ihr eigenes Modell mit diesen widersprüchlichen Beispielen konfrontieren, damit es diese Fehler nicht mehr macht.
Wenn diese Methode die Machine-Learning-Modelle gegen bestimmte Adversarial Examples verteidigt, kann sie dann die Robustheit des Modells auf alle Adversarial Examples übertragen? Die Antwort ist nein. Dieser Ansatz ist insgesamt nicht ausreichend, um alle Angriffe zu stoppen, da die Bandbreite möglicher Angriffe zu groß ist und nicht im Voraus generiert werden kann. Daher ist es oft ein Wettrennen zwischen Hackern, die neue Adversarial Examples generieren, und Designern, die sich so schnell wie möglich davor schützen wollen.
Generell ist es sehr schwierig, Modelle vor Adversarial Examples zu schützen, da es fast unmöglich ist, ein theoretisches Modell für die Entwicklung dieser Beispiele zu erstellen. Dies würde bedeuten, besonders komplexe Optimierungsprobleme zu lösen, und wir verfügen nicht über die notwendigen theoretischen Werkzeuge.
Alle bisher getesteten Strategien scheitern, weil sie nicht anpassungsfähig sind: Sie können eine Art von Angriff blockieren, lassen aber eine andere Schwachstelle für einen Angreifer offen, der die verwendete Verteidigung kennt. Die Entwicklung einer Verteidigung, die vor einem starken, lernfähigen Hacker schützen kann, ist ein wichtiges Forschungsgebiet.
Zusammenfassend lässt sich sagen, dass das Adversarial Training insgesamt dabei versagt, Machine-Learning-Modelle vor Adversarial-Angriffen zu schützen. Wenn es einen Grund dafür gibt, dann ist es der, dass diese Technik eine Verteidigung gegen eine Reihe von bestimmten Angriffen bietet, ohne eine allgemeine Methode zu finden.
Willst du mehr über die Herausforderungen der künstlichen Intelligenz erfahren? Möchtest du die in diesem Artikel erwähnten Techniken des Deep Learning beherrschen? Dann informiere dich über unsere Ausbildung zum Machine Learning Engineer.
