Catastrophic Interference ist ein Phänomen, das dazu führt, dass die KI vergisst, was sie gelernt hat. Finde heraus, warum dies ein großes Problem beim maschinellen Lernen ist und wie man es beheben kann!
Mit dem Aufkommen von Tools wie ChatGPT ist künstliche Intelligenz nun allgegenwärtig. Diese Technologie wird in unserem persönlichen und beruflichen Leben immer mehr an Bedeutung gewinnen.
Aber auch KI ist nicht unfehlbar. Genau wie ein Mensch kann sie Fehler machen und sogar Gedächtnislücken haben.
Leider kann Vergesslichkeit für ein neuronales Netz eine echte Katastrophe sein. Im Bereich des Machine Learning wird dieses Phänomen als „katastrophale Interferenz“ oder „catastrophic interference“ bezeichnet.
💡 Auch interessant:
| Dataiku KI Tool |
| Google MusicLM KI |
| KI braucht Schlaf |
| Kibana – Tool zur Datenvisualisierung mit Elasticsearch |
| Diese Data Engineering Skills machen dich erfolgreich |
| Chord AI |
Was ist ein neuronales Netz?
Neuronale Netze sind eine Form des Machine Learning, die sehr beliebt ist und massiv für Vorhersagen eingesetzt wird.
Wie der Name schon sagt, orientiert sich diese Art von System an der Art und Weise, wie das menschliche Gehirn neue Informationen lernt.
Auf die Art und Weise, wie Neuronen miteinander verbunden sind, werden mehrere mathematische Gleichungen miteinander verknüpft.
Und so wie das Gehirn reagiert, wenn die Sinne etwas wahrnehmen, wird auch das künstliche neuronale Netz aktiviert, wenn es Daten erhält.
Je nach Art der empfangenen Informationen werden bestimmte Pfade aktiviert und andere gehemmt. Am Ende des Prozesses, als Ergebnis, produziert ein Knoten eine neue Information, wie z. B. eine Vorhersage.
Wenn du z. B. einen Hund siehst, identifiziert dein Gehirn ihn sofort. Auch ein neuronales Netz kann lernen, einen Hund zu erkennen.
Um dies zu tun, muss es jedoch zunächst darauf trainiert werden, einen Hund von einer Katze zu unterscheiden. Dazu muss es mit Daten gefüttert werden.
Während dieser Trainingsphase wird das neuronale Netz mit Datensätzen gefüttert. Um mit demselben Beispiel fortzufahren, könnte es sich dabei um eine Reihe von Bildern handeln, die mit einer Legende versehen sind, die angibt, ob sie einen Hund oder eine Katze zeigen.
Später wird ein weiterer Datensatz verwendet, um das Netzwerk zu testen, um zu sehen, ob das Training erfolgreich war. Dies ist die Vorhersagephase.
Wenn das neuronale Netz eine ausreichende Rate an korrekten Vorhersagen erreicht, ist es bereit für den Einsatz. Allerdings ist der Test nicht immer erfolgreich…
Was ist "Catastrophic Interference"?
Eine wichtige Eigenschaft unterscheidet das menschliche Gehirn von künstlichen neuronalen Netzen: die Plastizität.
Dabei handelt es sich um die Fähigkeit des Menschen, ständig zu lernen. Nachdem wir gelernt haben, Hunde von Katzen zu unterscheiden, lernen wir auch, andere Tiere, Pflanzen, Bäume und die ganze Welt um uns herum zu erkennen.
Die Neural Networks ihrerseits sind stärker eingeschränkt. Wenn sie eine neue Aufgabe lernen, neigen sie dazu, das zu vergessen, was sie zuvor verinnerlicht haben.
In einem sehr berühmten Experiment von McCloskey und Cohen aus dem Jahr 1989 trainierten die Forscher beispielsweise ein neuronales Netz darauf, mathematische Probleme anhand von Beispielen zu lösen, die die Zahl 1 enthielten.
Anschließend fütterten sie das Modell mit einer weiteren Reihe von Problemen, die diesmal die Zahl 2 enthielten. Von da an lernte das neuronale Netz, wie man Probleme mit einer 2 löst, vergaß aber, wie man Probleme mit einer 1 löst.
Wie lässt sich dieses Phänomen erklären? Das neuronale Netz hat die Pfade zwischen den Knoten während der Trainingsphase dynamisch aus den Daten erstellt, die ihm zur Verfügung gestellt wurden.
Wenn es nun mit neuen Informationen gefüttert wurde, wurden neue Pfade gebildet. Dies führt manchmal dazu, dass ein Algorithmus frühere Aufgaben, für die er trainiert wurde, „vergisst“.
Das Ausmaß dieser Amnesie kann unterschiedlich sein. Es kann sich um eine einfache Erhöhung der Fehlermarge handeln, aber es kann auch bis zum völligen Vergessen einer zuvor gelernten Aufgabe gehen.
Beachte, dass eine katastrophale Interferenz auch dann auftreten kann, wenn die Datensätze, die dem neuronalen Netz nacheinander zugeführt werden, nicht so unterschiedlich sind.
Die verschiedenen Schichten zwischen der Eingabe und der Ausgabe eines neuronalen Netzes sind verborgen und funktionieren wie eine Blackbox. Daher ist es unmöglich zu wissen, welche Daten einen Pfad unterbrechen können, bevor dies geschieht.
Wieso ist Catastrophic Interference ein Problem?
Die meisten heutigen neuronalen Netze werden mit überwachtem Lernen trainiert. Die Ingenieure wählen die Daten, mit denen sie das Netz füttern, manuell aus und bereinigen sie, um Verzerrungen und andere Probleme zu vermeiden, die von den Datenbeständen herrühren könnten.
Bei dieser Art von neuronalem Netz ist eine katastrophale Interferenz kein wirkliches Problem. Mit zunehmender Entwicklung des maschinellen Lernens nähern sich die Agenten jedoch dem autonomen und kontinuierlichen Lernen.
Solche neuronalen Netze sind in der Lage, anhand neuer Daten weiter zu lernen, ohne dass sie sogar von Menschen beaufsichtigt werden müssen.
Diese Entwicklung bietet großartige Möglichkeiten, bringt aber auch neue Risiken mit sich. Es ist nicht mehr wirklich möglich zu wissen, welche Art von Daten das Netz zum Lernen verwendet.
Und wenn es sich entscheidet, Daten zu verwenden, die weit von seinem ursprünglichen Training entfernt sind, kann dies zu einem katastrophalen Vergessen führen.
Wie kann man Catastrophic Interference vermeiden?
Es gibt viele Methoden, um das Risiko von Catastrophic Interference zu minimieren.
Ein Ansatz besteht darin, Regularisierungsterme wie L1 oder L2 hinzuzufügen, um die Komplexität des Modells zu kontrollieren und seine Empfindlichkeit gegenüber kleinen Änderungen in den Eingabedaten zu verringern.
Beim Dropout wird beim Training zufällig eine bestimmte Anzahl von Neuronen entfernt. Dadurch kann verhindert werden, dass sich das Modell zu stark auf bestimmte Neuronen verlässt.
Außerdem können Techniken zur Vergrößerung der Trainingsdaten wie Rotation, Translation oder Inversion dem Modell helfen, besser auf unbekannte Daten zu verallgemeinern.
Transferlernen, das auf Modellen basiert, die vorab auf ähnliche Aufgaben trainiert wurden, kann auch dabei helfen, das Modell mit Gewichten zu initialisieren, die wichtige Merkmale bereits gelernt haben, um das Lernen zu beschleunigen und die katastrophale Interferenz zu verringern.
Ähnlich besteht ein progressives Training darin, das Modell auf immer größere Teilmengen der Daten zu trainieren. So kann sich das Modell auf einfachere Merkmale konzentrieren, bevor es zu komplexeren Aufgaben übergeht.
Ein weiterer gängiger Trick besteht darin, ein neues neuronales Netz mit allen Daten gleichzeitig zu trainieren. Dadurch wird sequentielles Lernen vermieden, das zum Überschreiben von zuvor erworbenem Wissen führen könnte.
Einige Architekturen sind resistenter gegen das Vergessen, wie z. B. Residualnetze oder skalierbare neuronale Netze.
Eine sinnvolle Strategie ist es, eine Sicherungskopie eines neuronalen Netzes zu erstellen, bevor es neu trainiert wird. So kann im Falle eines Problems die vorherige Version wiederhergestellt werden.
In einer Studie Ende 2022 fanden Forscher heraus, dass katastrophale Interferenzen vermieden werden können, indem man neuronale Netze ruhen lässt. Dies bestätigt die Ähnlichkeit mit unserem Gehirn, da es Schlaf braucht, um sich besser zu erinnern!
Fazit: Catastrophic Interference, eine der vielen Herausforderungen für Machine Learning
Catastrophic Interference ist nur eine der vielen Schwierigkeiten des Machine Learning. Es wird notwendig sein, diese Hindernisse zu überwinden, um das volle Potenzial der künstlichen Intelligenz zu entfalten.
Um dir das Fachwissen eines Machine Learning Engineers anzueignen, kannst du dich für den DataScientest-Kurs entscheiden.
In unserem Lehrgang ML Engineer lernst du, KI-Systeme zu entwickeln und große Datenmengen zu nutzen, um Algorithmen zu suchen, zu entwickeln und zu generieren, die lernen und Vorhersagen treffen können.
Du wirst den gesamten Machine-Learning-Prozess beherrschen, vom Design des Algorithmus bis hin zu dessen Einsatz und Produktion. Dies wird dich in die Lage versetzen, Probleme wie katastrophale Interferenzen zu bewältigen.
Im Laufe der verschiedenen Module kannst du dir solide Fähigkeiten in den Bereichen Python-Programmierung, DataViz, Machine Learning, Data Engineering, DataOps und MLOps oder Business Intelligence aneignen.
Am Ende des Kurses kannst du ein Diplom von Mines ParisTech PSL Executive Education, eine Zertifizierung RNCP36129 „Projektleiter für künstliche Intelligenz“ der Stufe 7 (bac+5), ausgestellt vom Collège de Paris, und eine Zertifizierung AWS Amazon Certified Cloud Practitioner erhalten!
Diese staatlich anerkannte Ausbildung wird vollständig im Fernstudium in einem intensiven BootCamp über 7 Monate oder in Teilzeit über 16 Monate absolviert. Entdecke DataScientest!
