Nachdem Du ein Machine Learning Modell entwickelt hast, ist es wichtig, seine Leistung zu bewerten, um seine Effektivität zu messen. Um mehrere Modelle objektiv miteinander zu vergleichen, ist die Verwendung von Metriken unerlässlich. Das Verständnis und die richtige Anwendung dieser Metriken sind entscheidend für die Entwicklung eines effektiven Machine Learning Modells. In diesem Artikel wirst Du die wichtigsten Metriken zur Bewertung eines Machine Learning Modells kennenlernen.
Was ist eine Metrik im Machine Learning?
Das Machine Learning ermöglicht es Computern, Vorhersagen zu treffen oder Entscheidungen auf Basis von Daten zu treffen.
Es gibt zwei Arten des Lernens: überwachtes Lernen und unüberwachtes Lernen.
In diesem Artikel bleiben wir im Rahmen des überwachten Lernens. Für weitere Details zu den Grundlagen des Machine Learning und die Unterschiede zwischen diesen beiden Lernarten empfehlen wir Euch, diesen Artikel zu lesen. Dieser wird Euch die wichtigsten Konzepte des Machine Learning vermitteln, die nützlich sind, um die Verwendung von Metriken in einem Machine Learning Modell zu verstehen.
Eine Metrik ist ein numerischer Wert, der die Qualität der Vorhersagen eines Modells quantifiziert. Ihre Rolle ist in allen Entwicklungsphasen eines Machine Learning Modells essentiell, da sie bestimmt, ob ein Modell unseren Erwartungen entspricht. Je nach den erzielten Ergebnissen ermöglichen Metriken den objektiven Vergleich mehrerer Modelle, die Auswahl des leistungsfähigsten Modells oder die Änderung der Hyperparameter eines Modells.
Ein gutes Verständnis der verschiedenen Metriken ist entscheidend für die Implementierung eines effektiven Modells.
Welche Metrik soll ich für mein Modell wählen?
Um die richtige Metrik zu wählen, ist es wichtig, den Kontext des Problems und die Ziele des Modells zu verstehen. Es gibt viele Metriken, und wir werden Euch einige davon und ihre Vorteile vorstellen.
Im Rahmen des überwachten Lernens muss zunächst die Art der Vorhersage bestimmt werden, die das Modell durchführt. Wenn das Modell einen numerischen Wert vorhersagen soll (z.B. den Preis eines Hauses), handelt es sich um ein Regressionsproblem (z.B. lineare Regression). Im Gegensatz dazu, wenn das Modell einen kategorischen Wert vorhersagen würde (z.B. das Vorhandensein oder Fehlen von Betrug bei einer Banktransaktion), befinden wir uns im Kontext der Klassifikation. Die in Regressionsmodellen verwendeten Metriken unterscheiden sich tatsächlich von denen, die in Klassifikationsmodellen verwendet werden.
A. Regressionsmetriken
In diesem Artikel werden wir Euch zwei der Hauptmetriken für die Regression vorstellen: Den mittleren quadratischen Fehler und den mittleren absoluten Fehler.
- Der mittlere quadratische Fehler (MSE) wird wie folgt definiert:
Wo N die Anzahl der Beobachtungen ist, yi der tatsächliche Wert und ŷi die realisierte Vorhersage.
Diese Metrik besteht darin, die Quadrate der Differenzen zwischen den tatsächlichen Werten und den Vorhersagen zu summieren. Der mittlere quadratische Fehler beeinflusst stark zu große Abweichungen zwischen dem tatsächlichen Wert und der Vorhersage. In einem Kontext wo Abweichungen vielleicht vermieden werden sollten kann es sehr nützlich sein.
Weitere Informationen zum mittleren quadratischen Fehler findet Ihr in diesem Artikel, der seine Eigenschaften und ein Anwendungsbeispiel ausführlicher beschreibt.
- Der mittlere absolute Fehler (MAE) wird wie folgt definiert:
Wo N die Anzahl der Beobachtungen ist, yi der tatsächliche Wert und ŷi die realisierte Vorhersage.
Diese Metrik besteht darin, die absoluten Differenzen zwischen den reellen Vorhersagen und den tatsächlichen Werten zu summieren.
Der mittlere absolute Fehler ist weniger empfindlich gegenüber großen Unterschieden als der mittlere quadratische Fehler.
B. Klassifikationsmetriken
Im Kontext der Klassifikation ist die Art und Weise, wie die Leistung eines Modells bewertet wird, anders. Wir werden drei der wichtigsten Klassifikationsmetriken vorstellen: Genauigkeit, Präzision und Rückruf.
- Um die Genauigkeit zu berechnen, genügt es, die Quote der korrekten Vorhersagen in Bezug auf die Gesamtzahl der Vorhersagen zu bewerten:
Diese Formel ergibt eine Zahl zwischen 0 und 1. Ein Wert nahe 1 zeigt ein sehr gutes Modell an, während ein Wert nahe 0 ein schlechtes Modell anzeigt. Diese Metrik ist recht intuitiv und leicht zu verstehen. Es ist jedoch zu beachten, dass sie schlecht bewertet, wie ein Modell auf unausgeglichenen Daten abschneidet oder auf Daten, bei denen die Vorhersagefehler unterschiedliche Auswirkungen haben.
Um dieses Konzept zu veranschaulichen, betrachten wir das Beispiel eines Modells, das das Vorhandensein einer Krankheit bei einem Patienten erkennt. Wenn in 90% der Fälle der Patient nicht krank ist, könnte das Modell systematisch vorhersagen, dass der Patient gesund ist. Die Genauigkeit dieses Modells wäre dann 0,9, was scheinbar ein sehr guter Wert ist. Dennoch könnten zwei Hauptprobleme auftreten:
- Erstens wäre das Modell nicht in der Lage, die Krankheit bei einem Patienten zu erkennen.
- Zweitens wird die Qualität der Vorhersagen nicht berücksichtigt. Die Vorhersage, dass ein Patient krank ist, obwohl er es nicht ist (man spricht von falsch positiv), hat absolut nicht die gleichen Auswirkungen wie die Vorhersage, dass ein Patient nicht krank ist, obwohl er es ist (falsch negativ).
Die Genauigkeit erlaubt keine Differenzierung zwischen den verschiedenen Vorhersagen und berücksichtigt keine unausgeglichenen Daten. Deshalb gibt es Metriken, um dieses Problem zu beheben:
- Die Präzision wird wie folgt definiert:
Wo TP die Anzahl der True Positives und FP die Anzahl der False Positives repräsentiert.
Diese Metrik ist nützlich, wenn die Kosten der False Positives hoch sind.
- Ähnlich wird der Rückruf wie folgt definiert:
Wo TP die Anzahl der True Positives und FN die Anzahl der False Negatives repräsentiert.
Diese Metrik ist nützlich, wenn die Kosten der False Negatives hoch sind.
Fazit
Zusammenfassend lässt sich sagen, dass die Verwendung von Metriken unerlässlich ist, um die Leistung eines Machine Learning Modells zu bewerten. Die Wahl der richtigen Metrik je nach Modell ermöglicht es, die richtigen Entscheidungen darüber zu treffen, wie es verbessert werden kann. Je nach Modelltyp (Klassifikations- oder Regressionsmodell), Kontext und Art der Daten sind einige Metriken gegenüber anderen vorzuziehen. Es ist wichtig, die Vor- und Nachteile jeder Metrik zu verstehen, um diejenige zu verwenden, die am besten zu Ihrer Problematik passt.
Data Scientists und Machine Learning Engineers verwenden Metriken, um effektive Machine Learning Modelle zu entwickeln. Dazu verwenden sie eine Vielzahl mathematischer Konzepte und spezieller Software, die in der Lage ist, Daten vorzubereiten und zu analysieren. Eine Weiterbilung ist daher mehr als notwendig. Mit DataScientest ist dies möglich. Wir bieten Euch umfassende Schulungen in Bootcamps, Kursen oder in einer Kombination aus beidem an.
