{"id":165974,"date":"2022-12-16T16:47:31","date_gmt":"2022-12-16T15:47:31","guid":{"rendered":"https:\/\/datascientest.com\/de\/?p=165974"},"modified":"2023-10-30T08:46:15","modified_gmt":"2023-10-30T07:46:15","slug":"algorithmus-fuer-den-gradientenabstieg","status":"publish","type":"post","link":"https:\/\/datascientest.com\/de\/algorithmus-fuer-den-gradientenabstieg","title":{"rendered":"Algorithmus f\u00fcr den Gradientenabstieg"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"165974\" class=\"elementor elementor-165974\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-f5a96e4 e-flex e-con-boxed e-con\" data-id=\"f5a96e4\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-73f19fe elementor-widget elementor-widget-heading\" data-id=\"73f19fe\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h2 class=\"elementor-heading-title elementor-size-default\">Viele Machine Learning Algorithmen erzielen gute Leistungen durch ihr Workout. Die gro\u00dfe Mehrheit der Workouts basiert jedoch auf der Optimierung einer Verlustfunktion. Je kleiner der Wert dieser Funktion ist, desto besser sind die Ergebnisse des Algorithmus. Der Gradientenabstiegsalgorithmus ist eine von vielen M\u00f6glichkeiten, um das Minimum (oder Maximum) einer Funktion zu finden.<\/h2>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-0181f83 elementor-widget elementor-widget-text-editor\" data-id=\"0181f83\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p>Eine erste intuitive Ann\u00e4herung an diesen Algorithmus wurde in <a href=\"https:\/\/datascientest.com\/de\/deep-learning-oder-tiefes-lernen-was-ist-das-denn\">diesem Artikel<\/a> gegeben.<\/p><p>Hier werden wir auf die mathematischen Grundlagen dieses Algorithmus eingehen und die Bedeutung der Lernrate erl\u00e4utern.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-4bd5104 e-flex e-con-boxed e-con\" data-id=\"4bd5104\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-fb66e7a elementor-widget elementor-widget-heading\" data-id=\"fb66e7a\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Gradient Down: Mathematische Formalisierung<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-f4e9e32 elementor-widget elementor-widget-text-editor\" data-id=\"f4e9e32\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Der Gradientenabstieg ist einer der vielen sogenannten Abstiegsalgorithmen. Die allgemeine Formel lautet wie folgt:<\/p><p style=\"text-align: center\"><span style=\"font-weight: 400\">x<\/span><span style=\"font-weight: 400\">t+1<\/span><span style=\"font-weight: 400\"> = x<\/span><span style=\"font-weight: 400\">t<\/span><span style=\"font-weight: 400\"> &#8211; \u03b7\u2206x<\/span><span style=\"font-weight: 400\">t<\/span><\/p><p>wobei \u03b7 die Lernrate und \u2206xt die Abstiegsrichtung ist. Diese Klasse von Algorithmen hat das Ziel, bei jeder Iteration \u0192(xt+1 ) \u2264 \u0192 (xt ) zu haben, wobei \u0192 eine konvexe Funktion ist, die wir minimieren m\u00f6chten.<\/p><p><span style=\"font-weight: 400\">Der Gradientenabstiegsalgorithmus beschlie\u00dft, als Abstiegsrichtung dem Gegenteil des Gradienten einer <\/span><b>konvexen <\/b><span style=\"font-weight: 400\">Funktion f zu folgen, d.h. &#8211; \u0394\u0192 . <\/span><\/p><p><span style=\"font-weight: 400\">Warum ist das so? Der Gradient einer Funktion zeigt ihr maximales Wachstum von einem Punkt aus an. Die Wahl des Gegengradienten bedeutet, dass Sie den steilsten Anstieg w\u00e4hlen, um den Wert der Funktion zu minimieren.\u00a0 So funktioniert es :<\/span><\/p><ol><li style=\"font-weight: 400\"><span style=\"font-weight: 400\">\u00a0Es sei ein Initialisierungspunkt x<\/span><span style=\"font-weight: 400\">0<\/span><span style=\"font-weight: 400\"> , der zum Bereich von f geh\u00f6rt.<\/span><\/li><li style=\"font-weight: 400\"><span style=\"font-weight: 400\">Berechnen Sie f(x<\/span><span style=\"font-weight: 400\">t<\/span><span style=\"font-weight: 400\"> ).<\/span><\/li><li style=\"font-weight: 400\"><span style=\"font-weight: 400\">Aktualisieren Sie die Koordinaten: x<\/span><span style=\"font-weight: 400\">t+1\u00a0<\/span><span style=\"font-weight: 400\"> = x<\/span><span style=\"font-weight: 400\">t<\/span><span style=\"font-weight: 400\"> &#8211; \u03b7 \u0394 \u0192 (x<\/span><span style=\"font-weight: 400\">t<\/span><span style=\"font-weight: 400\"> ) (*)<\/span><\/li><li style=\"font-weight: 400\"><span style=\"font-weight: 400\">Wiederholen Sie 2 und 3 bis zum Abbruchkriterium.<\/span><\/li><\/ol><p><span style=\"font-weight: 400\">Das Abbruchkriterium ist in der Regel ein Kriterium der Form |\u0192x<\/span><span style=\"font-weight: 400\">t+1\u00a0<\/span><span style=\"font-weight: 400\"> &#8211; \u0192x<\/span><span style=\"font-weight: 400\">t<\/span><span style=\"font-weight: 400\"> | \u2264 \u03b5 , wobei der Wert sehr klein ist. Dieses Kriterium erscheint logisch, da man sich f\u00fcr einen Abbruch entscheidet, wenn der Unterschied zwischen den Werten der Funktion, die an zwei verschiedenen Punkten genommen werden, sehr wenig signifikant ist, was ein Zeichen daf\u00fcr ist, dass man konvergiert hat. <\/span><span style=\"font-weight: 400\">Ein anerkanntes Abbruchkriterium im Machine Learning ist die Anzahl der Iterationen; es wird eine endliche Anzahl von Optimierungen durchgef\u00fchrt (Schritt 2 und 3).<\/span><\/p><p><span style=\"font-weight: 400\">Zwei Elemente, die auf den ersten Blick vernachl\u00e4ssigbar erscheinen, wenn man den Algorithmus betrachtet, sind in Wirklichkeit entscheidend f\u00fcr die gute Funktionsweise des Algorithmus; der Initialisierungspunkt x<\/span><span style=\"font-weight: 400\">0<\/span><span style=\"font-weight: 400\"> und der Wert der Lernrate \u03b7. <\/span><b>Ein schlechter Initialisierungspunkt oder eine schlecht angepasste Lernrate kann den Algorithmus daran hindern, zum Minimum zu konvergieren<\/b><span style=\"font-weight: 400\">. Je h\u00f6her die Lernrate, desto weiter entfernt wird die Richtung verfolgt, die durch den Gradienten angezeigt wird. Dies kann dazu f\u00fchren, dass wir in einem lokalen Minimum oder einem Sattelpunkt stecken bleiben oder das globale Minimum verfehlen. Wir werden anhand eines einfachen Beispiels den Einfluss der Lernrate auf die Leistung des Gradientenabstiegs untersuchen.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-cfb0725 e-flex e-con-boxed e-con\" data-id=\"cfb0725\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-393d372 elementor-widget elementor-widget-heading\" data-id=\"393d372\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Bedeutung der Lernrate<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-29e4384 elementor-widget elementor-widget-text-editor\" data-id=\"29e4384\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Betrachten wir ein einfaches Beispiel einer linearen Regression. Es gibt eine Linie y=w<\/span><span style=\"font-weight: 400\">0<\/span><span style=\"font-weight: 400\"> *x+w<\/span><span style=\"font-weight: 400\">1<\/span><span style=\"font-weight: 400\"> . Wir haben n Beobachtungen, die einer linearen Beziehung folgen, und mit Hilfe dieser Beobachtungen versuchen wir, die richtigen <\/span><b>Parameter zu finden, <\/b><span style=\"font-weight: 400\">w und w<\/span><span style=\"font-weight: 400\">0\u00a01<\/span><span style=\"font-weight: 400\"> , die diese Beziehung definieren. Wie bereits erw\u00e4hnt, ist die Optimierung eines Modells, d.h. die <\/span><b>Suche nach den besten Parametern, die zu einer <\/b><span style=\"font-weight: 400\">guten Leistung f\u00fchren, gleichbedeutend mit der <\/span><b>Optimierung einer Verlustfunktion<\/b><span style=\"font-weight: 400\">. Die Verlustfunktion, die in dieser Art von Situation am besten geeignet ist, ist die <\/span><b>MSE<\/b><span style=\"font-weight: 400\">,<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-0764e83 elementor-widget elementor-widget-image\" data-id=\"0764e83\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-image{text-align:center}.elementor-widget-image a{display:inline-block}.elementor-widget-image a img[src$=\".svg\"]{width:48px}.elementor-widget-image img{vertical-align:middle;display:inline-block}<\/style>\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"768\" height=\"120\" src=\"https:\/\/datascientest.com\/de\/files\/2022\/12\/image1.png\" class=\"attachment-full size-full wp-image-165983\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2022\/12\/image1.png 768w, https:\/\/datascientest.com\/de\/files\/2022\/12\/image1-300x47.png 300w\" sizes=\"(max-width: 768px) 100vw, 768px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-16b9599 elementor-widget elementor-widget-text-editor\" data-id=\"16b9599\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">wobei t f\u00fcr die t<\/span><span style=\"font-weight: 400\">i\u00e8me\u00a0<\/span><span style=\"font-weight: 400\"> Iteration steht. Wenn Sie den Gradienten dieser Funktion berechnen und die Formel (*) anwenden, erhalten Sie die Formel f\u00fcr die Aktualisierung der Parameter :<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-68adc69 elementor-widget elementor-widget-shortcode\" data-id=\"68adc69\" data-element_type=\"widget\" data-widget_type=\"shortcode.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-shortcode\"><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-8cf58be elementor-widget elementor-widget-text-editor\" data-id=\"8cf58be\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Auf Code-Ebene ergibt sich daraus folgendes Ergebnis:\u00a0<\/span><\/p><p><span style=\"font-weight: 400\">Wir variieren die Lernrate, um zu sehen, wie sie sich auf die Leistung des Modells auswirkt, und das \u00fcber mehr als 100 Iterationen. <\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-bcb5b77 e-flex e-con-boxed e-con\" data-id=\"bcb5b77\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-b26b200 elementor-widget elementor-widget-heading\" data-id=\"b26b200\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Eine geringe Lernrate?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-0cea117 elementor-widget elementor-widget-text-editor\" data-id=\"0cea117\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Nehmen wir zun\u00e4chst einen absichtlich kleinen Schritt von 0,01 an.\u00a0 Wir stellen fest, dass das Modell sehr lange braucht, um zu konvergieren. Nach 100 Iterationen sehen wir kaum noch, dass sich das Modell den Beobachtungen ann\u00e4hert.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-28fc433 elementor-widget elementor-widget-video\" data-id=\"28fc433\" data-element_type=\"widget\" data-settings=\"{&quot;video_type&quot;:&quot;hosted&quot;,&quot;controls&quot;:&quot;yes&quot;}\" data-widget_type=\"video.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-video .elementor-widget-container{overflow:hidden;transform:translateZ(0)}.elementor-widget-video .elementor-wrapper{aspect-ratio:var(--video-aspect-ratio)}.elementor-widget-video .elementor-wrapper iframe,.elementor-widget-video .elementor-wrapper video{height:100%;width:100%;display:flex;border:none;background-color:#000}@supports not (aspect-ratio:1\/1){.elementor-widget-video .elementor-wrapper{position:relative;overflow:hidden;height:0;padding-bottom:calc(100% \/ var(--video-aspect-ratio))}.elementor-widget-video .elementor-wrapper iframe,.elementor-widget-video .elementor-wrapper video{position:absolute;top:0;right:0;bottom:0;left:0}}.elementor-widget-video .elementor-open-inline .elementor-custom-embed-image-overlay{position:absolute;top:0;right:0;bottom:0;left:0;background-size:cover;background-position:50%}.elementor-widget-video .elementor-custom-embed-image-overlay{cursor:pointer;text-align:center}.elementor-widget-video .elementor-custom-embed-image-overlay:hover .elementor-custom-embed-play i{opacity:1}.elementor-widget-video .elementor-custom-embed-image-overlay img{display:block;width:100%;aspect-ratio:var(--video-aspect-ratio);-o-object-fit:cover;object-fit:cover;-o-object-position:center center;object-position:center center}@supports not (aspect-ratio:1\/1){.elementor-widget-video .elementor-custom-embed-image-overlay{position:relative;overflow:hidden;height:0;padding-bottom:calc(100% \/ var(--video-aspect-ratio))}.elementor-widget-video .elementor-custom-embed-image-overlay img{position:absolute;top:0;right:0;bottom:0;left:0}}.elementor-widget-video .e-hosted-video .elementor-video{-o-object-fit:cover;object-fit:cover}.e-con-inner>.elementor-widget-video,.e-con>.elementor-widget-video{width:var(--container-widget-width);--flex-grow:var(--container-widget-flex-grow)}<\/style>\t\t<div class=\"e-hosted-video elementor-wrapper elementor-open-inline\">\n\t\t\t\t\t<video class=\"elementor-video\" src=\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2020\/07\/Trop-lent.mov\" controls=\"\" preload=\"metadata\" controlsList=\"nodownload\"><\/video>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-f13c6a9 elementor-widget elementor-widget-text-editor\" data-id=\"f13c6a9\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">In der dritten Grafik ist zu sehen, dass der Parameter w<\/span><span style=\"font-weight: 400\">1<\/span><span style=\"font-weight: 400\"> w\u00e4hrend der Optimierung stark variiert. Die letzte Grafik zeigt die langsame Ver\u00e4nderung der Verlustfunktion in Richtung ihres globalen Minimums.\u00a0 <\/span><b>Dies ist ein Zeichen daf\u00fcr, dass die Lernrate zu klein ist. <\/b><span style=\"font-weight: 400\">Ver\u00e4ndern wir sie in Richtung 0,99.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-c56ab3d e-flex e-con-boxed e-con\" data-id=\"c56ab3d\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-5cca9d4 elementor-widget elementor-widget-heading\" data-id=\"5cca9d4\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Eine hohe Lernrate?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2a41a50 elementor-widget elementor-widget-video\" data-id=\"2a41a50\" data-element_type=\"widget\" data-settings=\"{&quot;video_type&quot;:&quot;hosted&quot;,&quot;controls&quot;:&quot;yes&quot;}\" data-widget_type=\"video.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"e-hosted-video elementor-wrapper elementor-open-inline\">\n\t\t\t\t\t<video class=\"elementor-video\" src=\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2020\/07\/Trop-grand.mov\" controls=\"\" preload=\"metadata\" controlsList=\"nodownload\"><\/video>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-a7fdeae elementor-widget elementor-widget-text-editor\" data-id=\"a7fdeae\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Lassen Sie uns Grafik f\u00fcr Grafik analysieren. Die erste Grafik zeigt eine gro\u00dfe Instabilit\u00e4t der linearen Approximation. Es ist zu erkennen, dass sie dar\u00fcber und darunter liegt. Dies ist auf die instabile und pl\u00f6tzliche \u00c4nderung von w<\/span><span style=\"font-weight: 400\">1<\/span><span style=\"font-weight: 400\"> in der dritten Grafik zur\u00fcckzuf\u00fchren, die f\u00fcr die &#8222;H\u00f6he&#8220; der Linie in der Ebene verantwortlich ist. Woher kommt diese Instabilit\u00e4t? Die Antwort finden Sie in der 4.\u00a0<\/span><\/p><p><span style=\"font-weight: 400\">Die hohe Rate bewirkt, dass der Verlust eine Art Ping-Pong-Effekt zwischen den beiden Seiten auf der Achse von w<\/span><span style=\"font-weight: 400\">1<\/span><span style=\"font-weight: 400\"> aus\u00fcbt. Dieser Ping-Pong-Effekt verlangsamt den R\u00fcckgang des Wertes unserer Verlustfunktion.\u00a0 In der zweiten Grafik sehen wir, dass der Wert unseres Verlustes w\u00e4hrend der Iterationen lange Zeit hoch bleibt, da er in der H\u00e4lfte der Zeit nicht einmal auf der Grafik erscheint. Die Intuition sagt uns, dass wir den Wert senken sollten.\u00a0 Wir senken also die Rate auf 0,7 und beobachten das Ergebnis.\u00a0<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-7de4261 e-flex e-con-boxed e-con\" data-id=\"7de4261\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-85b53bb elementor-widget elementor-widget-heading\" data-id=\"85b53bb\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Ein besser angepasster Zinssatz<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-79f33d3 elementor-widget elementor-widget-text-editor\" data-id=\"79f33d3\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Diese Lernrate scheint optimal zu sein. In der letzten Grafik ist zu erkennen, dass der Wert der Verlustfunktion ab der ersten Iteration drastisch abnimmt, wie in der zweiten Grafik gezeigt wird. Das Modell n\u00e4hert sich den Daten perfekt an, die Verlustfunktion stabilisiert sich bei 0, ihrem globalen Minimum, und die Parameter in Grafik 3 stagnieren, da sie optimal sind!<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-880a188 elementor-widget elementor-widget-video\" data-id=\"880a188\" data-element_type=\"widget\" data-settings=\"{&quot;video_type&quot;:&quot;hosted&quot;,&quot;controls&quot;:&quot;yes&quot;}\" data-widget_type=\"video.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"e-hosted-video elementor-wrapper elementor-open-inline\">\n\t\t\t\t\t<video class=\"elementor-video\" src=\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2020\/07\/Parfait.mov\" controls=\"\" preload=\"metadata\" controlsList=\"nodownload\"><\/video>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-e0e53bf e-flex e-con-boxed e-con\" data-id=\"e0e53bf\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-322d87a elementor-widget elementor-widget-heading\" data-id=\"322d87a\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Die Komplexit\u00e4t der Lernrate<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-0d13814 elementor-widget elementor-widget-text-editor\" data-id=\"0d13814\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Wir haben festgestellt, dass die Lernrate eine entscheidende Rolle spielt. Eine zu hohe Lernrate kann dazu f\u00fchren, dass man sehr lange um das Minimum schwankt oder es sogar verfehlt, w\u00e4hrend es bei einer zu geringen Lernrate sehr lange dauern kann, bis man konvergiert. Selbst eine zu hohe Lernrate kann zu einer Divergenz f\u00fchren und das Ziel, das Minimum zu erreichen, verfehlen. Dasselbe Problem gilt f\u00fcr den Initialisierungspunkt. Zwei Initialisierungspunkte k\u00f6nnen zu zwei verschiedenen Ergebnissen f\u00fchren, je nach der Komplexit\u00e4t der Verlustfunktion.<\/span><\/p><p><span style=\"font-weight: 400\">Hier hatten wir ein einfaches Modell mit zwei Parametern, was es uns erm\u00f6glichte, die Entwicklung des Modells zu visualisieren. In Wirklichkeit hat unser Modell viel mehr Parameter, was die Visualisierung unm\u00f6glich macht. Die Anpassung der Lernrate und die Wahl des Initialisierungspunktes sind in der Realit\u00e4t viel komplizierter. In der Praxis ist es notwendig, verschiedene Lernraten auf unser Modell anzuwenden, um zu sehen, welche die beste Leistung erbringt, ebenso wie der Initialisierungspunkt.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-462fdc5 elementor-widget elementor-widget-text-editor\" data-id=\"462fdc5\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Hat Ihnen dieser Artikel gefallen? <a href=\"https:\/\/6fdb24d0.sibforms.com\/serve\/MUIEAK6UnrbR236UIB9QygO2ap6AQtaii7bMdnFUBKwbvV7knWSCcYwRdisgEXpe-qT7m-GT0as6Fh7JpaLdiwD0_5Cep5Ps3qEScmsvKrZh6NymnqcSrSFpJNirHNaUlqRAXBosIGGdsaWj1pYFbrgisoTFC0bnBnpW5x8XX4azcIPeA7PGuo-f-22EQgqvnjipuXZ4W9nU8ext\">Abonnieren Sie unseren Newsletter<\/a>, um regelm\u00e4\u00dfig weitere Informationen zu erhalten!<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Viele Machine Learning Algorithmen erzielen gute Leistungen durch ihr Workout. Die gro\u00dfe Mehrheit der Workouts basiert jedoch auf der Optimierung einer Verlustfunktion. Je kleiner der Wert dieser Funktion ist, desto besser sind die Ergebnisse des Algorithmus. Der Gradientenabstiegsalgorithmus ist eine von vielen M\u00f6glichkeiten, um das Minimum (oder Maximum) einer Funktion zu finden. Eine erste intuitive [&hellip;]<\/p>\n","protected":false},"author":45,"featured_media":165976,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2454],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Algorithmus f\u00fcr den Gradientenabstieg<\/title>\n<meta name=\"description\" content=\"Ber\u00fchmter Algorithmus des Machine Learning. Entdecken Sie in diesem Artikel die Mathematik, die sich hinter dem Gradientenabstieg verbirgt!\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/de\/algorithmus-fuer-den-gradientenabstieg\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Algorithmus f\u00fcr den Gradientenabstieg\" \/>\n<meta property=\"og:description\" content=\"Viele Machine Learning Algorithmen erzielen gute Leistungen durch ihr Workout. Die gro\u00dfe Mehrheit der Workouts basiert jedoch auf der Optimierung einer\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/de\/algorithmus-fuer-den-gradientenabstieg\" \/>\n<meta property=\"og:site_name\" content=\"Weiterbildung Data Science | DataScientest.com\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/DataScientestEN\" \/>\n<meta property=\"article:published_time\" content=\"2022-12-16T15:47:31+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-10-30T07:46:15+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2022\/12\/black-and-white-blur-book-business-240163-scaled-1.webp\" \/>\n\t<meta property=\"og:image:width\" content=\"768\" \/>\n\t<meta property=\"og:image:height\" content=\"432\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/webp\" \/>\n<meta name=\"author\" content=\"Daniel\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:site\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Daniel\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"6 Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/datascientest.com\/de\/algorithmus-fuer-den-gradientenabstieg#article\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/algorithmus-fuer-den-gradientenabstieg\"},\"author\":{\"name\":\"Daniel\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/5a86e30c5090234fb43dd8baa83c44b0\"},\"headline\":\"Algorithmus f\u00fcr den Gradientenabstieg\",\"datePublished\":\"2022-12-16T15:47:31+00:00\",\"dateModified\":\"2023-10-30T07:46:15+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/datascientest.com\/de\/algorithmus-fuer-den-gradientenabstieg\"},\"wordCount\":1107,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"articleSection\":[\"Data Science\"],\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\/\/datascientest.com\/de\/algorithmus-fuer-den-gradientenabstieg#respond\"]}],\"copyrightYear\":\"2022\",\"copyrightHolder\":{\"@id\":\"https:\/\/datascientest.com\/#organization\"}},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/de\/algorithmus-fuer-den-gradientenabstieg\",\"url\":\"https:\/\/datascientest.com\/de\/algorithmus-fuer-den-gradientenabstieg\",\"name\":\"Algorithmus f\u00fcr den Gradientenabstieg\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/#website\"},\"datePublished\":\"2022-12-16T15:47:31+00:00\",\"dateModified\":\"2023-10-30T07:46:15+00:00\",\"description\":\"Ber\u00fchmter Algorithmus des Machine Learning. Entdecken Sie in diesem Artikel die Mathematik, die sich hinter dem Gradientenabstieg verbirgt!\",\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/de\/algorithmus-fuer-den-gradientenabstieg\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/de\/#website\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"name\":\"Weiterbildung Data Science | DataScientest.com\",\"description\":\"F\u00fchrender Anbieter von Schulungen im Bereich Data Science\",\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/de\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/datascientest.com\/de\/#organization\",\"name\":\"DataScientest\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"contentUrl\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"width\":301,\"height\":301,\"caption\":\"DataScientest\"},\"image\":{\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\"},\"sameAs\":[\"https:\/\/www.facebook.com\/DataScientestEN\",\"https:\/\/twitter.com\/DataScientest__\",\"https:\/\/www.linkedin.com\/company\/datascientest-germany\/\",\"https:\/\/www.tiktok.com\/@datascientest\"]},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/5a86e30c5090234fb43dd8baa83c44b0\",\"name\":\"Daniel\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/837acad4f2dc47e85d81cce837261670?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/837acad4f2dc47e85d81cce837261670?s=96&d=mm&r=g\",\"caption\":\"Daniel\"},\"sameAs\":[\"https:\/\/www.linkedin.com\/school\/datascientest\/\",\"user\"],\"jobTitle\":\"ing\u00e9nieur logiciel\",\"worksFor\":\"DataScientest\",\"url\":\"https:\/\/datascientest.com\/de\/author\/team-redac\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Algorithmus f\u00fcr den Gradientenabstieg","description":"Ber\u00fchmter Algorithmus des Machine Learning. Entdecken Sie in diesem Artikel die Mathematik, die sich hinter dem Gradientenabstieg verbirgt!","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/de\/algorithmus-fuer-den-gradientenabstieg","og_locale":"de_DE","og_type":"article","og_title":"Algorithmus f\u00fcr den Gradientenabstieg","og_description":"Viele Machine Learning Algorithmen erzielen gute Leistungen durch ihr Workout. Die gro\u00dfe Mehrheit der Workouts basiert jedoch auf der Optimierung einer","og_url":"https:\/\/datascientest.com\/de\/algorithmus-fuer-den-gradientenabstieg","og_site_name":"Weiterbildung Data Science | DataScientest.com","article_publisher":"https:\/\/www.facebook.com\/DataScientestEN","article_published_time":"2022-12-16T15:47:31+00:00","article_modified_time":"2023-10-30T07:46:15+00:00","og_image":[{"width":768,"height":432,"url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2022\/12\/black-and-white-blur-book-business-240163-scaled-1.webp","type":"image\/webp"}],"author":"Daniel","twitter_card":"summary_large_image","twitter_creator":"@DataScientest__","twitter_site":"@DataScientest__","twitter_misc":{"Verfasst von":"Daniel","Gesch\u00e4tzte Lesezeit":"6 Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/datascientest.com\/de\/algorithmus-fuer-den-gradientenabstieg#article","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/algorithmus-fuer-den-gradientenabstieg"},"author":{"name":"Daniel","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/5a86e30c5090234fb43dd8baa83c44b0"},"headline":"Algorithmus f\u00fcr den Gradientenabstieg","datePublished":"2022-12-16T15:47:31+00:00","dateModified":"2023-10-30T07:46:15+00:00","mainEntityOfPage":{"@id":"https:\/\/datascientest.com\/de\/algorithmus-fuer-den-gradientenabstieg"},"wordCount":1107,"commentCount":0,"publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"articleSection":["Data Science"],"inLanguage":"de","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/datascientest.com\/de\/algorithmus-fuer-den-gradientenabstieg#respond"]}],"copyrightYear":"2022","copyrightHolder":{"@id":"https:\/\/datascientest.com\/#organization"}},{"@type":"WebPage","@id":"https:\/\/datascientest.com\/de\/algorithmus-fuer-den-gradientenabstieg","url":"https:\/\/datascientest.com\/de\/algorithmus-fuer-den-gradientenabstieg","name":"Algorithmus f\u00fcr den Gradientenabstieg","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/#website"},"datePublished":"2022-12-16T15:47:31+00:00","dateModified":"2023-10-30T07:46:15+00:00","description":"Ber\u00fchmter Algorithmus des Machine Learning. Entdecken Sie in diesem Artikel die Mathematik, die sich hinter dem Gradientenabstieg verbirgt!","inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/de\/algorithmus-fuer-den-gradientenabstieg"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/de\/#website","url":"https:\/\/datascientest.com\/de\/","name":"Weiterbildung Data Science | DataScientest.com","description":"F\u00fchrender Anbieter von Schulungen im Bereich Data Science","publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/de\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/datascientest.com\/de\/#organization","name":"DataScientest","url":"https:\/\/datascientest.com\/de\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/","url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","contentUrl":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","width":301,"height":301,"caption":"DataScientest"},"image":{"@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/DataScientestEN","https:\/\/twitter.com\/DataScientest__","https:\/\/www.linkedin.com\/company\/datascientest-germany\/","https:\/\/www.tiktok.com\/@datascientest"]},{"@type":"Person","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/5a86e30c5090234fb43dd8baa83c44b0","name":"Daniel","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/837acad4f2dc47e85d81cce837261670?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/837acad4f2dc47e85d81cce837261670?s=96&d=mm&r=g","caption":"Daniel"},"sameAs":["https:\/\/www.linkedin.com\/school\/datascientest\/","user"],"jobTitle":"ing\u00e9nieur logiciel","worksFor":"DataScientest","url":"https:\/\/datascientest.com\/de\/author\/team-redac"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/165974"}],"collection":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/users\/45"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/comments?post=165974"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/165974\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media\/165976"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media?parent=165974"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/categories?post=165974"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/tags?post=165974"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}