{"id":164902,"date":"2022-11-17T19:24:46","date_gmt":"2022-11-17T18:24:46","guid":{"rendered":"https:\/\/datascientest.com\/de\/?p=164902"},"modified":"2023-10-29T21:03:52","modified_gmt":"2023-10-29T20:03:52","slug":"bert","status":"publish","type":"post","link":"https:\/\/datascientest.com\/de\/bert","title":{"rendered":"BERT: Ein innovatives Tool zur Sprachverarbeitung"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"164902\" class=\"elementor elementor-164902\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-0b89aaa e-flex e-con-boxed e-con\" data-id=\"0b89aaa\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-cf113af elementor-widget elementor-widget-heading\" data-id=\"cf113af\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h2 class=\"elementor-heading-title elementor-size-default\">Im Oktober 2018 hat der Zweig f\u00fcr k\u00fcnstliche Intelligenz von Google (Google AI) ein vorprogrammiertes Deep-Learning-Modell namens BERT ver\u00f6ffentlicht. Dieses Modell kann mehrere NLP-Probleme l\u00f6sen.<\/h2>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-e648f59 elementor-widget elementor-widget-text-editor\" data-id=\"e648f59\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p><a href=\"https:\/\/datascientest.com\/de\/nlp-natural-language-processing-eine-einfuhrung\">Natural Language Processing<\/a><span style=\"font-weight: 400\"> ist ein Teilbereich des Machine Learning, der Computerprogrammen die F\u00e4higkeit verleihen soll, <\/span>menschliche Sprache<span style=\"font-weight: 400\"> zu verstehen und <\/span>zu verarbeiten.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-d5aa912 elementor-widget__width-initial elementor-widget elementor-widget-video\" data-id=\"d5aa912\" data-element_type=\"widget\" data-settings=\"{&quot;youtube_url&quot;:&quot;https:\\\/\\\/youtu.be\\\/fX1jw0fEs7M&quot;,&quot;video_type&quot;:&quot;youtube&quot;,&quot;controls&quot;:&quot;yes&quot;}\" data-widget_type=\"video.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-video .elementor-widget-container{overflow:hidden;transform:translateZ(0)}.elementor-widget-video .elementor-wrapper{aspect-ratio:var(--video-aspect-ratio)}.elementor-widget-video .elementor-wrapper iframe,.elementor-widget-video .elementor-wrapper video{height:100%;width:100%;display:flex;border:none;background-color:#000}@supports not (aspect-ratio:1\/1){.elementor-widget-video .elementor-wrapper{position:relative;overflow:hidden;height:0;padding-bottom:calc(100% \/ var(--video-aspect-ratio))}.elementor-widget-video .elementor-wrapper iframe,.elementor-widget-video .elementor-wrapper video{position:absolute;top:0;right:0;bottom:0;left:0}}.elementor-widget-video .elementor-open-inline .elementor-custom-embed-image-overlay{position:absolute;top:0;right:0;bottom:0;left:0;background-size:cover;background-position:50%}.elementor-widget-video .elementor-custom-embed-image-overlay{cursor:pointer;text-align:center}.elementor-widget-video .elementor-custom-embed-image-overlay:hover .elementor-custom-embed-play i{opacity:1}.elementor-widget-video .elementor-custom-embed-image-overlay img{display:block;width:100%;aspect-ratio:var(--video-aspect-ratio);-o-object-fit:cover;object-fit:cover;-o-object-position:center center;object-position:center center}@supports not (aspect-ratio:1\/1){.elementor-widget-video .elementor-custom-embed-image-overlay{position:relative;overflow:hidden;height:0;padding-bottom:calc(100% \/ var(--video-aspect-ratio))}.elementor-widget-video .elementor-custom-embed-image-overlay img{position:absolute;top:0;right:0;bottom:0;left:0}}.elementor-widget-video .e-hosted-video .elementor-video{-o-object-fit:cover;object-fit:cover}.e-con-inner>.elementor-widget-video,.e-con>.elementor-widget-video{width:var(--container-widget-width);--flex-grow:var(--container-widget-flex-grow)}<\/style>\t\t<div class=\"elementor-wrapper elementor-open-inline\">\n\t\t\t<div class=\"elementor-video\"><\/div>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2b346da elementor-drop-cap-yes elementor-drop-cap-view-default elementor-widget elementor-widget-text-editor\" data-id=\"2b346da\" data-element_type=\"widget\" data-settings=\"{&quot;drop_cap&quot;:&quot;yes&quot;}\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>\u00a0<\/p><p>Seit seiner Ver\u00f6ffentlichung hat BERT die Aufmerksamkeit der Data-Science-Community auf sich gezogen, da es<strong> &#8222;State-of-the-Art&#8220; <\/strong>Ergebnisse liefert. BERT liefert derzeit die besten Ergebnisse f\u00fcr einen Gro\u00dfteil der NLP-Aufgaben.<strong> <a style=\"text-align: var(--text-align);background-color: #ffffff\" href=\"https:\/\/arxiv.org\/pdf\/1810.04805.pdf\">Google<\/a><\/strong><span style=\"text-align: var(--text-align)\"> hat sogar behauptet, dass <\/span><b style=\"text-align: var(--text-align)\">das Modell <\/b><span style=\"text-align: var(--text-align)\">bei einigen Aufgaben <\/span><b style=\"text-align: var(--text-align)\">die menschliche Leistung \u00fcbertrifft, <\/b><span style=\"text-align: var(--text-align)\">was ein gro\u00dfer Schritt f\u00fcr jeden Machine-Learning-Algorithmus ist.\u00a0<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-3624cbd e-flex e-con-boxed e-con\" data-id=\"3624cbd\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-97b1f0b elementor-widget elementor-widget-heading\" data-id=\"97b1f0b\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Die Welt vor BERT:<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-7851dce elementor-widget elementor-widget-text-editor\" data-id=\"7851dce\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Um zu verstehen, was BERT ist und was die innovative Idee hinter diesem Modell ist, werden wir uns auf eine typische NLP-Aufgabe st\u00fctzen. Nehmen wir den folgenden Satz:<\/span><\/p><p><i><span style=\"font-weight: 400\">&#8222;Die Person geht in den Supermarkt und kauft eine ____ mit Schuhen. &#8222;<\/span><\/i><\/p><p><span style=\"font-weight: 400\">Hier ist das Ziel klar. Der Satz soll Satz vervollst\u00e4ndigt werden. Die Antwort ist daher f\u00fcr einen Menschen offensichtlich, aber f\u00fcr einen Algorithmus jedoch weniger. <\/span><\/p><p><b>Pre-BERT-Modelle <\/b><span style=\"font-weight: 400\">h\u00e4tten diese Textsequenz von links nach rechts oder in Kombination von links nach rechts und von rechts nach links betrachtet. Dieser <\/span><i><span style=\"font-weight: 400\">unidirektionale Ansatz <\/span><\/i><span style=\"font-weight: 400\">funktioniert gut, um S\u00e4tze zu erstellen. Wir k\u00f6nnen das n\u00e4chste Wort vorhersagen, es der Sequenz hinzuf\u00fcgen und dann das n\u00e4chste Wort vorhersagen, bis wir einen vollst\u00e4ndigen Satz erhalten. Hier w\u00fcrden pre-BERT-Modelle etwa 70% der Zeit das Wort (Paar) und den Rest der Zeit W\u00f6rter wie &#8222;Caddie&#8220; oder &#8222;Koffer&#8220; liefern.<\/span><\/p><p><span style=\"font-weight: 400\">BERT geht aber nicht auf diese Weise vor. BERT steht f\u00fcr <\/span><b>Bidirectional Encoder Representations from Transformers. <\/b>Dieses Modell arbeitet bidirektional, <span style=\"font-weight: 400\">was zu einem besseren Verst\u00e4ndnis des Textes f\u00fchrt.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-22faf88 e-flex e-con-boxed e-con\" data-id=\"22faf88\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-199921a elementor-widget elementor-widget-heading\" data-id=\"199921a\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Die BERT-Methode:<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-39dbf94 elementor-widget elementor-widget-text-editor\" data-id=\"39dbf94\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Nehmen wir dieselbe Aufgabe noch einmal und schauen wir uns an, was BERT macht. Anstatt das n\u00e4chste Wort in einem Satz vorherzusagen, verwendet BERT eine neue Technik namens <\/span><b>Masked LM <\/b><span style=\"font-weight: 400\">(MLM). Er <\/span><b>maskiert zuf\u00e4llig W\u00f6rter im <\/b><span style=\"font-weight: 400\">Satz und versucht dann, sie vorherzusagen. Unter \u201cMaskieren\u201d versteht man, dass das Modell in beiden Richtungen schaut und den kompletten Kontext des Satzes (links und rechts) verwendet, um das maskierte Wort vorherzusagen. Im Gegensatz zu fr\u00fcheren Sprachmodellen ber\u00fccksichtigt es das vorhergehende und das nachfolgende Wort gleichzeitig. Den bisherigen Modellen fehlte dieser <\/span><b>&#8222;simultane<\/b><span style=\"font-weight: 400\">&#8220; <\/span><b>Ansatz<\/b><span style=\"font-weight: 400\">.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-45851df e-flex e-con-boxed e-con\" data-id=\"45851df\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-32b8205 elementor-widget elementor-widget-heading\" data-id=\"32b8205\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Wie funktioniert es technisch?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-8c3f862 elementor-widget elementor-widget-text-editor\" data-id=\"8c3f862\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">BERT ist ein Modell des Typs <\/span><b><i>Transformer<\/i><\/b><span style=\"font-weight: 400\">. Um zu funktionieren, f\u00fchrt ein Transformer eine kleine und konstante Anzahl von Schritten aus. Bei jedem Schritt wendet es einen <\/span><b>Aufmerksamkeitsmechanismus <\/b>an, <span style=\"font-weight: 400\">um die Beziehungen zwischen den W\u00f6rtern im Satz zu verstehen, unabh\u00e4ngig von ihren jeweiligen Positionen. Nehmen wir ein einfaches Beispiel:\u00a0<\/span><\/p><p><i><span style=\"font-weight: 400\">&#8222;Hast du eine neue Maus f\u00fcr deinen Computer? &#8222;<\/span><\/i><\/p><p><span style=\"font-weight: 400\">Um die Bedeutung des Wortes &#8222;<\/span><i><span style=\"font-weight: 400\">Maus&#8220;<\/span><\/i><span style=\"font-weight: 400\">, das Objekt und nicht das Tier, zu bestimmen, wird der Transformator <\/span><b>auf das Wort &#8222;Computer&#8220; achten <\/b><span style=\"font-weight: 400\">und darauf basierend eine Entscheidung treffen.\u00a0<\/span><\/p><p><span style=\"font-weight: 400\">Um dies zu erm\u00f6glichen, basiert sich BERT daher auf der Architektur von Transformern, d. h. bestehend aus einem <\/span><i><span style=\"font-weight: 400\">Encoder, <\/span><\/i><span style=\"font-weight: 400\">der <\/span><span style=\"font-weight: 400\">den Text liest, und einem <\/span><i><span style=\"font-weight: 400\">Decoder, <\/span><\/i><span style=\"font-weight: 400\">der <\/span><span style=\"font-weight: 400\">eine Vorhersage macht. BERT beschr\u00e4nkt sich auf einen <em>Encoder<\/em>, da sein Ziel darin besteht, ein Modell zur Darstellung von Sprache zu erstellen, das dann f\u00fcr NLP-Aufgaben verwendet werden kann. (Es erm\u00f6glicht das Verstehen von Sprache).<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-d42415b e-flex e-con-boxed e-con\" data-id=\"d42415b\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-37204b5 elementor-widget elementor-widget-heading\" data-id=\"37204b5\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Wie wird es verwendet?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-d5a42c8 elementor-widget elementor-widget-text-editor\" data-id=\"d5a42c8\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Vor der Verwendung von BERT ist es entscheidend, die folgenden <\/span><b><i>Daten vorzubereiten:\u00a0<\/i><\/b><\/p><ul><li style=\"font-weight: 400\"><b>Tokenisierung von W\u00f6rtern <\/b><span style=\"font-weight: 400\">und Hinzuf\u00fcgen von Satzanfangs- und Satzende-Tokens<\/span><\/li><li style=\"font-weight: 400\"><b>Marker <\/b><span style=\"font-weight: 400\">an jedem Satz <\/span><b>hinzugef\u00fcgt, <\/b><span style=\"font-weight: 400\">um sie zu unterscheiden<\/span><\/li><\/ul><p><span style=\"font-weight: 400\">Ein <\/span><b>Positionsmarker <\/b><span style=\"font-weight: 400\">wird zu jedem Token (Wort) hinzugef\u00fcgt, um seine Position anzuzeigen.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-2c784f1 elementor-widget elementor-widget-image\" data-id=\"2c784f1\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-image{text-align:center}.elementor-widget-image a{display:inline-block}.elementor-widget-image a img[src$=\".svg\"]{width:48px}.elementor-widget-image img{vertical-align:middle;display:inline-block}<\/style>\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"2560\" height=\"814\" src=\"https:\/\/datascientest.com\/de\/files\/2022\/11\/tab-08.png\" class=\"attachment-full size-full wp-image-173339\" alt=\"bert: representation of entries\" srcset=\"https:\/\/datascientest.com\/de\/files\/2022\/11\/tab-08.png 2560w, https:\/\/datascientest.com\/de\/files\/2022\/11\/tab-08-300x95.png 300w, https:\/\/datascientest.com\/de\/files\/2022\/11\/tab-08-1024x325.png 1024w, https:\/\/datascientest.com\/de\/files\/2022\/11\/tab-08-768x244.png 768w, https:\/\/datascientest.com\/de\/files\/2022\/11\/tab-08-1536x488.png 1536w, https:\/\/datascientest.com\/de\/files\/2022\/11\/tab-08-2048x651.png 2048w\" sizes=\"(max-width: 2560px) 100vw, 2560px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-f015f98 elementor-widget elementor-widget-text-editor\" data-id=\"f015f98\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Danach muss man sein BERT-Modell ausw\u00e4hlen.\u00a0 Es gibt verschiedene Typen in unterschiedlichen Gr\u00f6\u00dfen. Es liegt am Benutzer, <\/span><b>die Komplexit\u00e4t zu w\u00e4hlen, die f\u00fcr seine Aufgabe geeignet ist<\/b><span style=\"font-weight: 400\">. Schlie\u00dflich musst Du das Modell noch importieren und in Deine Architektur einbauen. Wenn Du diese Schritte erledigt hast, musst Du nur noch die Vorhersagen machen!<\/span><\/p><p><span style=\"font-weight: 400\">BERT ist ein <\/span><b>sehr m\u00e4chtiges Sprachrepr\u00e4sentationsmodell<\/b><span style=\"font-weight: 400\">, das einen Meilenstein in der maschinellen Sprachverarbeitung darstellt. Es hat unsere F\u00e4higkeit, Transfer Learning in NLP zu betreiben, erheblich erweitert. Mit BERT kannst du zum Beispiel <\/span><b>Tweets nach der Stimmung, <\/b>die <span style=\"font-weight: 400\">sie hervorrufen, <\/span><b>klassifizieren <\/b><span style=\"font-weight: 400\">oder <\/span><b>einen virtuellen Assistenten erstellen, <\/b><span style=\"font-weight: 400\">der Fragen intelligent beantworten kann.\u00a0<\/span><\/p><p><span style=\"font-weight: 400\">Um besser zu verstehen, wie BERT und Transformers funktionieren, oder um <\/span><a href=\"https:\/\/datascientest.com\/de\/deep-learning-oder-tiefes-lernen-was-ist-das-denn\">Deep Learning<\/a><span style=\"font-weight: 400\"> und <a href=\"https:\/\/datascientest.com\/de\/nlp-natural-language-processing-eine-einfuhrung\">NLP<\/a> zu entdecken und zu Deinem Beruf zu machen, nimm an unseren <a href=\"https:\/\/datascientest.com\/de\/unsere-aus-und-weiterbildungen\">DataScientest Weiterbildungen <\/a><\/span><span style=\"font-weight: 400\">teil.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-e09f9bb elementor-align-center button-principal elementor-widget elementor-widget-button\" data-id=\"e09f9bb\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-md\" href=\"https:\/\/datascientest.com\/de\/unsere-aus-und-weiterbildungen\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Entdecke unsere Weiterbildungen<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Im Oktober 2018 hat der Zweig f\u00fcr k\u00fcnstliche Intelligenz von Google (Google AI) ein vorprogrammiertes Deep-Learning-Modell namens BERT ver\u00f6ffentlicht. Dieses Modell kann mehrere NLP-Probleme l\u00f6sen. Natural Language Processing ist ein Teilbereich des Machine Learning, der Computerprogrammen die F\u00e4higkeit verleihen soll, menschliche Sprache zu verstehen und zu verarbeiten. Seit seiner Ver\u00f6ffentlichung hat BERT die Aufmerksamkeit der [&hellip;]<\/p>\n","protected":false},"author":47,"featured_media":164903,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2454],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>BERT: Ein innovatives Tool zur Sprachverarbeitung<\/title>\n<meta name=\"description\" content=\"BERT ist ein vorprogrammiertes Deep-Learning-Modell, das von Google im Oktober 2018 ver\u00f6ffentlicht wurde. Es kann mehrere NLP-Probleme l\u00f6sen.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/de\/bert\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"BERT: Ein innovatives Tool zur Sprachverarbeitung\" \/>\n<meta property=\"og:description\" content=\"Im Oktober 2018 hat der Zweig f\u00fcr k\u00fcnstliche Intelligenz von Google (Google AI) ein vorprogrammiertes Deep-Learning-Modell namens BERT ver\u00f6ffentlicht.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/de\/bert\" \/>\n<meta property=\"og:site_name\" content=\"Weiterbildung Data Science | DataScientest.com\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/DataScientestEN\" \/>\n<meta property=\"article:published_time\" content=\"2022-11-17T18:24:46+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-10-29T20:03:52+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2022\/11\/illu_BERT-41.webp\" \/>\n\t<meta property=\"og:image:width\" content=\"768\" \/>\n\t<meta property=\"og:image:height\" content=\"422\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/webp\" \/>\n<meta name=\"author\" content=\"Adriano R\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:site\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Adriano R\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"5 Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/datascientest.com\/de\/bert#article\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/bert\"},\"author\":{\"name\":\"Adriano R\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/3d2560836c47019eb12b7b77f3a15378\"},\"headline\":\"BERT: Ein innovatives Tool zur Sprachverarbeitung\",\"datePublished\":\"2022-11-17T18:24:46+00:00\",\"dateModified\":\"2023-10-29T20:03:52+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/datascientest.com\/de\/bert\"},\"wordCount\":757,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"articleSection\":[\"Data Science\"],\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\/\/datascientest.com\/de\/bert#respond\"]}],\"copyrightYear\":\"2022\",\"copyrightHolder\":{\"@id\":\"https:\/\/datascientest.com\/#organization\"}},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/de\/bert\",\"url\":\"https:\/\/datascientest.com\/de\/bert\",\"name\":\"BERT: Ein innovatives Tool zur Sprachverarbeitung\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/#website\"},\"datePublished\":\"2022-11-17T18:24:46+00:00\",\"dateModified\":\"2023-10-29T20:03:52+00:00\",\"description\":\"BERT ist ein vorprogrammiertes Deep-Learning-Modell, das von Google im Oktober 2018 ver\u00f6ffentlicht wurde. Es kann mehrere NLP-Probleme l\u00f6sen.\",\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/de\/bert\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/de\/#website\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"name\":\"Weiterbildung Data Science | DataScientest.com\",\"description\":\"F\u00fchrender Anbieter von Schulungen im Bereich Data Science\",\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/de\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/datascientest.com\/de\/#organization\",\"name\":\"DataScientest\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"contentUrl\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"width\":301,\"height\":301,\"caption\":\"DataScientest\"},\"image\":{\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\"},\"sameAs\":[\"https:\/\/www.facebook.com\/DataScientestEN\",\"https:\/\/twitter.com\/DataScientest__\",\"https:\/\/www.linkedin.com\/company\/datascientest-germany\/\",\"https:\/\/www.tiktok.com\/@datascientest\"]},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/3d2560836c47019eb12b7b77f3a15378\",\"name\":\"Adriano R\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/fbfbc3a7811c63caf3333396a123058f?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/fbfbc3a7811c63caf3333396a123058f?s=96&d=mm&r=g\",\"caption\":\"Adriano R\"},\"sameAs\":[\"user\"],\"url\":\"https:\/\/datascientest.com\/de\/author\/adriano-r\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"BERT: Ein innovatives Tool zur Sprachverarbeitung","description":"BERT ist ein vorprogrammiertes Deep-Learning-Modell, das von Google im Oktober 2018 ver\u00f6ffentlicht wurde. Es kann mehrere NLP-Probleme l\u00f6sen.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/de\/bert","og_locale":"de_DE","og_type":"article","og_title":"BERT: Ein innovatives Tool zur Sprachverarbeitung","og_description":"Im Oktober 2018 hat der Zweig f\u00fcr k\u00fcnstliche Intelligenz von Google (Google AI) ein vorprogrammiertes Deep-Learning-Modell namens BERT ver\u00f6ffentlicht.","og_url":"https:\/\/datascientest.com\/de\/bert","og_site_name":"Weiterbildung Data Science | DataScientest.com","article_publisher":"https:\/\/www.facebook.com\/DataScientestEN","article_published_time":"2022-11-17T18:24:46+00:00","article_modified_time":"2023-10-29T20:03:52+00:00","og_image":[{"width":768,"height":422,"url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2022\/11\/illu_BERT-41.webp","type":"image\/webp"}],"author":"Adriano R","twitter_card":"summary_large_image","twitter_creator":"@DataScientest__","twitter_site":"@DataScientest__","twitter_misc":{"Verfasst von":"Adriano R","Gesch\u00e4tzte Lesezeit":"5 Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/datascientest.com\/de\/bert#article","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/bert"},"author":{"name":"Adriano R","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/3d2560836c47019eb12b7b77f3a15378"},"headline":"BERT: Ein innovatives Tool zur Sprachverarbeitung","datePublished":"2022-11-17T18:24:46+00:00","dateModified":"2023-10-29T20:03:52+00:00","mainEntityOfPage":{"@id":"https:\/\/datascientest.com\/de\/bert"},"wordCount":757,"commentCount":0,"publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"articleSection":["Data Science"],"inLanguage":"de","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/datascientest.com\/de\/bert#respond"]}],"copyrightYear":"2022","copyrightHolder":{"@id":"https:\/\/datascientest.com\/#organization"}},{"@type":"WebPage","@id":"https:\/\/datascientest.com\/de\/bert","url":"https:\/\/datascientest.com\/de\/bert","name":"BERT: Ein innovatives Tool zur Sprachverarbeitung","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/#website"},"datePublished":"2022-11-17T18:24:46+00:00","dateModified":"2023-10-29T20:03:52+00:00","description":"BERT ist ein vorprogrammiertes Deep-Learning-Modell, das von Google im Oktober 2018 ver\u00f6ffentlicht wurde. Es kann mehrere NLP-Probleme l\u00f6sen.","inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/de\/bert"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/de\/#website","url":"https:\/\/datascientest.com\/de\/","name":"Weiterbildung Data Science | DataScientest.com","description":"F\u00fchrender Anbieter von Schulungen im Bereich Data Science","publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/de\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/datascientest.com\/de\/#organization","name":"DataScientest","url":"https:\/\/datascientest.com\/de\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/","url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","contentUrl":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","width":301,"height":301,"caption":"DataScientest"},"image":{"@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/DataScientestEN","https:\/\/twitter.com\/DataScientest__","https:\/\/www.linkedin.com\/company\/datascientest-germany\/","https:\/\/www.tiktok.com\/@datascientest"]},{"@type":"Person","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/3d2560836c47019eb12b7b77f3a15378","name":"Adriano R","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/fbfbc3a7811c63caf3333396a123058f?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/fbfbc3a7811c63caf3333396a123058f?s=96&d=mm&r=g","caption":"Adriano R"},"sameAs":["user"],"url":"https:\/\/datascientest.com\/de\/author\/adriano-r"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/164902"}],"collection":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/users\/47"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/comments?post=164902"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/164902\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media\/164903"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media?parent=164902"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/categories?post=164902"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/tags?post=164902"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}