{"id":165110,"date":"2023-02-02T20:40:19","date_gmt":"2023-02-02T19:40:19","guid":{"rendered":"https:\/\/datascientest.com\/de\/?p=165110"},"modified":"2023-10-29T20:13:21","modified_gmt":"2023-10-29T19:13:21","slug":"tf-idf","status":"publish","type":"post","link":"https:\/\/datascientest.com\/de\/tf-idf","title":{"rendered":"K\u00fcnstliche Intelligenz: Zusammenfassung eines Textes mithilfe des TF IDF"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"165110\" class=\"elementor elementor-165110\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-627b2dd e-flex e-con-boxed e-con\" data-id=\"627b2dd\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-33c2265 elementor-widget elementor-widget-text-editor\" data-id=\"33c2265\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<h2>Die zahlreichen Fortschritte in <a href=\"https:\/\/datascientest.com\/de\/nlp-natural-language-processing-eine-einfuhrung\">NLP<\/a> erm\u00f6glichen es bis heute, es auf zahlreiche Aufgaben anzuwenden: \u00dcbersetzung, Texterzeugung, Zusammenfassung &#8230; In diesem Artikel wollen wir uns mit einem einfachen Aspekt der Zusammenfassung befassen: <strong>der extraktiven Zusammenfassung<\/strong>. Dabei handelt es sich nicht um eine zusammenfassende Zusammenfassung, sondern vielmehr um eine Extraktion der interessantesten, bedeutungstragenden S\u00e4tze.<\/h2>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-cc2a144 elementor-widget elementor-widget-text-editor\" data-id=\"cc2a144\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Dazu werden wir den Begriff TF-IDF einf\u00fchren, der im Mittelpunkt des Algorithmus zum Zusammenfassen steht, und dann Schritt f\u00fcr Schritt die Schritte untersuchen, die zum Zusammenfassen f\u00fchren.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-350274f e-flex e-con-boxed e-con\" data-id=\"350274f\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-a5b3c22 elementor-widget elementor-widget-heading\" data-id=\"a5b3c22\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h3 class=\"elementor-heading-title elementor-size-default\">Was ist TF-IDF? Definition<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-bf53796 elementor-widget elementor-widget-text-editor\" data-id=\"bf53796\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><b><i>Term Frequency &#8211; Inverse Document Frequency <\/i><\/b><b>ist ein Ma\u00df, mit dem man aus einer Reihe von Texten die relative Bedeutung der einzelnen W\u00f6rter ablesen kann.<\/b><\/p><blockquote><p><span style=\"font-weight: 400\">Eine schlechte Idee w\u00e4re es zu glauben, dass ein Wort umso wichtiger in einem Satz ist, je h\u00e4ufiger es vorkommt.<\/span><\/p><\/blockquote><p><span style=\"font-weight: 400\">Dies w\u00fcrde jedoch dazu f\u00fchren, dass man sich sehr schnell mit Schl\u00fcsselw\u00f6rtern wie &#8222;der&#8220;, &#8222;du&#8220;, &#8222;a&#8220;&#8230; wiederfindet, die alles andere als n\u00fctzlich sind! TF-IDF erm\u00f6glicht es, dies zu korrigieren.<\/span><\/p><p><span style=\"font-weight: 400\">Stelle dir vor, dass wir eine <\/span><b>Reihe von Texten <\/b><span style=\"font-weight: 400\">haben (z. B. alle Werke von Goethe). Und wir wollen die wichtigsten W\u00f6rter aus seinen Werken extrahieren.\u00a0<\/span><\/p><p><span style=\"font-weight: 400\">TF dient dazu, die relative Bedeutung eines Wortes in einem Dokument zu messen. Sie ist definiert durch die Formel<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-622cce3 elementor-widget elementor-widget-image\" data-id=\"622cce3\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-image{text-align:center}.elementor-widget-image a{display:inline-block}.elementor-widget-image a img[src$=\".svg\"]{width:48px}.elementor-widget-image img{vertical-align:middle;display:inline-block}<\/style>\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"300\" height=\"64\" src=\"https:\/\/datascientest.com\/de\/files\/2022\/11\/Capture-de\u0301cran-2020-10-08-a\u0300-15.04.26.webp\" class=\"attachment-full size-full wp-image-165113\" alt=\"\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-6de336f elementor-widget elementor-widget-text-editor\" data-id=\"6de336f\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><i><span style=\"font-weight: 400\">wobei {i das Wort und j das Dokument L<\/span><\/i><i><span style=\"font-weight: 400\">j\u00a0<\/span><\/i><i><span style=\"font-weight: 400\"> die Gesamtzahl der W\u00f6rter im Text j Freqi,j die H\u00e4ufigkeit des Wortes i in Dok j<\/span><\/i><\/p><p><span style=\"font-weight: 400\">i das Wort und j das Dokument L<\/span><span style=\"font-weight: 400\">j<\/span><span style=\"font-weight: 400\"> die Gesamtzahl der W\u00f6rter im Text j Freqi,j die H\u00e4ufigkeit des Wortes .\u00a0<\/span><\/p><p><span style=\"font-weight: 400\">IDF misst die Bedeutung eines Begriffs nicht anhand seiner H\u00e4ufigkeit in einem bestimmten Dokument, sondern anhand seiner Verteilung und Verwendung in der Gesamtheit der Dokumente.\u00a0 <\/span><b>Je mehr Potenzial ein Begriff hat, desto h\u00f6her ist die Inverse Document Frequency<\/b><span style=\"font-weight: 400\">.<\/span><\/p><p><span style=\"font-weight: 400\">Im Idealfall kommt ein Begriff sehr h\u00e4ufig in nur wenigen Texten vor. W\u00f6rter, die in fast allen Dokumenten oder nur sehr selten vorkommen, sind von geringer Bedeutung. Die Punktzahl erh\u00e4lt man durch folgende Formel: <\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-52c8c02 elementor-widget elementor-widget-image\" data-id=\"52c8c02\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"300\" height=\"72\" src=\"https:\/\/datascientest.com\/de\/files\/2022\/11\/Capture-de\u0301cran-2020-10-08-a\u0300-15.08.15.webp\" class=\"attachment-full size-full wp-image-165114\" alt=\"\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-105376b elementor-widget elementor-widget-text-editor\" data-id=\"105376b\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><i><span style=\"font-weight: 400\">wobei {N<\/span><\/i><i><span style=\"font-weight: 400\">D<\/span><\/i><i><span style=\"font-weight: 400\"> die Gesamtzahl der Dokumente im Korpus f<\/span><\/i><i><span style=\"font-weight: 400\">i<\/span><\/i><i><span style=\"font-weight: 400\"> die Anzahl der Dokumente, in denen das Wort i vorkommt\u00a0\u00a0<\/span><\/i><\/p><p><span style=\"font-weight: 400\">Wir nehmen den Logarithmus, da bei einem gro\u00dfen Korpus der Wert dieses Terms explodieren kann.<\/span><\/p><p><span style=\"font-weight: 400\">Nachdem die beiden Terme berechnet wurden, berechnet man seinen Wert durch :<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-be9885a elementor-widget elementor-widget-image\" data-id=\"be9885a\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"300\" height=\"52\" src=\"https:\/\/datascientest.com\/de\/files\/2022\/11\/Capture-de\u0301cran-2020-10-08-a\u0300-15.09.37.webp\" class=\"attachment-full size-full wp-image-165115\" alt=\"\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-4b66549 e-flex e-con-boxed e-con\" data-id=\"4b66549\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-6e6ffd6 elementor-widget elementor-widget-heading\" data-id=\"6e6ffd6\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">L\u00f6schen, l\u00f6schen<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-7e05936 elementor-widget elementor-widget-text-editor\" data-id=\"7e05936\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Der arbeits- und zeitaufw\u00e4ndigste Teil des <\/span><b>NLP <\/b><span style=\"font-weight: 400\">ist das <\/span><b>Preprocessing <\/b><span style=\"font-weight: 400\">&#8211; die Aufgabe, <\/span><b>unser Dataset so zu bearbeiten, <\/b><span style=\"font-weight: 400\">dass es effizient ausgewertet werden kann. Wir m\u00fcssen daran denken, den Text so weit wie m\u00f6glich zu harmonisieren, um dem Algorithmus die Arbeit zu erleichtern. Die wichtigsten Schritte f\u00fcr unsere Fallstudie sind :\u00a0<\/span><\/p><ul><li style=\"font-weight: 400\"><span style=\"font-weight: 400\">Sonderzeichen durch Leerzeichen ersetzen\u00a0<\/span><\/li><li style=\"font-weight: 400\"><span style=\"font-weight: 400\">Ersetzen von zus\u00e4tzlichen R\u00e4umen durch einen klassischen Raum<\/span><\/li><\/ul><p><span style=\"font-weight: 400\">Hierzu verwenden wir die <\/span><a href=\"https:\/\/www.nltk.org\/\">NLTK-Buchhandlung <\/a><span style=\"font-weight: 400\">und <\/span><b>Re<\/b><span style=\"font-weight: 400\">.\u00a0<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-3b5684f elementor-widget elementor-widget-shortcode\" data-id=\"3b5684f\" data-element_type=\"widget\" data-widget_type=\"shortcode.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-shortcode\"><script src=\"https:\/\/gist.github.com\/guipet\/9042187a5367fa1e9c58dd22b0c14427.js\"><\/script><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-0cb35ad e-flex e-con-boxed e-con\" data-id=\"0cb35ad\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-59f99c8 elementor-widget elementor-widget-heading\" data-id=\"59f99c8\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">TF-IDF berechnen<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-ff7ebec elementor-widget elementor-widget-text-editor\" data-id=\"ff7ebec\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Die Berechnung in der Idee ist einfach, aber man muss dem Code Aufmerksamkeit schenken. Wir m\u00fcssen zun\u00e4chst <\/span><b>ein Vokabular <\/b><span style=\"font-weight: 400\">aus unserem gesamten Korpus <\/span><b>erstellen<\/b><span style=\"font-weight: 400\">. Dann muss man eine sogenannte <\/span><b><i>count matrix <\/i><\/b><b>erstellen<\/b><span style=\"font-weight: 400\">, die <\/span><b>f\u00fcr jedes Dokument das Vorkommen jedes Wortes z\u00e4hlt<\/b><span style=\"font-weight: 400\">.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-0e33ef0 elementor-widget elementor-widget-image\" data-id=\"0e33ef0\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t<figure class=\"wp-caption\">\n\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"466\" height=\"289\" src=\"https:\/\/datascientest.com\/de\/files\/2022\/11\/unnamed-1.webp\" class=\"attachment-large size-large wp-image-165119\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2022\/11\/unnamed-1.webp 466w, https:\/\/datascientest.com\/de\/files\/2022\/11\/unnamed-1-300x186.webp 300w\" sizes=\"(max-width: 466px) 100vw, 466px\" \/>\t\t\t\t\t\t\t\t\t\t\t<figcaption class=\"widget-image-caption wp-caption-text\">Count Matrix<\/figcaption>\n\t\t\t\t\t\t\t\t\t\t<\/figure>\n\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-03eeeab elementor-widget elementor-widget-text-editor\" data-id=\"03eeeab\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Nachdem diese Matrix erstellt wurde, kann man den TF-IDF-Score dieser Matrix berechnen.\u00a0<\/span><\/p><p><b>Am Ende wird ein W\u00f6rterbuch erstellt, das jedem Wort den Wert TF-IDF zuordnet.<\/b><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t<div class=\"elementor-element elementor-element-cfa60de e-flex e-con-boxed e-con\" data-id=\"cfa60de\" data-element_type=\"container\" data-settings=\"{&quot;content_width&quot;:&quot;boxed&quot;}\">\n\t\t\t\t\t<div class=\"e-con-inner\">\n\t\t\t\t<div class=\"elementor-element elementor-element-8f887ba elementor-widget elementor-widget-heading\" data-id=\"8f887ba\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Die Zusammenfassung<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-25871de elementor-widget elementor-widget-text-editor\" data-id=\"25871de\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Wir berechnen die Punktzahl f\u00fcr jeden Satz in den Dokumenten basierend auf dem TF-IDF-Wert jedes Wortes, aus dem der Satz besteht.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-e2308c2 elementor-widget elementor-widget-shortcode\" data-id=\"e2308c2\" data-element_type=\"widget\" data-widget_type=\"shortcode.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-shortcode\"><script src=\"https:\/\/gist.github.com\/guipet\/4747abed8d30a8075ec9d53bf9422c01.js\"><\/script><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-4788d98 elementor-widget elementor-widget-text-editor\" data-id=\"4788d98\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Wenn man die Punktzahl f\u00fcr jeden Satz erhalten hat, kann man eine Zusammenfassung eines Textes erstellen.<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-51059ad elementor-widget elementor-widget-shortcode\" data-id=\"51059ad\" data-element_type=\"widget\" data-widget_type=\"shortcode.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-shortcode\"><script src=\"https:\/\/gist.github.com\/guipet\/22e4040122f1cff6a3e758b0198279c5.js\"><\/script><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-1446668 elementor-widget elementor-widget-text-editor\" data-id=\"1446668\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Hier ein Beispiel f\u00fcr das Ergebnis bei einem Text :<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-ffb2c36 elementor-widget elementor-widget-image\" data-id=\"ffb2c36\" data-element_type=\"widget\" data-widget_type=\"image.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<img decoding=\"async\" width=\"512\" height=\"122\" src=\"https:\/\/datascientest.com\/de\/files\/2022\/11\/unnamed-1-2.webp\" class=\"attachment-full size-full wp-image-165123\" alt=\"\" srcset=\"https:\/\/datascientest.com\/de\/files\/2022\/11\/unnamed-1-2.webp 512w, https:\/\/datascientest.com\/de\/files\/2022\/11\/unnamed-1-2-300x71.webp 300w\" sizes=\"(max-width: 512px) 100vw, 512px\" \/>\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<div class=\"elementor-element elementor-element-b597bdc elementor-widget elementor-widget-text-editor\" data-id=\"b597bdc\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p><span style=\"font-weight: 400\">Die Zusammenfassung ist bereits von angemessener Qualit\u00e4t. Wie man sieht, brauchten wir nur ein paar Funktionen und durften uns nicht im Code verirren, um die Punktzahl f\u00fcr jedes Wort zu berechnen. Es ist alles eine Frage der Organisation.<\/span><\/p><p><span style=\"font-weight: 400\">Dennoch bleibt es eine recht klassische Zusammenfassung. Mit neuen Methoden wie <\/span><b>Transformers <\/b><span style=\"font-weight: 400\">oder klassischeren Methoden wie <\/span><b>n-gram lassen sich <\/b><i><span style=\"font-weight: 400\">echte <\/span><\/i><span style=\"font-weight: 400\">Zusammenfassungen erstellen.\u00a0<\/span><\/p><p><span style=\"font-weight: 400\">Allerdings wird es immer komplizierter und erfordert einen echten Hintergrund in Bezug auf Wissen und Anwendungen. Unser Kurs hat k\u00fcrzlich Kurse zu diesen neuen Methoden eingef\u00fchrt, damit die Teilnehmer ihre Projekte mit gr\u00f6\u00dferem Ehrgeiz umsetzen k\u00f6nnen.\u00a0<\/span><\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Die zahlreichen Fortschritte in NLP erm\u00f6glichen es bis heute, es auf zahlreiche Aufgaben anzuwenden: \u00dcbersetzung, Texterzeugung, Zusammenfassung &#8230; In diesem Artikel wollen wir uns mit einem einfachen Aspekt der Zusammenfassung befassen: der extraktiven Zusammenfassung. Dabei handelt es sich nicht um eine zusammenfassende Zusammenfassung, sondern vielmehr um eine Extraktion der interessantesten, bedeutungstragenden S\u00e4tze. Dazu werden wir [&hellip;]<\/p>\n","protected":false},"author":47,"featured_media":165111,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2454],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>K\u00fcnstliche Intelligenz: Zusammenfassung eines Textes mithilfe des TF IDF<\/title>\n<meta name=\"description\" content=\"K\u00fcnstliche Intelligenz: Entdecken Sie das TF-IDF-Konzept im Herzen des NLP-Algorithmus, mit dem Texte zusammengefasst werden k\u00f6nnen!\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/de\/tf-idf\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"K\u00fcnstliche Intelligenz: Zusammenfassung eines Textes mithilfe des TF IDF\" \/>\n<meta property=\"og:description\" content=\"Die zahlreichen Fortschritte in NLP erm\u00f6glichen es bis heute, es auf zahlreiche Aufgaben anzuwenden: \u00dcbersetzung, Texterzeugung, Zusammenfassung ... In\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/de\/tf-idf\" \/>\n<meta property=\"og:site_name\" content=\"Weiterbildung Data Science | DataScientest.com\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/DataScientestEN\" \/>\n<meta property=\"article:published_time\" content=\"2023-02-02T19:40:19+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-10-29T19:13:21+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2022\/11\/illu_resumer_blog-06.webp\" \/>\n\t<meta property=\"og:image:width\" content=\"768\" \/>\n\t<meta property=\"og:image:height\" content=\"303\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/webp\" \/>\n<meta name=\"author\" content=\"Adriano R\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:site\" content=\"@DataScientest__\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Adriano R\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"5\u00a0Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/datascientest.com\/de\/tf-idf#article\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/tf-idf\"},\"author\":{\"name\":\"Adriano R\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/3d2560836c47019eb12b7b77f3a15378\"},\"headline\":\"K\u00fcnstliche Intelligenz: Zusammenfassung eines Textes mithilfe des TF IDF\",\"datePublished\":\"2023-02-02T19:40:19+00:00\",\"dateModified\":\"2023-10-29T19:13:21+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/datascientest.com\/de\/tf-idf\"},\"wordCount\":722,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"articleSection\":[\"Data Science\"],\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\/\/datascientest.com\/de\/tf-idf#respond\"]}],\"copyrightYear\":\"2023\",\"copyrightHolder\":{\"@id\":\"https:\/\/datascientest.com\/#organization\"}},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/de\/tf-idf\",\"url\":\"https:\/\/datascientest.com\/de\/tf-idf\",\"name\":\"K\u00fcnstliche Intelligenz: Zusammenfassung eines Textes mithilfe des TF IDF\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/de\/#website\"},\"datePublished\":\"2023-02-02T19:40:19+00:00\",\"dateModified\":\"2023-10-29T19:13:21+00:00\",\"description\":\"K\u00fcnstliche Intelligenz: Entdecken Sie das TF-IDF-Konzept im Herzen des NLP-Algorithmus, mit dem Texte zusammengefasst werden k\u00f6nnen!\",\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/de\/tf-idf\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/de\/#website\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"name\":\"Weiterbildung Data Science | DataScientest.com\",\"description\":\"F\u00fchrender Anbieter von Schulungen im Bereich Data Science\",\"publisher\":{\"@id\":\"https:\/\/datascientest.com\/de\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/de\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"de\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/datascientest.com\/de\/#organization\",\"name\":\"DataScientest\",\"url\":\"https:\/\/datascientest.com\/de\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"contentUrl\":\"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png\",\"width\":301,\"height\":301,\"caption\":\"DataScientest\"},\"image\":{\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/\"},\"sameAs\":[\"https:\/\/www.facebook.com\/DataScientestEN\",\"https:\/\/twitter.com\/DataScientest__\",\"https:\/\/www.linkedin.com\/company\/datascientest-germany\/\",\"https:\/\/www.tiktok.com\/@datascientest\"]},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/3d2560836c47019eb12b7b77f3a15378\",\"name\":\"Adriano R\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/fbfbc3a7811c63caf3333396a123058f?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/fbfbc3a7811c63caf3333396a123058f?s=96&d=mm&r=g\",\"caption\":\"Adriano R\"},\"sameAs\":[\"user\"],\"url\":\"https:\/\/datascientest.com\/de\/author\/adriano-r\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"K\u00fcnstliche Intelligenz: Zusammenfassung eines Textes mithilfe des TF IDF","description":"K\u00fcnstliche Intelligenz: Entdecken Sie das TF-IDF-Konzept im Herzen des NLP-Algorithmus, mit dem Texte zusammengefasst werden k\u00f6nnen!","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/de\/tf-idf","og_locale":"de_DE","og_type":"article","og_title":"K\u00fcnstliche Intelligenz: Zusammenfassung eines Textes mithilfe des TF IDF","og_description":"Die zahlreichen Fortschritte in NLP erm\u00f6glichen es bis heute, es auf zahlreiche Aufgaben anzuwenden: \u00dcbersetzung, Texterzeugung, Zusammenfassung ... In","og_url":"https:\/\/datascientest.com\/de\/tf-idf","og_site_name":"Weiterbildung Data Science | DataScientest.com","article_publisher":"https:\/\/www.facebook.com\/DataScientestEN","article_published_time":"2023-02-02T19:40:19+00:00","article_modified_time":"2023-10-29T19:13:21+00:00","og_image":[{"width":768,"height":303,"url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2022\/11\/illu_resumer_blog-06.webp","type":"image\/webp"}],"author":"Adriano R","twitter_card":"summary_large_image","twitter_creator":"@DataScientest__","twitter_site":"@DataScientest__","twitter_misc":{"Verfasst von":"Adriano R","Gesch\u00e4tzte Lesezeit":"5\u00a0Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/datascientest.com\/de\/tf-idf#article","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/tf-idf"},"author":{"name":"Adriano R","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/3d2560836c47019eb12b7b77f3a15378"},"headline":"K\u00fcnstliche Intelligenz: Zusammenfassung eines Textes mithilfe des TF IDF","datePublished":"2023-02-02T19:40:19+00:00","dateModified":"2023-10-29T19:13:21+00:00","mainEntityOfPage":{"@id":"https:\/\/datascientest.com\/de\/tf-idf"},"wordCount":722,"commentCount":0,"publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"articleSection":["Data Science"],"inLanguage":"de","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/datascientest.com\/de\/tf-idf#respond"]}],"copyrightYear":"2023","copyrightHolder":{"@id":"https:\/\/datascientest.com\/#organization"}},{"@type":"WebPage","@id":"https:\/\/datascientest.com\/de\/tf-idf","url":"https:\/\/datascientest.com\/de\/tf-idf","name":"K\u00fcnstliche Intelligenz: Zusammenfassung eines Textes mithilfe des TF IDF","isPartOf":{"@id":"https:\/\/datascientest.com\/de\/#website"},"datePublished":"2023-02-02T19:40:19+00:00","dateModified":"2023-10-29T19:13:21+00:00","description":"K\u00fcnstliche Intelligenz: Entdecken Sie das TF-IDF-Konzept im Herzen des NLP-Algorithmus, mit dem Texte zusammengefasst werden k\u00f6nnen!","inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/de\/tf-idf"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/de\/#website","url":"https:\/\/datascientest.com\/de\/","name":"Weiterbildung Data Science | DataScientest.com","description":"F\u00fchrender Anbieter von Schulungen im Bereich Data Science","publisher":{"@id":"https:\/\/datascientest.com\/de\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/de\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"de"},{"@type":"Organization","@id":"https:\/\/datascientest.com\/de\/#organization","name":"DataScientest","url":"https:\/\/datascientest.com\/de\/","logo":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/","url":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","contentUrl":"https:\/\/datascientest.com\/de\/wp-content\/blogs.dir\/8\/files\/2024\/02\/DataScientest_icon_blue-2.png","width":301,"height":301,"caption":"DataScientest"},"image":{"@id":"https:\/\/datascientest.com\/de\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/DataScientestEN","https:\/\/twitter.com\/DataScientest__","https:\/\/www.linkedin.com\/company\/datascientest-germany\/","https:\/\/www.tiktok.com\/@datascientest"]},{"@type":"Person","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/3d2560836c47019eb12b7b77f3a15378","name":"Adriano R","image":{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/datascientest.com\/de\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/fbfbc3a7811c63caf3333396a123058f?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/fbfbc3a7811c63caf3333396a123058f?s=96&d=mm&r=g","caption":"Adriano R"},"sameAs":["user"],"url":"https:\/\/datascientest.com\/de\/author\/adriano-r"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/165110"}],"collection":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/users\/47"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/comments?post=165110"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/posts\/165110\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media\/165111"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/media?parent=165110"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/categories?post=165110"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/de\/wp-json\/wp\/v2\/tags?post=165110"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}