{"id":54333,"date":"2021-04-30T09:03:30","date_gmt":"2021-04-30T08:03:30","guid":{"rendered":"https:\/\/datascientest.com\/?p=54333"},"modified":"2023-11-09T14:07:29","modified_gmt":"2023-11-09T14:07:29","slug":"apache-kafka","status":"publish","type":"post","link":"https:\/\/datascientest.com\/apache-kafka","title":{"rendered":"Apache Kafka : la plateforme de traitement de donn\u00e9es en temps r\u00e9el"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"54333\" class=\"elementor elementor-54333\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-183bccf elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"183bccf\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-3387df0\" data-id=\"3387df0\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-4000104 elementor-widget elementor-widget-heading\" data-id=\"4000104\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-heading-title{padding:0;margin:0;line-height:1}.elementor-widget-heading .elementor-heading-title[class*=elementor-size-]>a{color:inherit;font-size:inherit;line-height:inherit}.elementor-widget-heading .elementor-heading-title.elementor-size-small{font-size:15px}.elementor-widget-heading .elementor-heading-title.elementor-size-medium{font-size:19px}.elementor-widget-heading .elementor-heading-title.elementor-size-large{font-size:29px}.elementor-widget-heading .elementor-heading-title.elementor-size-xl{font-size:39px}.elementor-widget-heading .elementor-heading-title.elementor-size-xxl{font-size:59px}<\/style><h2 class=\"elementor-heading-title elementor-size-default\">Apache Kafka est une plateforme de traitement de donn\u00e9es en streaming temps r\u00e9el. D\u00e9couvrez tout ce qu'il ya a \u00e0 savoir pour maitriser Kafka.<\/h2>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-06e8153 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"06e8153\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-50d1a92\" data-id=\"50d1a92\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-2fadebf elementor-widget elementor-widget-text-editor\" data-id=\"2fadebf\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-text-editor.elementor-drop-cap-view-stacked .elementor-drop-cap{background-color:#69727d;color:#fff}.elementor-widget-text-editor.elementor-drop-cap-view-framed .elementor-drop-cap{color:#69727d;border:3px solid;background-color:transparent}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap{margin-top:8px}.elementor-widget-text-editor:not(.elementor-drop-cap-view-default) .elementor-drop-cap-letter{width:1em;height:1em}.elementor-widget-text-editor .elementor-drop-cap{float:left;text-align:center;line-height:1;font-size:50px}.elementor-widget-text-editor .elementor-drop-cap-letter{display:inline-block}<\/style>\t\t\t\t<p>Le <strong>traitement de donn\u00e9es en streaming<\/strong> offre de nombreux avantages. Cette approche permet notamment de mettre en place une architecture de Data Engineering plus efficacement. Toutefois, des technologies additionnelles sont n\u00e9cessaires. L&rsquo;une de ces technologies est Apache Kafka.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-a36edbd elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"a36edbd\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-dbb524c\" data-id=\"dbb524c\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-8c48c83 elementor-widget elementor-widget-heading\" data-id=\"8c48c83\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Qu'est-ce que Apache Kafka ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-757ae93 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"757ae93\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-fcaa827\" data-id=\"fcaa827\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-e698129 elementor-widget elementor-widget-text-editor\" data-id=\"e698129\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Apache Kafka est <strong>une plateforme de streaming de donn\u00e9es open source<\/strong>. \u00c0 l&rsquo;origine, elle fut d\u00e9velopp\u00e9e en interne par LinkedIn en guise de queue de messagerie. Toutefois, cet outil largement \u00e9volu\u00e9 et ses cas d&rsquo;usage se sont multipli\u00e9s.<\/p><p>Cette plateforme est \u00e9crite <strong>en Scala et Java<\/strong>. Elle est toutefois compatible avec une large vari\u00e9t\u00e9 de langages de programmation.<\/p><p>\u00c0 la diff\u00e9rence de queues de messagerie traditionnelles comme RabbitMQ, <strong>Kafka retient les messages<\/strong> apr\u00e8s qu&rsquo;ils aient \u00e9t\u00e9 consomm\u00e9s pendant une certaine p\u00e9riode de temps. Les messages ne sont pas supprim\u00e9s imm\u00e9diatement apr\u00e8s confirmation de r\u00e9ception.<\/p><p>En outre, les queues de messageries sont d&rsquo;ordinaire con\u00e7ues pour s&rsquo;\u00e9tendre verticalement via l&rsquo;ajout de puissance \u00e0 une machine. De son c\u00f4t\u00e9, <strong>Kafka s&rsquo;\u00e9tend horizontalement gr\u00e2ce \u00e0 l&rsquo;ajout de noeuds<\/strong> suppl\u00e9mentaires au cluster de serveurs.<\/p><p>Il faut savoir que <strong>Kafka est distribu\u00e9<\/strong>. Cela signifie que ses capacit\u00e9s sont \u00e9lastiques. Il suffit d&rsquo;ajouter des noeuds, c&rsquo;est-\u00e0-dire des serveurs, \u00e0 un cluster pour l&rsquo;\u00e9tendre.<\/p><p>Une autre particularit\u00e9 de Kafka est <strong>sa faible latence<\/strong>. Cela signifie qu&rsquo;elle peut prendre en charge le traitement de nombreuses donn\u00e9es en temps r\u00e9el.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-e5c27e9 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"e5c27e9\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-5fe05c2\" data-id=\"5fe05c2\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-ee99f53 elementor-widget elementor-widget-video\" data-id=\"ee99f53\" data-element_type=\"widget\" data-settings=\"{&quot;youtube_url&quot;:&quot;https:\\\/\\\/youtu.be\\\/06iRM1Ghr1k&quot;,&quot;video_type&quot;:&quot;youtube&quot;,&quot;controls&quot;:&quot;yes&quot;}\" data-widget_type=\"video.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.15.0 - 02-08-2023 *\/\n.elementor-widget-video .elementor-widget-container{overflow:hidden;transform:translateZ(0)}.elementor-widget-video .elementor-wrapper{aspect-ratio:var(--video-aspect-ratio)}.elementor-widget-video .elementor-wrapper iframe,.elementor-widget-video .elementor-wrapper video{height:100%;width:100%;display:flex;border:none;background-color:#000}@supports not (aspect-ratio:1\/1){.elementor-widget-video .elementor-wrapper{position:relative;overflow:hidden;height:0;padding-bottom:calc(100% \/ var(--video-aspect-ratio))}.elementor-widget-video .elementor-wrapper iframe,.elementor-widget-video .elementor-wrapper video{position:absolute;top:0;right:0;bottom:0;left:0}}.elementor-widget-video .elementor-open-inline .elementor-custom-embed-image-overlay{position:absolute;top:0;right:0;bottom:0;left:0;background-size:cover;background-position:50%}.elementor-widget-video .elementor-custom-embed-image-overlay{cursor:pointer;text-align:center}.elementor-widget-video .elementor-custom-embed-image-overlay:hover .elementor-custom-embed-play i{opacity:1}.elementor-widget-video .elementor-custom-embed-image-overlay img{display:block;width:100%;aspect-ratio:var(--video-aspect-ratio);-o-object-fit:cover;object-fit:cover;-o-object-position:center center;object-position:center center}@supports not (aspect-ratio:1\/1){.elementor-widget-video .elementor-custom-embed-image-overlay{position:relative;overflow:hidden;height:0;padding-bottom:calc(100% \/ var(--video-aspect-ratio))}.elementor-widget-video .elementor-custom-embed-image-overlay img{position:absolute;top:0;right:0;bottom:0;left:0}}.elementor-widget-video .e-hosted-video .elementor-video{-o-object-fit:cover;object-fit:cover}.e-con-inner>.elementor-widget-video,.e-con>.elementor-widget-video{width:var(--container-widget-width);--flex-grow:var(--container-widget-flex-grow)}<\/style>\t\t<div class=\"elementor-wrapper elementor-open-inline\">\n\t\t\t<div class=\"elementor-video\"><\/div>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-7f90579 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"7f90579\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-c5b8cf5\" data-id=\"c5b8cf5\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-fceb013 elementor-widget elementor-widget-heading\" data-id=\"fceb013\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Les principaux concepts Apache Kafka<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-24fdcf9 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"24fdcf9\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-eab981e\" data-id=\"eab981e\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-0df9cdf elementor-widget elementor-widget-text-editor\" data-id=\"0df9cdf\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Pour comprendre le fonctionnement de Apache Kafka, il est n\u00e9cessaire de comprendre plusieurs concepts. Tout d&rsquo;abord, <strong>un \u00a0\u00bb \u00e9v\u00e8nement \u00ab\u00a0<\/strong> est un morceau atomique de donn\u00e9e. Un \u00e9v\u00e9nement est par exemple cr\u00e9\u00e9 d\u00e8s qu&rsquo;un utilisateur s&rsquo;enregistre sur un syst\u00e8me.<\/p><p>Un \u00e9v\u00e9nement peut aussi \u00eatre per\u00e7u comme <strong>un message contenant des donn\u00e9es<\/strong>. Ce message peut \u00eatre trait\u00e9 et sauvegard\u00e9 quelque part si n\u00e9cessaire. Pour reprendre l&rsquo;exemple de l&rsquo;enregistrement sur un syst\u00e8me, l&rsquo;\u00e9v\u00e9nement sera un message contenant des informations comme le nom d&rsquo;utilisateur, l&rsquo;adresse email ou le mot de passe. Ainsi, Kafka est une plateforme permettant de travailler avec les flux d&rsquo;\u00e9v\u00e9nements.<\/p><p>Les<strong> \u00e9v\u00e9nements sont \u00e9crits par des \u00a0\u00bb producteurs \u00ab\u00a0<\/strong> : un autre concept phare. Il existe diff\u00e9rents types de producteurs : les serveurs web, les composants d&rsquo;applications, les appareils IoT&#8230; tous \u00e9crivent des \u00e9v\u00e9nements et les transmettent \u00e0 Kafka. Par exemple, un thermom\u00e8tre connect\u00e9 produira chaque heure des \u00a0\u00bb \u00e9v\u00e9nements \u00a0\u00bb contenant des informations sur la temp\u00e9rature, l&rsquo;humidit\u00e9 ou la vitesse du vent.<\/p><p>\u00c0 l&rsquo;inverse, <strong>le \u00a0\u00bb consumer \u00a0\u00bb ou \u00a0\u00bb consommateur \u00ab\u00a0<\/strong> est une entit\u00e9 utilisant les \u00e9v\u00e9nements de donn\u00e9es. Il re\u00e7oit les donn\u00e9es \u00e9crites par le producteur et les utilise. En guise d&rsquo;exemple, on peut citer les bases de donn\u00e9es, les Data Lakes ou encore les applications analytiques. Une entit\u00e9 peut \u00eatre \u00e0 la fois producteur et consommateur, \u00e0 l&rsquo;instar des applications ou des composants d&rsquo;applications.<\/p><p>Les producteurs <strong>publient les \u00e9v\u00e9nements sur des \u00a0\u00bb topics \u00ab\u00a0<\/strong> Kafka. Les consommateurs peuvent s&rsquo;abonner pour obtenir l&rsquo;acc\u00e8s aux donn\u00e9es dont ils ont besoin. Les topics sont des s\u00e9quences d&rsquo;\u00e9v\u00e9nement, et chacun peut servir des donn\u00e9es \u00e0 de multiples consommateurs. Ainsi, les producteurs sont parfois appel\u00e9s \u00a0\u00bb publishers \u00a0\u00bb et les consommateurs \u00a0\u00bb subscibers \u00ab\u00a0.<\/p><p>En r\u00e9alit\u00e9, <strong>Kafka fait office d&rsquo;interm\u00e9diaire<\/strong> entre les applications g\u00e9n\u00e9rant des donn\u00e9es et les applications consommant des donn\u00e9es. Un cluster Kafka comporte de multiples serveurs appel\u00e9s \u00a0\u00bb noeuds \u00ab\u00a0.<\/p><p>Les <strong>\u00a0\u00bb brokers \u00a0\u00bb sont des composants logiciels<\/strong> ex\u00e9cut\u00e9s sur un noeud. Les donn\u00e9es sont distribu\u00e9s entre plusieurs brokers d&rsquo;un cluster Kafka, et c&rsquo;est pourquoi il s&rsquo;agit d&rsquo;une solution distribu\u00e9e.<\/p><p>Il existe <strong>plusieurs copies des donn\u00e9es sur un m\u00eame cluster<\/strong>, et ces copies sont appel\u00e9es \u00a0\u00bb r\u00e9pliques \u00ab\u00a0. Ce m\u00e9canisme rend Kafka plus stable, tol\u00e9rant aux erreurs et fiable. Les informations ne sont pas perdues en cas de probl\u00e8me sur un broker. Un autre prendra le relais.<\/p><p>Enfin, <strong>les partitions servent \u00e0 r\u00e9pliquer les donn\u00e9es<\/strong> entre les brokers. Chaque topic Kafka est divis\u00e9 en partitions multiples, et chaque partition peut \u00eatre plac\u00e9e sur un noeud s\u00e9par\u00e9.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-5de6634 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"5de6634\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-0cba395\" data-id=\"0cba395\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-01f52e2 elementor-widget elementor-widget-video\" data-id=\"01f52e2\" data-element_type=\"widget\" data-settings=\"{&quot;youtube_url&quot;:&quot;https:\\\/\\\/youtu.be\\\/aj9CDZm0Glc&quot;,&quot;video_type&quot;:&quot;youtube&quot;,&quot;controls&quot;:&quot;yes&quot;}\" data-widget_type=\"video.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-wrapper elementor-open-inline\">\n\t\t\t<div class=\"elementor-video\"><\/div>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-8e2a856 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"8e2a856\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-8f4ca7c\" data-id=\"8f4ca7c\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-9e7b7e1 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"9e7b7e1\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-data-engineer\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Apprendre \u00e0 utiliser Apache Kafka<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-a203ae8 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"a203ae8\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-de31302\" data-id=\"de31302\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-f9c317d elementor-widget elementor-widget-heading\" data-id=\"f9c317d\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Quels sont les cas d'usage d'Apache Kafka ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-6eaf550 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"6eaf550\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-2eb955d\" data-id=\"2eb955d\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-3d7d51d elementor-widget elementor-widget-text-editor\" data-id=\"3d7d51d\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Les cas d&rsquo;usage d&rsquo;Apache Kafka sont nombreux. On l&rsquo;utilise pour <strong>le traitement de donn\u00e9es en temps r\u00e9el<\/strong>. En effet, pour fonctionner, de nombreux syst\u00e8mes modernes requi\u00e8rent que les donn\u00e9es soient trait\u00e9es d\u00e8s qu&rsquo;elles sont disponibles.<\/p><p>Par exemple, <strong>dans le domaine de la finance<\/strong>, il est indispensable de bloquer imm\u00e9diatement les transactions frauduleuses. De m\u00eame, pour la maintenance pr\u00e9dictive, les flux de donn\u00e9es en provenance des \u00e9quipements doivent \u00eatre surveill\u00e9s continuellement pour donner l&rsquo;alerte d\u00e8s que les probl\u00e8mes sont d\u00e9tect\u00e9s.<\/p><p>Les <strong>objets connect\u00e9s<\/strong> requi\u00e8rent eux aussi un traitement de donn\u00e9es en temps r\u00e9el. Dans ce contexte, Kafka est tr\u00e8s utile puisqu&rsquo;il permet le transfert et le processing en streaming.<\/p><p>\u00c0 l&rsquo;origine, Kafka fut cr\u00e9\u00e9 par Linkedin <strong>pour le tracking d&rsquo;activit\u00e9 d&rsquo;application<\/strong>. C&rsquo;est donc son cas d&rsquo;usage originel. Chaque \u00e9v\u00e9nement survenant dans l&rsquo;application peut \u00eatre publi\u00e9 vers le topic Kafka correspondant.<\/p><p>Les<strong> clics d&rsquo;utilisateurs, les inscriptions, les \u00a0\u00bb likes \u00ab\u00a0<\/strong>, le temps pass\u00e9 sur une page&#8230; autant d&rsquo;\u00e9v\u00e9nements pouvant \u00eatre envoy\u00e9s vers les topics de Kafka. Les applications \u00a0\u00bb consumers \u00a0\u00bb peuvent souscrire \u00e0 ces topics et traiter les donn\u00e9es \u00e0 diff\u00e9rentes fins : surveillance, analyse, rapports, flux d&rsquo;actualit\u00e9, personnalisation&#8230;<\/p><p>En outre, Apache Kafka est utilis\u00e9 pour <strong>les syst\u00e8mes de logging et de monitoring<\/strong>. Il est possible de publier des logs sur les topics Kafka, et ces logs peuvent \u00eatre stock\u00e9s sur un cluster Kafka durant un certain temps. Ils peuvent ensuite \u00eatre agr\u00e9g\u00e9s et trait\u00e9s.<\/p><p>Il est possible de <strong>construire des pipelines<\/strong>, compos\u00e9s de plusieurs producteurs et consumers o\u00f9 les logs sont transform\u00e9s d&rsquo;une certaine mani\u00e8re. Ensuite, les logs peuvent \u00eatre sauvegard\u00e9s sur des solutions traditionnelles.<\/p><p>Si un syst\u00e8me comporte <strong>un composant d\u00e9di\u00e9 au monitoring<\/strong>, ce composant peut lire les donn\u00e9es \u00e0 partir des topics Kafka. C&rsquo;est ce qui rend cet outil utile pour le monitoring en temps r\u00e9el.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-f0d228e elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"f0d228e\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-c0fca73\" data-id=\"c0fca73\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-5c42d3a elementor-widget elementor-widget-heading\" data-id=\"5c42d3a\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Quels sont les avantages de Kafka ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-c5f9030 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"c5f9030\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-838dc96\" data-id=\"838dc96\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-385e9e3 elementor-widget elementor-widget-text-editor\" data-id=\"385e9e3\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>L&rsquo;utilisation de Apache Kafka apporte plusieurs avantages majeurs pour les entreprises. Cet outil est con\u00e7u pour <strong>r\u00e9pondre \u00e0 trois besoins sp\u00e9cifiques<\/strong> : fournir un mod\u00e8le de messagerie publish\/subscribe pour la distribution et la consommation de donn\u00e9es, permettre le stockage de donn\u00e9es \u00e0 long terme, et permettre l&rsquo;acc\u00e8s et le traitement des donn\u00e9es en temps r\u00e9el.<\/p><p>C&rsquo;est dans ces trois domaines que Kafka excelle. Bien que moins polyvalente que d&rsquo;autres syst\u00e8mes de messagerie, cette solution <strong>se focalise sur la distribution et sur un mod\u00e8le publish\/subscribe<\/strong> compatible avec le traitement en stream.<\/p><p>Par ailleurs, Apache Kafka rayonne par<strong> ses capacit\u00e9s en persistance de donn\u00e9es<\/strong>, en tol\u00e9rance aux fautes et r\u00e9p\u00e9tabilit\u00e9. Les donn\u00e9es sont r\u00e9pliqu\u00e9es sur le cluster, et l&rsquo;\u00e9lasticit\u00e9 permet le partage de donn\u00e9es sur les partitions pour l&rsquo;augmentation des charges et volumes de donn\u00e9es. Les topics et les partitions simplifient aussi l&rsquo;acc\u00e8s aux donn\u00e9es.<\/p><p>Con\u00e7u comme <strong>une couche de communication<\/strong> pour le traitement de log en temps r\u00e9el, Apache Kafka convient naturellement aux applications de traitement stream en temps r\u00e9el. Cet outil convient donc id\u00e9alement aux applications exploitant une infrastructure de communication capable de distribuer de hauts volumes de donn\u00e9es en temps r\u00e9el.<\/p><p>En <strong>combinant les fonctionnalit\u00e9s de messagerie<\/strong> et de streaming, Kafka d\u00e9livre une capacit\u00e9 unique \u00e0 publier, souscrire, stocker, et traiter des enregistrements en temps r\u00e9el. Le stockage persistant de donn\u00e9es sur un cluster permet une tol\u00e9rance aux pannes.<\/p><p>Par ailleurs, cette plateforme permet de <strong>d\u00e9placer les donn\u00e9es rapidement et efficacement<\/strong> sous forme d&rsquo;enregistrements, de messages ou de streams. C&rsquo;est la cl\u00e9 de l&rsquo;interconnectivit\u00e9, et c&rsquo;est ce qui permet d&rsquo;inspecter, de transformer et d&rsquo;exploiter les donn\u00e9es en temps r\u00e9el.<\/p><p>Enfin,<strong> le Connector API permet d&rsquo;int\u00e9grer<\/strong> de nombreuses solutions tierces, d&rsquo;autres syst\u00e8mes de messageries ou des applications anciennes par le biais de connecteurs ou d&rsquo;outils open source. En fonction des besoins de l&rsquo;application, diff\u00e9rents connecteurs sont disponibles.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-20a7874 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"20a7874\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-cb5a2cf\" data-id=\"cb5a2cf\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-641d869 elementor-widget elementor-widget-video\" data-id=\"641d869\" data-element_type=\"widget\" data-settings=\"{&quot;youtube_url&quot;:&quot;https:\\\/\\\/youtu.be\\\/Ch5VhJzaoaI&quot;,&quot;video_type&quot;:&quot;youtube&quot;,&quot;controls&quot;:&quot;yes&quot;}\" data-widget_type=\"video.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-wrapper elementor-open-inline\">\n\t\t\t<div class=\"elementor-video\"><\/div>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-7e5fc5a elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"7e5fc5a\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-b311b45\" data-id=\"b311b45\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-01ef948 elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"01ef948\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-data-engineer\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">D\u00e9couvrir Apache Kafka<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-61e89a3 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"61e89a3\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-0d07dcc\" data-id=\"0d07dcc\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-853397e elementor-widget elementor-widget-heading\" data-id=\"853397e\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Quelles sont les limites de Kafka ?<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-e97ca04 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"e97ca04\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-15f5f85\" data-id=\"15f5f85\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-4efc03e elementor-widget elementor-widget-text-editor\" data-id=\"4efc03e\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>N\u00e9anmoins, Kafka ne convient pas \u00e0 toutes les situations. Cet outil n&rsquo;est pas adapt\u00e9 au <strong>traitement d&rsquo;un petit volume de messages journaliers<\/strong>. Il est con\u00e7u pour de larges volumes. Jusqu&rsquo;\u00e0 quelques milliers de messages par jour, des queues de messages traditionnelles comme RabbitMQ seront plus ad\u00e9quates.<\/p><p>Par ailleurs, Kafka ne permet de <strong>transformer facilement les donn\u00e9es \u00e0 la vol\u00e9e<\/strong>. Il est n\u00e9cessaire de construire un pipeline d&rsquo;interactions complexe entre les producteurs et les consommateurs et de maintenir le syst\u00e8me dans son int\u00e9gralit\u00e9. Ceci requiert beaucoup de temps et d&rsquo;efforts. Il est donc pr\u00e9f\u00e9rable d&rsquo;\u00e9viter cette solution pour les t\u00e2ches d&rsquo;ETL, surtout lorsqu&rsquo;un traitement en temps r\u00e9el est n\u00e9cessaire.<\/p><p>Enfin, il n&rsquo;est pas pertinent d&rsquo;utiliser Kafka \u00e0 la place <a href=\"https:\/\/datascientest.com\/base-de-donnees-definition\" target=\"_blank\" rel=\"noopener\">d&rsquo;une base de donn\u00e9es<\/a>. Cette plateforme n&rsquo;est pas adapt\u00e9e au stockage \u00e0 long terme. Les donn\u00e9es peuvent \u00eatre conserv\u00e9es pendant une p\u00e9riode sp\u00e9cifi\u00e9e, mais cette p\u00e9riode ne doit pas \u00eatre trop longue. De plus, Kafka conserve des copies des donn\u00e9es et les co\u00fbts de stockage s&rsquo;en trouvent accrus. Il est pr\u00e9f\u00e9rable d&rsquo;opter pour une base de donn\u00e9es optimis\u00e9e pour le stockage de donn\u00e9es, compatible avec divers langages de requ\u00eates et permettant l&rsquo;insertion et la r\u00e9cup\u00e9ration de donn\u00e9es.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-182bb0b elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"182bb0b\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-dc40430\" data-id=\"dc40430\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-2508f98 elementor-widget elementor-widget-heading\" data-id=\"2508f98\" data-element_type=\"widget\" data-widget_type=\"heading.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<h3 class=\"elementor-heading-title elementor-size-default\">Comment apprendre \u00e0 utiliser Apache Kafka ? Les formations DataScientest<\/h3>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-fe5f56d elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"fe5f56d\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-b6416c2\" data-id=\"b6416c2\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-5a6b030 elementor-widget elementor-widget-video\" data-id=\"5a6b030\" data-element_type=\"widget\" data-settings=\"{&quot;youtube_url&quot;:&quot;https:\\\/\\\/youtu.be\\\/SNNK6z03TaA&quot;,&quot;video_type&quot;:&quot;youtube&quot;,&quot;controls&quot;:&quot;yes&quot;}\" data-widget_type=\"video.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-wrapper elementor-open-inline\">\n\t\t\t<div class=\"elementor-video\"><\/div>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-b606c30 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"b606c30\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-76a85a1\" data-id=\"76a85a1\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-40dc90f elementor-widget elementor-widget-text-editor\" data-id=\"40dc90f\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>La ma\u00eetrise de Kafka est <strong>une comp\u00e9tence tr\u00e8s recherch\u00e9e en entreprise<\/strong>, car beaucoup d&rsquo;organisations ont aujourd&rsquo;hui des besoins en traitement de donn\u00e9es en temps r\u00e9el. Par cons\u00e9quent, apprendre \u00e0 manier cet outil peut ouvrir de nombreuses portes.<\/p><p>Pour acqu\u00e9rir cette ma\u00eetrise, vous pouvez opter pour l<strong>es formations DataScientest<\/strong>. En effet, Apache Kafka est au coeur du module \u00a0\u00bb Big Data Vitesse \u00a0\u00bb de <a href=\"https:\/\/datascientest.com\/formation-data-engineer\" target=\"_blank\" rel=\"noopener\">notre formation Data Engineer<\/a> aux c\u00f4t\u00e9s de Spark Streaming.<\/p><p>Cette formation vous permet d&rsquo;acqu\u00e9rir toutes les comp\u00e9tences et les connaissances requises pour <a href=\"https:\/\/datascientest.com\/data-engineer-tout-savoir\" target=\"_blank\" rel=\"noopener\">devenir ing\u00e9nieur des donn\u00e9es<\/a>. Les autres modules abordent la programmation, les bases de donn\u00e9es, le Big Data Volume et l&rsquo;automatisation.<\/p><p>Il s&rsquo;agit d&rsquo;une<strong> formation accessible \u00e0 Bac+3<\/strong>. Elle peut \u00eatre effectu\u00e9e en neuf mois en Formation Continue, ou 11 semaines en Bootcamp. Comme tous nos cursus, l&rsquo;approche Blended Learning combine pr\u00e9sentiel et distanciel pour offrir le meilleur des deux mondes.<\/p><p>\u00c0 l&rsquo;issue du parcours, les apprenants re\u00e7oivent un dipl\u00f4me certifi\u00e9 par l&rsquo;Universit\u00e9 de la Sorbonne. Parmi les alumnis,<strong> 93% trouvent un travail imm\u00e9diatement<\/strong> apr\u00e8s la formation.<\/p><p>Le co\u00fbt total s&rsquo;\u00e9l\u00e8ve \u00e0 5000\u20ac. Pr\u00e9cisons que cette formation est <strong>\u00e9ligible au Compte Personnel de Formation<\/strong>, et peut aussi \u00eatre financ\u00e9e par P\u00f4le Emploi via l&rsquo;AIF. N&rsquo;attendez plus, et d\u00e9couvrez notre cursus Data Engineer !<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-bf3f6c5 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"bf3f6c5\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-c0a4180\" data-id=\"c0a4180\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-564d4bb elementor-align-center button-principale elementor-widget elementor-widget-button\" data-id=\"564d4bb\" data-element_type=\"widget\" data-widget_type=\"button.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t<div class=\"elementor-button-wrapper\">\n\t\t\t<a class=\"elementor-button elementor-button-link elementor-size-sm elementor-animation-grow\" href=\"https:\/\/datascientest.com\/formation-data-engineer\">\n\t\t\t\t\t\t<span class=\"elementor-button-content-wrapper\">\n\t\t\t\t\t\t<span class=\"elementor-button-text\">Commencer la formation Data Engineer<\/span>\n\t\t<\/span>\n\t\t\t\t\t<\/a>\n\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-8d8bacf elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"8d8bacf\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-14d3d52\" data-id=\"14d3d52\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-fc402eb elementor-widget elementor-widget-text-editor\" data-id=\"fc402eb\" data-element_type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t<p>Vous savez tout sur Apache Kafka. D\u00e9couvrez <a href=\"https:\/\/datascientest.com\/apache-airflow\" target=\"_blank\" rel=\"noopener\">aussi Apache Airflow<\/a>, et notre introduction compl\u00e8te <a href=\"https:\/\/datascientest.com\/python-tout-savoir\" target=\"_blank\" rel=\"noopener\">au langage de programmation Python<\/a>.<\/p>\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-323bfac elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"323bfac\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-bb3e0d5\" data-id=\"bb3e0d5\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-6fcdbf7 elementor-widget elementor-widget-html\" data-id=\"6fcdbf7\" data-element_type=\"widget\" data-widget_type=\"html.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<script type=\"application\/ld+json\">\r\n{\r\n  \"@context\": \"https:\/\/schema.org\",\r\n  \"@type\": \"FAQPage\",\r\n  \"mainEntity\": [{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Qu'est-ce que Apache Kafka ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Apache Kafka est une plateforme de streaming de donn\u00e9es open source. \u00c0 l'origine, elle fut d\u00e9velopp\u00e9e en interne par LinkedIn en guise de queue de messagerie. Toutefois, cet outil largement \u00e9volu\u00e9 et ses cas d'usage se sont multipli\u00e9s.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Quels sont les cas d'usage d'Apache Kafka ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"Les cas d'usage d'Apache Kafka sont nombreux. On l'utilise pour le traitement de donn\u00e9es en temps r\u00e9el. En effet, pour fonctionner, de nombreux syst\u00e8mes modernes requi\u00e8rent que les donn\u00e9es soient trait\u00e9es d\u00e8s qu'elles sont disponibles.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Quels sont les avantages de Kafka ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"L'utilisation de Apache Kafka apporte plusieurs avantages majeurs pour les entreprises. Cet outil est con\u00e7u pour r\u00e9pondre \u00e0 trois besoins sp\u00e9cifiques : fournir un mod\u00e8le de messagerie publish\/subscribe pour la distribution et la consommation de donn\u00e9es, permettre le stockage de donn\u00e9es \u00e0 long terme, et permettre l'acc\u00e8s et le traitement des donn\u00e9es en temps r\u00e9el.\"\r\n    }\r\n  },{\r\n    \"@type\": \"Question\",\r\n    \"name\": \"Quelles sont les limites de Kafka ?\",\r\n    \"acceptedAnswer\": {\r\n      \"@type\": \"Answer\",\r\n      \"text\": \"N\u00e9anmoins, Kafka ne convient pas \u00e0 toutes les situations. Cet outil n'est pas adapt\u00e9 au traitement d'un petit volume de messages journaliers. Il est con\u00e7u pour de larges volumes. Jusqu'\u00e0 quelques milliers de messages par jour, des queues de messages traditionnelles comme RabbitMQ seront plus ad\u00e9quates.\"\r\n    }\r\n  }]\r\n}\r\n<\/script>\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>Apache Kafka est une plateforme de traitement de donn\u00e9es en streaming temps r\u00e9el. D\u00e9couvrez tout ce qu&rsquo;il ya a \u00e0 savoir pour maitriser Kafka. Le traitement de donn\u00e9es en streaming offre de nombreux avantages. Cette approche permet notamment de mettre en place une architecture de Data Engineering plus efficacement. Toutefois, des technologies additionnelles sont n\u00e9cessaires. [&hellip;]<\/p>\n","protected":false},"author":77,"featured_media":64015,"comment_status":"open","ping_status":"open","sticky":false,"template":"elementor_theme","format":"standard","meta":{"content-type":"","inline_featured_image":false},"categories":[2497],"tags":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v21.7 (Yoast SEO v21.7) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Apache Kafka : la plateforme de traitement de donn\u00e9es en temps r\u00e9el<\/title>\n<meta name=\"description\" content=\"Apache Kafka est une plateforme de traitement de donn\u00e9es en streaming temps r\u00e9el. D\u00e9couvrez tout ce qu&#039;il ya a \u00e0 savoir pour maitriser Kafka.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/datascientest.com\/apache-kafka\" \/>\n<meta property=\"og:locale\" content=\"fr_FR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Apache Kafka : la plateforme de traitement de donn\u00e9es en temps r\u00e9el\" \/>\n<meta property=\"og:url\" content=\"https:\/\/datascientest.com\/apache-kafka\" \/>\n<meta property=\"og:site_name\" content=\"Formation Data Science | DataScientest.com\" \/>\n<meta property=\"article:published_time\" content=\"2021-04-30T08:03:30+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-11-09T14:07:29+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/datascientest.com\/wp-content\/uploads\/2021\/03\/illu_apache_kafka_blog-137.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1024\" \/>\n\t<meta property=\"og:image:height\" content=\"562\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Raphael Kassel\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"\u00c9crit par\" \/>\n\t<meta name=\"twitter:data1\" content=\"Raphael Kassel\" \/>\n\t<meta name=\"twitter:label2\" content=\"Dur\u00e9e de lecture estim\u00e9e\" \/>\n\t<meta name=\"twitter:data2\" content=\"9 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/datascientest.com\/apache-kafka\",\"url\":\"https:\/\/datascientest.com\/apache-kafka\",\"name\":\"Apache Kafka : la plateforme de traitement de donn\u00e9es en temps r\u00e9el\",\"isPartOf\":{\"@id\":\"https:\/\/datascientest.com\/#website\"},\"datePublished\":\"2021-04-30T08:03:30+00:00\",\"dateModified\":\"2023-11-09T14:07:29+00:00\",\"author\":{\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1\"},\"description\":\"Apache Kafka est une plateforme de traitement de donn\u00e9es en streaming temps r\u00e9el. D\u00e9couvrez tout ce qu'il ya a \u00e0 savoir pour maitriser Kafka.\",\"inLanguage\":\"fr-FR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/datascientest.com\/apache-kafka\"]}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/datascientest.com\/#website\",\"url\":\"https:\/\/datascientest.com\/\",\"name\":\"Formation Data Science | DataScientest.com\",\"description\":\"Leader de la formation en Data Science\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/datascientest.com\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"fr-FR\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1\",\"name\":\"Raphael Kassel\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/datascientest.com\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg\",\"contentUrl\":\"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg\",\"caption\":\"Raphael Kassel\"},\"description\":\"Raphael Kassel est le Head of Data Programs chez DataScientest. Il supervise une \u00e9quipe Data, impl\u00e9mente de nouveaux parcours comme \\\"Chef de projet IA\\\" et \\\"Data Product Manager\\\", et contribue \u00e0 la modernisation des op\u00e9rations du groupe. En collaboration \u00e9troite avec l'\u00e9quipe de d\u00e9veloppement, il adapte l'accompagnement acad\u00e9mique aux \u00e9volutions de l'\u00e9quipe data et \u00e0 l'internationalisation.\",\"sameAs\":[\"https:\/\/www.linkedin.com\/in\/raphaelkassel\/\",\"Data Science\"],\"url\":\"https:\/\/datascientest.com\/author\/raphaelkassel\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Apache Kafka : la plateforme de traitement de donn\u00e9es en temps r\u00e9el","description":"Apache Kafka est une plateforme de traitement de donn\u00e9es en streaming temps r\u00e9el. D\u00e9couvrez tout ce qu'il ya a \u00e0 savoir pour maitriser Kafka.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/datascientest.com\/apache-kafka","og_locale":"fr_FR","og_type":"article","og_title":"Apache Kafka : la plateforme de traitement de donn\u00e9es en temps r\u00e9el","og_url":"https:\/\/datascientest.com\/apache-kafka","og_site_name":"Formation Data Science | DataScientest.com","article_published_time":"2021-04-30T08:03:30+00:00","article_modified_time":"2023-11-09T14:07:29+00:00","og_image":[{"width":1024,"height":562,"url":"https:\/\/datascientest.com\/wp-content\/uploads\/2021\/03\/illu_apache_kafka_blog-137.png","type":"image\/png"}],"author":"Raphael Kassel","twitter_card":"summary_large_image","twitter_misc":{"\u00c9crit par":"Raphael Kassel","Dur\u00e9e de lecture estim\u00e9e":"9 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/datascientest.com\/apache-kafka","url":"https:\/\/datascientest.com\/apache-kafka","name":"Apache Kafka : la plateforme de traitement de donn\u00e9es en temps r\u00e9el","isPartOf":{"@id":"https:\/\/datascientest.com\/#website"},"datePublished":"2021-04-30T08:03:30+00:00","dateModified":"2023-11-09T14:07:29+00:00","author":{"@id":"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1"},"description":"Apache Kafka est une plateforme de traitement de donn\u00e9es en streaming temps r\u00e9el. D\u00e9couvrez tout ce qu'il ya a \u00e0 savoir pour maitriser Kafka.","inLanguage":"fr-FR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/datascientest.com\/apache-kafka"]}]},{"@type":"WebSite","@id":"https:\/\/datascientest.com\/#website","url":"https:\/\/datascientest.com\/","name":"Formation Data Science | DataScientest.com","description":"Leader de la formation en Data Science","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/datascientest.com\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"fr-FR"},{"@type":"Person","@id":"https:\/\/datascientest.com\/#\/schema\/person\/6eca16f63daaafcbc96e15549b9d4ee1","name":"Raphael Kassel","image":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/datascientest.com\/#\/schema\/person\/image\/","url":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg","contentUrl":"https:\/\/datascientest.com\/wp-content\/uploads\/2023\/11\/raph.jpeg","caption":"Raphael Kassel"},"description":"Raphael Kassel est le Head of Data Programs chez DataScientest. Il supervise une \u00e9quipe Data, impl\u00e9mente de nouveaux parcours comme \"Chef de projet IA\" et \"Data Product Manager\", et contribue \u00e0 la modernisation des op\u00e9rations du groupe. En collaboration \u00e9troite avec l'\u00e9quipe de d\u00e9veloppement, il adapte l'accompagnement acad\u00e9mique aux \u00e9volutions de l'\u00e9quipe data et \u00e0 l'internationalisation.","sameAs":["https:\/\/www.linkedin.com\/in\/raphaelkassel\/","Data Science"],"url":"https:\/\/datascientest.com\/author\/raphaelkassel"}]}},"_links":{"self":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/54333"}],"collection":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/users\/77"}],"replies":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/comments?post=54333"}],"version-history":[{"count":0,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/posts\/54333\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media\/64015"}],"wp:attachment":[{"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/media?parent=54333"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/categories?post=54333"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/datascientest.com\/wp-json\/wp\/v2\/tags?post=54333"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}