خرید دوره
خانه / دوره ها / بیگ دیتا, خط لوله / آپاچی کافکا – Apache Kafka
مدرس دوره:
وحید امیری
آپاچی کافکا – Apache Kafka
ابزار آپاچی کافکا یکی از محبوبترین ابزارها در معماریهای دیتا میباشد که توسط آن میتوان خط لولههای پیچیده را در مقیاسهای بسیار بالا براحتی مدیریت کرد. در دوره آموزشی کافکا، تمام مفاهیم پایهایی این ابزار از ابتدا اشاره شده و هریک با مثالهایی بصورت کاملا عملی مورد بررسی قرار میگیرند.
۲,۲۰۰,۰۰۰ تومان
سطح دوره
نیمه پیشرفته
تعداد جلسات
۶۵
زبان:
فارسی
طول هر جلسه:
حدود ۳۰ دقیقه
زمان کلی دوره:
30 ساعت
سبک ارائه دوره:
آفلاین - از طریق پلتفرم Spotplayer
موراد قابل دانلود:
کدها و دستورات اجرا شده در کلاس
مدرک دوره:
مدرک کتبی پس از پایان دوره
درباره این دوره
در دنیای امروز، جمعآوری، انتقال، ایجاد خطلولههای پیچیده و پردازش دادهها از منابع دادهای متنوع برای سازمانها و توسعهدهندگان بسیار حیاتی شده است. آپاچی کافکا به عنوان یکی از قدرتمندترین ابزارهای متنباز برای انتقال و مدیریت جریان دادهها شناخته میشود. بسیاری از شرکتهای بزرگ در دنیا نظیر LinkedIn، Netflix، Airbnb و Uber از این ابزار جهت مدیریت انتقال دادههای خود استفاده میکنند. در ایران نیز در بسیاری از شرکتها و سازمانهای بزرگ نظیر بانکها، شرکتهای مخابراتی و استارتاپها از کافکا استفاده میشود. این دوره آموزشی با هدف آموزش مفاهیم پایه تا پیشرفته بدون هیچگونه دانش قبلی از آپاچی کافکا طراحی شده است تا به شما کمک کند:
- مفاهیم بنیادین اکوسیستم آپاچی کافکا، موارد کاربرد و قرارگیری آن در معماریهای سیستمهای سازمانی مبتنی بر داده را درک کنید.
- چگونگی پیکربندی و راهاندازی اصولی ایجاد یک کلاستر را بیاموزید
- با مفاهیم اولیه کافکا نظیر Broker،Topics ، Partitions، Producer، Consumer، Consumer group و بسیاری از موارد دیگر آشنا شده و بصورت عملی با آنها کار میکنیم.
- بررسی دقیق و عملی نحوه ذخیرهسازی دادهها بروی نودهای کلاستر و پیکربندی روشهای Deletion و Compaction و پیکربندی و بررسی هریک با مثالهای عملی
- توضیحات کامل در مورد تمام دستورات(CLI) پرکاربرد در کافکا( نظیر kafka-topics, kafka-console-producer, kafka-console-consumer, kafka-consumer-groups, kafka-configs) و بررسی عملی و دقیق آنها
- توسعه کدهای Producer و Consumer دادهها با استفاده از زبانهای Java و Python جهت انتقال دادهها بروی Kafka در یک معماری پروژه کلان داده
- با استفاده از مثالهای عملی و پروژههای واقعی، مهارتهای عملی خود را تقویت کنید.
چرا این دوره
- جامع بودن دوره: به جرات میتوان گفت با بررسی دورههای موجود در اکثر سکوهای تولید دورههای آموزشی، دوره تهیه شده یکی از جامعترین دورههای برای یادگیری کافکا میباشد و تقریبا به تمام مطالب مربوط به یادگیری پیشرفته کافکا اشاره میکند.
- محتوای بهروز: ما محتوای این دوره را بهروز نگه میداریم و هرگاه ویدیوی جدیدی شامل موضوعات جدید، جلسات حل تمرین و بروزرسانیهای جدید بروی محصول ایجاد شود بصورت خودکار به لیست ویدیوهای دوره افزوده میشود
- یادگیری عملی: از طریق تمرینات عملی و پروژههای کاربردی، مهارتهای شما در زمینه کار با این ابزار بهبود مییابد.
- پشتیبانی: تیم پشتیبانی ما همیشه در دسترس است تا به شما در مسائل آموزشی کمک کند.
- گواهینامه دوره پس از ارائه پروژه پایانی: پس از اتمام دوره، ارسال تمرینها و پروژه پایانی، گواهینامه شرکت در دوره برای شما صادر میشود.
مخاطبان دوره
دوره برای چه کسانی مناسب است؟
- مهندسین داده: مهندسین داده که به دنبال افزایش توانمندیهای پردازش دادهها و مدیریت جریان دادهها در پروژههای مبتنی بر داده هستند، این دوره به آنها کمک میکند تا از آپاچی کافکا برای این منظور بهرهبرداری کنند.
- مدیران سیستم و متخصصین DevOps: مدیران سیستم و متخصصین DevOps میتوانند با یادگیری آپاچی کافکا توانایی پیکربندی، راهاندازی و مدیریت کلاسترهای کافکا با هر مقیاسی را فرا بگیرند.
- افرادی که قصد ورود به دنیای مهندسی داده دارند: این دوره برای افرادی که به دنبال یادگیری یکی از ابزارهای پرکاربرد در حوزه ایجاد خطلولههای پیچیده دادهای در پروزههای مبتنی بر داده هستند و قصد دارند در این حوزه کار کنند، مناسب است.
- افرادی که با عنوان مهندس داده قصد مهاجرت شغلی دارند: کافکا یکی از ابزارهای پایهای در مهندسی داده میباشد و یادگیری آن برای افرادی که قصد مهاجرت شغلی با عنوان مهندس داده دارند، بسیار کمککننده و الزامی میباشد.
اگر به یکی از این دستهها تعلق دارید، این دوره آموزشی به شما اطلاعات و مهارتهای لازم برای شروع یک مسیر حرفهای در این حوزه را ارائه خواهد داد.
برای چه کسانی مناسب نیست؟
این دوره ممکن است برای افرادی که تازه وارد دنیای فناوری و برنامهنویسی میشوند و تجربه محدودی در این حوزه دارند، چالشبرانگیز باشد. همچنین، اگر شما به دنبال آموزشهای سطح مقدماتی هستید، این دوره ممکن است برای شما مناسب نباشد چراکه در این دوره از مسائل مقدماتی شروع و در ادامه به مسائل کاملا پیشرفته در کافکا میپردازیم. برای آنهایی که به دنبال مفاهیم بسیار پایه و ابزارهای سادهتر هستند نیز این دوره مناسب نیست.
پیش نیاز ها
مهارتهای برنامهنویسی پایه: این دوره مناسب افرادی است که دارای تجربه ابتدایی یا متوسط در برنامهنویسی با زبانهای مانند Java یا Python هستند. آشنایی با مفاهیم اولیه برنامهنویسی و شناخت توابع و متدهای این زبانها به شما در فهم بهتر مطالب این دوره کمک خواهد کرد.
آشنایی با مفاهیم پردازش داده: آشنایی با مفاهیم اصولی دادهها و پردازش آنها میتواند پیشنیاز مفیدی برای این دوره باشد. اگر قبلاً با مفاهیم مانند معماری سیستمهای کلان داده، دادههای جریانی (Streaming Data)، و یا سیستمهای پردازش داده آشنا هستید، این دوره برای شما قابل فهمتر خواهد بود. دوره آشنایی با مهندسی داده میتواند در این زمینه به شما کمک کند.
آشنایی مقدماتی با دستورات لینوکس: نصب کافکا در کلاس بروی لینوکس انجام میشود و آشنایی مقدماتی با دستورات و مفاهیم لینوکس در این زمینه به شما کمک میکند.
سیستم کامپیوتری با حداقل 8 گیگ رم: برای اجرای تمرینات عملی و پیادهسازیهای دوره، نیاز به دسترسی به یک کامپیوتر و امکان نصب نرمافزارهای مورد نیاز میباشد. میزان رم موردنیاز برای کلاس حداقل 8 گیگ میباشد. مابقی منابع سیستم اهمیتی ندارند.
مطمئن شوید که پیشنیازهای فوق را به دقت مد نظر داشته باشید تا بتوانید بهترین بهره را از دوره ببرید و مفاهیم آموزش داده شده را به راحتی درک کنید.
جلسات
Section 1 - Kafka Introduction
Section 2 - Kafka Installation
4 – Downloading Kafka — 12:45
5 – Installing JDK, Kafka and Zookeeper — 26:43
6 – Kafka Kraft Mode — 12:47
7 – Configuring Kafka in KRaft Mode — 32:14
Section 3 - Kafka Topics, Partitions, Replication Factor and Messages
8 – Create Topic, Produce and Consume Data — 20:47
9 – Topics, Partitions and ReplicationFactor – Part1 — 20:09
10 – Topics, Partitions and ReplicationFactor – Part2 — 32:48
11 – Kafka Messages(Key, Value, Header, Timestamp) — 29:26
12 – Kafka Message Ordering — 26:38
13 – Kafka Message Partitioning — 12:11
Section 4 - Consumer Group
14 – Kafka Consumer Groups — 18:32
15 – Kafka Consumer group – practice — 24:48
Section 5 - Consumer Group Management
16 – Consumer Group Management — 08:14
17 – Consumer Group Management – practice1 — 58:32
18 – Consumer Group Management – practice2 — 18:32
19 – Consumer Group Management – practice3 — 63:52
Section 6 - Kafka Storage
20 – Kafka Storage Directories – Part 1 — 40:18
21 – Kafka Storage Directories – Log and Index files – Part 2 — 20:24
22 – Kafka Storage Directories – Index and Timeindex files – Part 3 — 20:18
23 – Kafka Storage Directories – Segments – Part 4 — 36:59
24 – Kafka Retention Log – Deletion Policy – Part 1 — 09:08
25 – Kafka Retention Log – Deletion Policy – Part 2 — 25:29
26 – Kafka Retention Log – Deletion Policy – Part 3 — 15:53
27 – Kafka Retention Log – Deletion Policy – Part 4 — 20:51
28 – Kafka Retention Log – Compaction Policy – Part 1 — 28:13
29 – Kafka Retention Log – Compaction Policy – Part 2 — 26:58
30 – Kafka Retention Log – Compaction Policy – Part 3 — 16:05
31 – Kafka Retention Log – Compaction Policy – Part 4 — 32:54
32 – Kafka Retention Log – Compaction Policy – Part 5 — 19:55
33 – Kafka Retention Log – Compaction Policy – Part 6 — 02:47
34 – Kafka Retention Log – Compaction Policy – Part 7 — 09:12
35 – Kafka Delete Topic — 13:07
36 – Kafka Delete Records – Part1 — 29:17
37 – Kafka Delete Records – Part2 — 23:33
Section 7 - Kafka Producer API
38 – Kafka Producer API – Concept — 19:40
39 – Kafka Producer API – Java Example — 33:54
40 – Kafka Producer API – Sync Method — 12:42
41 – Kafka Producer API – ASync Method — 12:32
42 – Kafka Producer API – Performance Comparison(Async Vs Sync) — 13:30
43 – Kafka Producer API – Configuration – Acks & InSyncRepl — 48:25
44 – Kafka Producer API – Configuration – BatchSize & LingerMs — 30:54
45 – Kafka Producer API – Configuration – Compression — 14:16
46 – Kafka Producer API – Configuration – MaxReqSize & BuffMem — 21:34
47 – Kafka – Message Delivery Methods — 18:30
48 – Kafka Producer API – Message Delivery Methods — 26:33
49 – Kafka Producer API – Kafka Console Producer — 11:25
Section 8 - Kafka Consumer API
50 -Kafka Consumer – Intro — 24:29
51 -Kafka Consumer Configuration – Part1 — 16:42
52 -Kafka Consumer Configuration – Part2 — 07:31
53 -Kafka Consumer Configuration – Part3 — 26:34
54 -Kafka Consumer Configuration – Part4 — 11:15
55 -Kafka Consumer Configuration – Partition Assignment Strategy — 34:59
56 -Kafka Consumer Configuration – Partition Assignment Strategy – Part2 — 16:24
57 -Kafka Consumer Configuration – Partition Assignment Strategy – Part3 — 30:02
57 -Kafka Consumer Configuration – Partition Assignment Strategy – Part4 — 38:05
58 -Kafka Consumer Configuration – ClientRack_AutoCommit — 20:33
59 -Kafka Consumer Configuration – AutoCommit&CommitSync — 28:05
60 -Kafka Consumer Configuration – CommitAsync — 11:56
61 -Kafka Consumer Configuration – CommitAsync — 32:13
62 -Kafka Consumer Configuration – ConsumerRebalanceListener — 16:11
Section 9 - Kafka Serializer and Deserializer
63 – Kafka Serializer&Deserializer — 19:58