IT-TInformation Technology Training
Portal pesertaHubungi Sales
Menu
Kembali ke katalogData Engineering

Pipeline Data Real-Time: Arsitektur Streaming, Kafka & Spark Structured Streaming

Course ini membekali peserta dengan pemahaman komprehensif mengenai arsitektur data streaming, mulai dari konsep dasar event dan message hingga implementasi praktis menggunakan Apache Kafka sebagai message broker dan Apache Spark Structured Streaming untuk pemrosesan data real-time. Peserta akan melakukan praktik langsung membangun pipeline streaming end-to-end, mulai dari Kafka producer/consumer, pemrosesan dengan Spark, hingga visualisasi pada dashboard yang update secara near real-time, serta memahami pertimbangan observability dan production readiness. Materi tambahan (suplemen) juga tersedia untuk memperluas wawasan mengenai teknologi streaming lain, data lifecycle, dan pilihan platform cloud.

1 hariMenengahOffline / tatap muka
Hasil pembelajaran

Setelah menyelesaikan course, peserta mampu:

  • Memahami konsep dasar arsitektur streaming serta bagaimana streaming melengkapi arsitektur batch yang sudah ada
  • Memahami cara kerja Kafka sebagai message broker dan kapan menggunakannya dalam arsitektur data
  • Mampu menjalankan dan memverifikasi Kafka producer/consumer sungguhan di environment sendiri
  • Memahami cara Spark memproses data streaming secara terstruktur dan reliable
  • Mampu membangun pipeline streaming end-to-end dan melihat dashboard yang update near real-time
  • Memahami pertimbangan produksi untuk sistem streaming serta bagaimana ini melengkapi arsitektur data organisasi secara keseluruhan
  • Memahami lanskap teknologi streaming yang lebih luas di luar Kafka dan Spark
  • Memahami siklus hidup data secara menyeluruh serta bagaimana CDC menjembatani ingestion batch dan streaming
  • Mampu memetakan komponen streaming yang telah dipelajari ke layanan managed setara di tiga cloud provider utama
Outline materi

Topik utama yang dipelajari

  1. 01Streaming Architecture Fundamentals
  2. 02Apache Kafka Secara Mendalam
  3. 03Praktik Langsung – Kafka Producer & Real-Time Event Nusantara Mart
  4. 04Apache Spark Structured Streaming Secara Mendalam
  5. 05Praktik Langsung – Spark Structured Streaming ke Lakehouse & Live Dashboard
  6. 06Observability, Production Readiness & Penutup Training
  7. 07Beyond Kafka & Spark (Suplemen)
  8. 08Data Lifecycle, Ingestion & Pola Konsumsi Lanjutan (Suplemen)
  9. 09Pilihan Teknologi Cloud Platform untuk Batch & Streaming (Suplemen)

Cocok untuk

  • Data Engineer
  • Data Analyst / BI Developer yang ingin mendalami real-time analytics
  • Solution Architect
  • Software Engineer / Backend Engineer
  • Platform / Infrastructure Engineer
  • IT Professional
  • Data Scientist / ML Engineer yang membutuhkan data real-time

Prasyarat

Tidak ada prasyarat khusus yang disebutkan dalam silabus. Training bersifat mandiri (standalone) dan tidak mengharuskan peserta telah mengikuti training arsitektur batch sebelumnya.

Laptop dan kebutuhan lab akan diinformasikan setelah jadwal training disepakati.