IT-TInformation Technology Training
Portal pesertaHubungi Sales
Menu
Kembali ke katalogData Engineering

Apache Airflow: Orkestrasi & Automasi Pipeline Data untuk Data Engineer

Course ini membahas konsep inti Apache Airflow mulai dari arsitektur, DAG, task, operator, hingga scheduler, dilanjutkan dengan sesi praktik langsung membangun DAG, mengelola task dependencies, XComs, dan sensors, serta menerapkan CI/CD untuk DAG Airflow. Materi inti disampaikan dalam rundown 1 hari (Bab 1-6), sementara materi suplemen (Bab 7-9) mencakup fitur lanjutan Airflow, opsi platform deployment, dan integrasi dengan tools Modern Data Stack seperti dbt, Snowflake/BigQuery, Spark, dan Great Expectations, yang disampaikan sesuai ketersediaan waktu sesi.

1 hariPemula–menengahOffline / tatap muka
Hasil pembelajaran

Setelah menyelesaikan course, peserta mampu:

  • Memahami posisi Airflow dalam ekosistem orkestrasi data modern serta arsitektur dasarnya
  • Memahami konsep inti Airflow seperti DAG, Task, Operator, dan Scheduler
  • Mampu membangun dan menjalankan DAG Airflow pertama secara end-to-end
  • Mampu menyusun DAG dengan dependency kompleks serta memahami mekanisme komunikasi antar task melalui XComs dan Sensors
  • Memahami praktik terbaik pengoperasian Airflow di production serta arah pengembangan karier Data Engineer
  • Mampu menerapkan siklus CI/CD end-to-end untuk DAG Airflow
  • Memahami fitur-fitur lanjutan Airflow untuk kasus orchestration yang lebih kompleks
  • Mampu menyesuaikan strategi deployment Airflow dengan kebutuhan dan skala organisasi
  • Memahami cara Airflow menjembatani komponen Modern Data Stack menjadi satu pipeline data end-to-end
Outline materi

Topik utama yang dipelajari

  1. 01Pengenalan Apache Airflow & Orchestration dalam Modern Data Stack
  2. 02Airflow Core Concepts: DAG, Task, Operator & Scheduler
  3. 03Praktik Langsung: Membangun DAG Pertama Anda
  4. 04Praktik Langsung: Task Dependencies, XComs & Sensors
  5. 05Best Practices, Monitoring & Jenjang Karier
  6. 06Praktik Langsung CI/CD untuk Airflow DAGs
  7. 07Airflow Advanced Features (Suplemen)
  8. 08Airflow di Berbagai Platform Deployment (Suplemen)
  9. 09Integrasi Airflow dengan Modern Data Stack (Suplemen)

Cocok untuk

  • Data Engineer (fokus utama)
  • Analytics Engineer
  • Data Platform Engineer / DevOps Engineer yang menangani orchestration
  • Database Administrator yang menangani data warehouse
  • Software Engineer yang bertransisi ke bidang data

Prasyarat

Tidak ada prasyarat khusus yang disebutkan dalam silabus.

Laptop dan kebutuhan lab akan diinformasikan setelah jadwal training disepakati.