Kembali ke katalogData Engineering

Airbyte: Open-Source Data Integration untuk Data Engineer

Course ini membahas Airbyte sebagai platform open-source data integration (ELT) yang digunakan untuk mengotomasi proses extract & load data dari berbagai sumber ke data warehouse/lake. Peserta akan mempelajari arsitektur, konsep inti seperti connector, stream, sync mode, dan normalization, serta melakukan praktik langsung mulai dari deploy Airbyte, mengelola sync, hingga mengintegrasikannya dengan Airflow dan CI/CD. Materi tambahan mencakup fitur lanjutan, perbandingan dengan tool lain, serta integrasi Airbyte dalam Modern Data Stack.

1 hariPemula–menengahOffline / tatap muka
Hasil pembelajaran

Setelah menyelesaikan course, peserta mampu:

  • Memahami posisi dan arsitektur Airbyte dalam ekosistem data ingestion modern
  • Memahami konsep inti Airbyte: connector, source, destination, stream, sync mode, dan normalization
  • Mampu men-deploy Airbyte secara lokal dan menghubungkan source pertama ke destination
  • Mampu mengelola stream, sync mode, dan menjelajahi hasil sync serta tabel metadata
  • Memahami best practice monitoring, governance, dan tata kelola akses pada Airbyte
  • Mampu mengintegrasikan Airbyte dengan tool orchestration seperti Airflow dan siklus CI/CD sederhana
  • Memahami fitur lanjutan Airbyte seperti Connector Builder, CDK, dan PyAirbyte
  • Mampu membandingkan Airbyte dengan alternatif lain seperti Fivetran, custom ETL, dan Stitch
  • Memahami integrasi Airbyte dengan komponen Modern Data Stack lainnya
Outline materi

Topik utama yang dipelajari

  1. 01Pengenalan Airbyte & Open-Source Data Integration dalam Modern Data Stack
  2. 02Airbyte Core Concepts: Connectors, Streams, Sync Modes & Normalization
  3. 03Praktik Langsung: Deploy Airbyte & Menghubungkan Source Pertama
  4. 04Praktik Langsung: Mengelola Stream, Sync Mode & Normalization
  5. 05Best Practices, Monitoring, Governance & Jenjang Karier
  6. 06Praktik Langsung: Orkestrasi Sync Airbyte dengan Airflow & CI/CD
  7. 07Airbyte Advanced Features
  8. 08Airbyte vs Alternatif Lain (Fivetran, Custom ETL, Stitch)
  9. 09Integrasi Airbyte dengan Modern Data Stack

Cocok untuk

  • Data Engineer (fokus utama)
  • Analytics Engineer
  • Data Platform Engineer yang menangani ingestion layer dan infrastruktur self-hosted
  • Database Administrator yang menangani replikasi data ke data warehouse
  • Software Engineer yang bertransisi ke bidang data

Prasyarat

Tidak ada prasyarat khusus yang disebutkan dalam silabus.

Laptop dan kebutuhan lab akan diinformasikan setelah jadwal training disepakati.