IT-TInformation Technology Training
Portal pesertaHubungi Sales
Menu
Kembali ke katalogData Engineering

Pipeline Data End-to-End: Arsitektur, Teknologi & Data Governance

Course ini mengajak peserta memahami evolusi arsitektur data dari ETL tradisional menuju ELT modern, konsep Medallion Architecture, serta pilar-pilar Data Governance seperti kualitas data, keamanan, metadata, dan lineage. Peserta akan melakukan praktik langsung membangun pipeline data menggunakan Airflow, Airbyte, SeaweedFS, dbt, dan PostgreSQL, dilanjutkan dengan validasi kualitas data, dokumentasi, visualisasi dashboard di Metabase, hingga penerapan siklus CI/CD menggunakan GitHub Actions pada environment masing-masing peserta. Materi tambahan (suplemen) memperluas wawasan mengenai teknologi lain seperti Kafka, Spark, Flink, ClickHouse, Elasticsearch, Docker, Kubernetes, serta perbandingan layanan cloud AWS, Azure, dan Google Cloud.

1 hariMenengahOffline / tatap muka
Hasil pembelajaran

Setelah menyelesaikan course, peserta mampu:

  • Memahami prinsip dasar arsitektur data modern dan bagaimana data diproses untuk menghasilkan nilai bisnis
  • Memahami bagaimana tata kelola data menjaga kualitas, keamanan, konsistensi, dan kepercayaan terhadap data organisasi
  • Memperoleh gambaran implementasi nyata Pipeline Data End-to-End, mulai dari ingestion menggunakan Airbyte hingga transformasi dan penyajian data
  • Memahami bagaimana Data Governance mendukung kualitas data hingga tahap analitik
  • Memperoleh gambaran implementasi modern data platform di industri serta arah pengembangan kompetensi profesional
  • Mampu menerapkan CI/CD end-to-end pada environment sendiri, menghubungkan konsep CI/CD dengan praktik nyata pada pipeline yang telah dibangun
  • Memahami lanskap teknologi data yang lebih luas di luar enam tool inti, termasuk kapan CI/CD relevan diterapkan pada data pipeline
  • Memahami siklus hidup data secara menyeluruh serta ragam sumber, pola ingestion, dan kanal konsumsi data
  • Mampu memetakan komponen platform ke layanan managed setara di tiga cloud provider utama beserta kriteria pengambilan keputusan
Outline materi

Topik utama yang dipelajari

  1. 01Strategi Arsitektur Data Modern
  2. 02Dasar-Dasar Data Governance
  3. 03Praktik Langsung – Pipeline Data Modern End-to-End
  4. 04Praktik Langsung – Data Governance & Analytics
  5. 05Praktik Terbaik, Strategi Implementasi & Jenjang Karier
  6. 06Praktik Langsung CI/CD: Dari Kode ke Production di Node Anda Sendiri
  7. 07Technology Stack Secara Mendalam (Suplemen)
  8. 08Data Lifecycle, Ingestion & Pola Konsumsi (Suplemen)
  9. 09Pilihan Teknologi Cloud Platform: AWS, Azure, Google Cloud (Suplemen)

Cocok untuk

  • Data Engineer
  • Data Analyst
  • Business Intelligence Developer
  • Database Administrator
  • Software Engineer
  • IT Professional
  • Solution Architect

Prasyarat

Tidak ada prasyarat khusus yang disebutkan dalam silabus.

Laptop dan kebutuhan lab akan diinformasikan setelah jadwal training disepakati.