Pipeline Data End-to-End: Arsitektur, Teknologi & Data Governance
Course ini membahas konsep Arsitektur Data Modern dan penerapan Data Governance dalam membangun Pipeline Data End-to-End yang terpercaya, aman, dan terdokumentasi. Peserta akan mempelajari Modern Data Stack, Medallion Architecture, serta pilar-pilar Data Governance, dilanjutkan dengan praktik langsung menggunakan Apache Airflow, MinIO, dbt, PostgreSQL, dan Metabase untuk membangun pipeline data serta dashboard analitik. Materi inti juga mencakup praktik CI/CD end-to-end menggunakan GitHub Actions, sementara materi suplemen memperluas wawasan mengenai technology stack lanjutan, data lifecycle, serta pilihan teknologi cloud platform seperti AWS, Azure, dan Google Cloud.
Setelah menyelesaikan course, peserta mampu:
- Memahami prinsip dasar arsitektur data modern serta bagaimana data diproses untuk menghasilkan nilai bisnis
- Memahami bagaimana tata kelola data menjaga kualitas, keamanan, konsistensi, dan kepercayaan terhadap data organisasi
- Memperoleh gambaran implementasi nyata Pipeline Data End-to-End menggunakan Airflow, MinIO, dbt, dan PostgreSQL
- Memahami bagaimana Data Governance mendukung kualitas data hingga tahap analitik
- Memperoleh gambaran implementasi modern data platform di industri serta arah pengembangan kompetensi profesional
- Mampu menerapkan CI/CD end-to-end pada environment sendiri, menghubungkan konsep CI/CD dengan praktik nyata pada pipeline yang dibangun
- Memahami lanskap teknologi data yang lebih luas di luar lima tool inti, termasuk kapan CI/CD dan tool tambahan relevan digunakan
- Memahami siklus hidup data secara menyeluruh serta ragam sumber, pola ingestion, dan kanal konsumsi data
- Mampu memetakan komponen platform yang dipelajari ke layanan managed setara di tiga cloud provider utama beserta kriteria pengambilan keputusan
Topik utama yang dipelajari
- 01Strategi Arsitektur Data Modern
- 02Dasar-Dasar Data Governance
- 03Praktik Langsung – Pipeline Data Modern End-to-End
- 04Praktik Langsung – Data Governance & Analytics
- 05Praktik Terbaik, Strategi Implementasi & Jenjang Karier
- 06Praktik Langsung CI/CD
- 07Technology Stack Secara Mendalam (Suplemen)
- 08Data Lifecycle, Ingestion & Pola Konsumsi (Suplemen)
- 09Pilihan Teknologi Cloud Platform - AWS, Azure, Google Cloud (Suplemen)
Cocok untuk
- Data Engineer
- Data Analyst
- Business Intelligence Developer
- Database Administrator
- Software Engineer
- IT Professional
- Solution Architect
Prasyarat
Tidak ada prasyarat khusus yang disebutkan dalam silabus.
Laptop dan kebutuhan lab akan diinformasikan setelah jadwal training disepakati.