Data Engineer dan ML Engineer: Perbedaan Tanggung Jawab, Skill, dan Gaji

Meski sama-sama engineer, terdapat perbedaan yang cukup signifikan antara data engineer dan machine learning (ML) engineer.

Kedua profesi ini sama-sama memegang peran yang penting dalam keseluruhan proses data science. Namun, terdapat perbedaan dari segi tanggung jawab, skill, tools, hingga proses kerjanya.

Apa tugas dan tanggung jawab data engineer?

Data engineer bertanggung jawab membangun, mengembangkan, dan memelihara arsitektur atau dataflow dalam perusahaan.

Tujuan utama dari role ini adalah memastikan data dapat diakses dengan mudah oleh role lain yang membutuhkannya.

Artinya, role ini juga bertugas mengumpulkan, mengelola, serta melakukan konversi data menjadi informasi yang bisa diolah lebih lanjut nantinya oleh data scientist maupun business analyst.

Biar lebih jelas, kita liat Data Science Workflow nih!

Pertama, Data Engineer, seperti yang digambarkan dalam warna merah, lebih banyak memberi value di Data Understanding dan Data Preparation. pic.twitter.com/a7zPD1ZQ9w

— Pacmann Media (@pacmannai) January 5, 2023

Beberapa tugas dan tanggung jawab seorang data engineer adalah sebagai berikut:

• Eksekusi pengumpulan dan penyimpanan data dengan database
• Menyusun dataset yang relevan dengan kebutuhan bisnis
• Mengelola arsitektur data dalam lingkungan data perusahaan
• Menyusun data pipeline yang kokoh dan efisien
• Menerapkan kebijakan tata kelola data dan memastikan keamanan data
• Berkolaborasi dan berkoordinasi dengan stakeholder bisnis terkait tujuan perusahaan

Apa tugas dan tanggung jawab ML engineer?

Machine learning (ML) engineer adalah role di bidang data yang berfokus pada pengembangan sistem artificial intelligence (AI) yang mampu mengotomatisasikan prediction model.

ML engineer juga bertugas mendesain dan membangun algoritma yang memiliki kemampuan belajar dan membuat prediksi berdasarkan dataset yang dipunya.

Berikut adalah beberapa tugas dan tanggung jawab seorang ML engineer:

• Mempelajari dan mengkonversi prototipe data science
• Mendesain dan mengembangkan sistem dan skema machine learning
• Melakukan analisis statistik dan tuning terhadap model berdasarkan hasil pengujian
• Mencari dan menyediakan dataset untuk kebutuhan training model
• Melakukan training terhadap model secara iteratif
• Memperbaharui dan meningkatkan kualitas aset framework dan library ML
• Mengembangkan aplikasi ML berdasarkan kebutuhan klien atau konsumen
• Melakukan riset, eksperimen, dan implementasi terkait algoritma dan tools ML
• Mengevaluasi dan memvalidasi aplikasi dan potensi dari algoritma ML
• Memantau dan melakukan monitoring pasca fase deployment model ML

Hubungan proses kerja antara data engineer dan ML engineer

Mengacu pada pipeline di atas, dapat dilihat bahwa kedua role ini bertanggung jawab atas tahapan proses kerja yang berbeda.

Tanggung jawab dari kedua role ini pun saling beririsan dengan data scientist.

Tahapan proses kerja data engineer bersifat linier dan dapat dipaparkan menjadi empat tahapan inti, yakni:

• Data collection
• Data cleaning
• Data integration
• Data storage

Setelah data sudah dibersihkan dan disimpan dalam data storage seperti data mart, proses kerja data engineer bisa dilanjut oleh ML engineer.

Dataset yang sudah disiapkan kemudian dapat digunakan oleh ML engineer untuk melakukan training terhadap model, melakukan deployment, hingga mengembangkan modelnya untuk siap digunakan konsumen.

Namun terkadang karena terbatasnya sumber daya ahli di perusahaan-perusahaan tertentu, tidak jarang seorang ML engineer dituntut untuk melakukan end-to-end process secara menyeluruh.

Proses kerja atau workflow machine learning dapat kamu baca lebih lengkap di sini.

Skill dan tools yang dibutuhkan

Karena memiliki tanggung jawab dan proses kerja pada tahapan yang berbeda, maka tentu skill dan tools yang wajib dikuasai kedua role ini juga berbeda.

Skill dan tools yang perlu dikuasai data engineer adalah:

• Bahasa pemrograman: Python, Java, Scala
• Database: SQL dan NoSQL database seperti Cassandra, MongoDB, atau HBase
• Konsep data warehouse dan proses ETL
• Mampu mengintegrasikan data dari berbagai sumber seperti web services, APIs, atau sistem file
• Big data: Hive, Hadoop, atau Spark
• Cloud computing: Azure, AWS, atau GCP
• Data pipeline: Apache NiFi, Apache Kafka, dan Apache Airflow
• Visualisasi data: QlikView, Tableau, dan PowerBI
• Soft skill lainnya seperti kemampuan komunikasi efektif, problem solving, dan passion dalam belajar

Sedangkan skill dan tools yang perlu dikuasai ML engineer adalah sebagai berikut:

• Matematika dan statistika: kalkulus, aljabar linier, hingga Bayesian statistics
• Memahami konsep data science
• Memahami software engineering
• Bahasa pemrograman: Python, Java, C++, R, Javascript
• ML framework: Keras atau PyTorch
• Libraries: Scikit-learn
• Memahami struktur data, data modeling, dan arsitektur software

Gaji dan jenjang karier data engineer

Setelah memiliki kualifikasi dan pengalaman kerja, serta ilmu dan skill yang mumpuni, data engineer bisa melanjutkan jenjang kariernya ke bidang yang lebih spesifik, seperti:

• Data scientist
• Software engineer
• ML engineer

Dilansir dari Glassdoor, rata-rata gaji pokok seorang data engineer per bulannya ada di angka Rp10,436,648.

Berdasarkan Indeed, gaji data engineer di Indonesia berada di rentang 7,5 juta hingga 10 juta Rupiah per bulannya.

Gaji dan jenjang karier ML engineer

Setelah memiliki kualifikasi dan pengalaman kerja, serta ilmu dan skill yang mumpuni, seorang ML engineer bisa melanjutkan jenjang kariernya ke bidang yang lebih spesifik, seperti:

• AI/ML engineer
• Deep learning engineer
• NLP scientist

Dilansir dari Glassdoor, rata-rata gaji pokok seorang ML engineer per bulannya ada di angka Rp10,750,000.

Sedangkan dari salah satu lowongan kerja di Jobstreet, seorang ML engineer yang memenuhi kualifikasi dapat menerima gaji per bulan di rentang 12 hingga 24 juta Rupiah per bulannya.

Berikut adalah rangkuman perbedaan antara data engineer dan ML engineer.

Sekarang kamu sudah paham apa saja perbedaan antara dua profesi ini.

Keduanya tentunya adalah role yang amat dibutuhkan di bidang data.

Berdasarkan besar lingkup tanggung jawabnya, bisa dibilang bahwa ML engineer memiliki tuntutan kapasitas yang lebih besar daripada data engineer. Namun, data engineer juga bisa menjadi karier yang cocok sebagai batu loncatan untuk menjadi seorang ML engineer.

Jika kamu tertarik mendalami keduanya, Pacmann punya solusinya.

Kamu bisa belajar baik itu tentang data engineer maupun machine learning engineer lewat Job Preparation Program Pacmann.

Buat kamu yang ingin belajar self-paced, kamu juga bisa cek program self-paced yang memungkinkan kamu nutuk akses ke 50+ professional course atau dengan materi 1000+ jam belajar. Cek informasi lengkapnya di halaman Pacmann Pro.

Further reading:

Data Engineering vs. Data Science vs. Machine Learning Engineering

What are the Roles and Responsibilities of a Machine Learning Engineer

Data Engineering Vs Machine Learning Pipelines

Data Engineer Roles and Responsibilities