Data Engineer: Definisi, Tugas, Skill, dan Jenjang Karier

“Data is the new oil”, Clive Humby.

“Like oil, data is “valuable, but if unrefined it cannot really be used”, Michael Palmer.

Pada tahun 2025, diperkirakan akan tercipta sekitar 463 exabytes data setiap harinya secara global–setara dengan 212.765.957 DVD per hari!

Data jadi hal yang sangat penting dalam setiap aktivitas perusahaan dan bisnis saat ini. Oleh karena itu, harus ada sistem dan arsitektur data untuk perusahaan atau bisnis memanajemen datanya.

Idealnya, data arsitektur ini dibangun oleh data engineer.

Di artikel ini, akan dibahas singkat tentang profesi data engineer, tugas dan tanggung jawabnya, keterampilan yang dibutuhkan, serta peluang karir yang ditawarkan.

Apa itu data engineer?

Data engineer adalah salah satu role di bidang data yang bertanggung jawab untuk membangun, memelihara, dan mengembangkan arsitektur dan lingkungan data di perusahaan.

Data engineer bekerja untuk memastikan data tersedia, mudah diakses, dan aman bagi pengguna yang membutuhkan data tersebut.

Pekerjaan seorang data engineer meliputi banyak hal, seperti membuat sistem yang bisa mengumpulkan data secara otomatis, memastikan bahwa data itu valid dan terstruktur dengan baik, serta membangun infrastruktur data dan memastikan keberlangsungan infra ini.

Beda data engineer dan data scientist

Beda data engineer dan data scientist adalah data engineer fokus pada data preparation, membangun infrastruktur dan arsitektur data, sedangkan data scientist punya tugas utama yang lebih spesifik yaitu mencari solusi dari permasalahan bisnis.

Supaya lebih jelas, kita akan bahas workflow-nya Data Science pakai gambar di bawah, ya.

Pertama, Data Engineer, seperti yang digambarkan dalam warna merah, lebih banyak memberi value di Data Understanding dan Data Preparation. pic.twitter.com/0pYhDVTTgN

— Pacmann Media (@pacmannai) April 13, 2022

Membangun katalog data, data mart, data warehouse, data lake, menyediakan data untuk data scientist melakukan modeling, serta membangun data storage untuk business intelligence dan data analyst adalah beberapa contoh fokus utama data engineer.

Riset, data exploration, menentukan dan membangun model machine learning adalah beberapa fokus utama yang dilakukan oleh data scientist.

Apa tugas dari data engineer?

Data engineer bertanggung jawab mulai dari mengumpulkan, menyimpan, dan memanajemen data di perusahaan.

Ketika mengumpulkan data, seorang Data Engineer bisa mendapatkan sumbernya dari mana pun. Misalnya, dari Excel atau spreadsheet yang dipakai tim bisnis, database aplikasi, dari website, dan lain-lain.

Data tersebut nantinya akan dikumpulkan di dalam Data Lake. pic.twitter.com/uEFfeaBJ0g

— Pacmann Media (@pacmannai) April 13, 2022

Data di perusahaan pasti tersebar dari berbagai sumber dan penyimpanan, seperti yang sudah disinggung sebelumnya, data engineer bertanggung jawab untuk meng-handle dan merapikan data-data ini, serta mengumpulkannya di suatu sistem.

Beberapa tugas utama data engineer adalah:

• Mengumpulkan data dari berbagai sumber
• Membangun data pipeline yang mudah diakses dan dipahami
• Memastikan kebijakan tata kelola dan keamanan data
• Membersihkan dan data (data cleansing)
• Mengubah data menjadi informasi yang berguna dan dapat dimanfaatkan untuk decision making
• Berkolaborasi dengan manajemen untuk memahami tujuan perusahaan

Data engineer bekerja untuk banyak user (yang sebagian besarnya adalah bagian dari perusahaan itu sendiri) dan menyediakan data untuk seluruh perusahaan, termasuk data analyst, data scientist, dsb.

Job description data engineer

Tergantung kematangan perusahaan dan seberapa tinggi data maturity dari suatu perusahaan tersebut, idealnya data engineering melakukan tugas-tugas yang sudah dibahas sebelumnya. Namun, terkadang masih ada overlap tugas dan tanggung jawab antar data role.

Data engineer dalam suatu perusahaan umumnya terbagi menjadi tiga role:

• Generalist
• Pipeline-centric
• Database centric

Beberapa contoh deskripsi pekerjaan data engineer yang disari dari LinkedIn Jobs adalah sebagai berikut.

Data Engineer (Astro)

Job description:

• Understanding current data analysis strategy and mapping it into appropriate data storages and pipelines
• Develop a data pipeline (batch and stream) to extract and transform data into a suitable form for analysis
• Develop automation and instrumentation for deployment, monitoring, alerting, and debugging to ensure reliable pipelines
• Data infrastructure maintenance (data lake, data mart, data warehouse, data pipeline, scheduler)
• Monitor and support day-to-day operations of the data pipeline
• Continuously enhancing data quality and reliability
• Continuously identifying opportunities for data acquisition

Job requirements:

• 2+ years of data engineering experience
• Effective written and communication skills in English and Indonesian
• Proficient in Python or Java
• Proficient in Structured Query Language (SQL)
• Knowledgeable in tuning query and database performance
• Familiarity with Data engineering related components in Google Cloud Platform (GCP), such as Cloud Composer (Apache Airflow), Dataflow (Apache Beam), Pub/Sub, BigQuery, and Looker
• Familiarity with Jira, Trello, Asana, or other popular project management tools
• Basic understanding of source code repositories like Git or Subversion
• Basic understanding of CI/CD Workflow

Data Engineer (Accenture)

Job description:

• Understand our customers’ core business objectives and build end-to-end data-centric solutions to address them
• Collaborate with technical business analyst, to understand business requirements, data, and optimize data pipeline performance.
• Build solutions in big data and data management tools meeting projects’ requirements
• Construct code with good coding standards and practices to ensure high quality and minimum risks
• Closely working with project manager and technical leads to provide regular status reporting and support them to identify blockers for quick resolution.

Job requirements:

• Experience with data engineering or big data technologies, or data transformation and data modelling
• Experience in architecting and building scalable data platforms.
• Experience with Informatica or other related data Integration tools
• Experience with cloud technologies (Data Lake, Azure, Google, AWS etc.) or experience with open source technologies (Spark, Kafka, Presto, Hive, Cassandra etc.)
• Experience with SQL and/or NoSQL databases
• Good communication skills
• Dynamic team player
• Bachelor’s or Master’s Degree

Data job description dan requirements tersebut diambil pada 5 April 2023 di LinkedIn Jobs.

Beberapa perusahaan yang cukup matang membutuhkan talent yang lebih spesifik (yang pada dasarnya masih sangat berhubungan dengan data engineer) seperti:

• Data Warehouse Developer
• Infrastructure Engineer
• Database Engineer
• ETL Developer

Apa yang harus dikuasai oleh data engineer?

Data engineer harus menguasai pemrograman. Dibandingkan dengan data analyst, data engineer akan lebih banyak melakukan programming dan coding.

Beberapa bahasa pemrograman yang umumnya wajib dikuasai oleh data engineer adalah SQL, Python, dan Java.

Kamu bisa cek lebih lengkap di artikel Pacmann sebelumnya, Data Engineer dan Data Analyst: Perbedaan Tugas, Skill, Tools, dan Gajinya.

Sebagai tambahan, berikut informasi tambahan mengenai bahasa pemrograman populer yang dibutuhkan dari seorang data engineer di industri.

Sepertinya materi buat DE nya sudah sesuai dengan yang ada di kebanyakan requirement lowongan DE. Mungkin saya akan berbagi sedikit tentang analisis saya mengenai hal tersebut. Data ini saya analisis dari scraping lowongan data engineer di Linkedin pic.twitter.com/R3rosBnfbU

— Euler Senpai (@stockathok) December 30, 2022

Mengacu pada Coursea, berikut skill yang harus dikuasai oleh data engineering:

• Coding
• Relational dan non-relational databases
• Penyimpanan data (data storage)
• ETL
• Automation dan scripting
• Big data tools
• Cloud computing
• Data security

Selain itu, skill penting lainnya yang penting dikuasai dan selalu ditekankan di Pacmann adalah:

• Critical thinking
• Problem solving skill
• Business acumen
• Roadmap belajar data engineering

Roadmap dapat membantu kamu dalam memberikan gambaran lengkap tentang data engineering modern dan skill apa saja yang harus dikuasai, serta dapat dijadikan panduan belajar bagi calon data engineer.

Salah satu roadmap data engineer yang populer adalah Modern Data Engineer Roadmap dari datastack.tv.

Tidak perlu merasa overwhelmed, seorang data engineer biasanya akan menguasai sedikit demi sedikit skill dan tools yang ada di roadmap tersebut, dimulai dari yang palnig dibutuhkan di perusahaan dan pilihan kariernya.

Jenjang karier data engineer

Data engineer adalah salah satu jenjang karier yang menjanjikan.

Berdasarkan Dice Tech Job Report tahun 2020 bersama dengan data partner-nya, Burning Glass Technologies, dari hasil analisis 6 juta pekerjaan di tech industry di Amerika saja pada tahun 2018-2019, didapat kesimpulan bahwa data engineer jadi pekerjaan yang paling cepat pertumbuhannya.

Data engineering job prospects next 3-5 years: Worth it gak kalo switch career?

Kita udah sering dengar bahwa data scientist itu sexiest job in 21st century, tapi sadar nggak, di beberapa tahun ke belakang data engineer juga ga kalah “sexy”.

Here’s why~ pic.twitter.com/8BZOie76wD

— Pacmann Media (@pacmannai) November 28, 2022

Selain itu, berkarier sebagai data engineer akan membuka kesempatan untuk kamu bisa bekerja dari mana saja alias WFA (Work from Anywhere).

Seperti pada data role lainnya, jenjang karier sebagai data engineer terbuka baik ke posisi manajerial maupun specialist.

Data engineer dapat bergerak ke posisi manajerial (Head of Data atau bahkan CTO) atau menjadi:

• data architect,
• solutions architect,
• machine learning engineer, dsb.

Jika kamu ingin menjadi specialist, mengejar posisi senior adalah salah satu caranya.

Untuk kamu yang ingin career switch, terutama jika berasal dari role pekerjaan yang berkaitan, kamu bisa berkarier sebagai data engineer dan tidak selalu harus memulai sebagai entry level atau associate.

Banyak data engineer yang memulai karirnya sebagai software engineer atau business intelligence analyst terlebih dahulu.

Berapa gaji data engineer?

Berdasarkan data dari Glassdoor, gaji data engineer untuk entry-level adalah sekitar Rp8.000.000 per bulan. Sedangkan untuk posisi senior, angkanya bisa mencapai Rp20.000.000 per bulan.

Demikian penjelasan singkat mengenai data engineer.

Tertarik untuk career switch dan akselerasi kariermu di sebagai data engineering? Yuk, belajar bersama Pacmann.

Cek informasi lengkapnya di halaman Software and Data Engineering Program Pacmann.

Further reading:

Menjadi Data Engineer: Mindset, Skill, dan Karir bersama Adam W. B. (Data Engineer Traveloka)

What Is a Data Engineer? A Guide to This In-Demand Career

What is a data engineer? An analytics role in high demand

How to Become a Data Engineer in 2023: 5 Steps for Career Success