Langkah-langkah Menjadi Data Engineer Profesional Beserta Roadmap-nya

Berdasarkan DICE 2020 Tech Job report, data engineer menjadi lapangan pekerjaan yang paling pesat perkembangannya—bahkan mengalahkan data scientist.

Tidak heran di tahun 2023 ini semakin banyak orang yang berbondong-bondong mengejar peluang karier sebagai data engineer.

Apakah kamu salah satunya? Jika iya, maka kamu sudah menemukan artikel yang tepat. 

Dalam kesempatan kali ini, Pacmann akan memaparkan langkah-langkah dan roadmap lengkap untuk menjadi data engineer profesional yang banyak dicari perusahaan.

Apa itu data engineer?

Data engineer adalah salah satu role penting di bidang data yang bertanggung jawab membangun, memelihara, dan mengembangkan arsitektur dan lingkungan data di perusahaan.

Tujuan dari pekerjaannya adalah untuk memastikan ketersediaan data, kemudahan akses, serta keamanan data bagi pengguna yang membutuhkannya.

Apa saja tugas seorang data engineer?

Seorang data engineer bertugas membangun dan memelihara data pipeline pada berbagai lingkungan data perusahaan guna mempermudah akses bagi pengguna yang membutuhkan data tersebut.

Berikut adalah gambaran dari beberapa tugas inti seorang data engineer:

• Pengumpulan data
• Data cleaning
• Pembuatan data model
• Mengurus otomatisasi berbagai task flow
• Memastikan adanya tata kelola data yang terjaga
• Berkolaborasi dengan manajemen untuk memahami tujuan perusahaan

Roadmap menjadi data engineer

Secara garis besar terdapat tujuh langkah yang perlu kamu tempuh untuk menjadi seorang data engineer.

Kejar pendidikan dan kualifikasi yang relevan

Faktanya, belum banyak program sarjana yang spesifik memberi gelar di bidang data science maupun data engineering, khususnya di Indonesia.

Oleh karena itu, umumnya perusahaan mencari kandidat data engineer dengan latar belakang pendidikan seperti analisis bisnis, ilmu komputer, matematika terapan, atau software engineering.

Dengan memiliki gelar di bidang-bidang tersebut, kamu sudah selangkah lebih maju dalam roadmap menjadi data engineer.

Namun tentunya perusahaan juga perlu paham bahwa mengejar gelar sarjana di bidang-bidang tersebut membutuhkan komitmen luar biasa, terutama dari segi waktu dan finansial.

Dan bukan tidak mungkin seorang data engineer justru berasal dari jalur pendidikan yang sama sekali tidak relevan.

Meskipun kamu berasal dari latar belakang pendidikan yang tidak relevan dengan jalur data engineering, kamu bisa menggantinya dengan mengikuti program bersertifikat, bootcamp, atau online course terkait data engineering.

Contohnya seperti bootcamp Software Engineering di Sekolah Engineering Pacmann.

Kuasai skill dan tools yang diperlukan

Mengacu pada Modern Data Engineer Roadmap dari Datastack.tv, berikut adalah paparan lengkap mengenai skill dan tools yang perlu kamu kuasai untuk menjadi seorang data engineer.

Selain sebagai checklist pribadi, kamu juga bisa menggunakan paparan berikut sebagai sebuah panduan belajar, khususnya untuk skill-skill yang masih belum kamu dalami.

Pertama, kamu perlu menguasai ilmu komputer dari yang paling mendasar, seperti:

• Matematika
• Statistika
• Cara kerja komputer
• Cara kerja internet
• Struktur data dan algoritma
• Sistem operasi Linux

Jika kamu berasal dari latar belakang pendidikan yang relevan seperti disebutkan di poin sebelumnya, besar kemungkinan kamu sudah menguasai hal-hal di atas.

Berikutnya, kamu perlu menguasai beberapa skill di bawah beserta fokus spesifik dan tools-nya.

• Bahasa pemrograman: Python, Java, Scala, dan Go
• Unit testing, integration testing, dan functional testing
• Database: SQL, ACID, CAP theorem, dimensional modeling, OTLP vs OLAP, dll.
• Relational database: MySQL, PostgreSQL, atau MariaDB
• NoSQL database: MongoDB, Apache Cassandra, Amazon Neptune, atau Redis
• Data warehouse dan penyimpanan objek: Snowflake, Amazon Redshift, atau Google BigQuery
• Jenis-jenis data processing: Apache Pig (batch processing), Apache Storm (streaming), atau Apache Spark (hybrid)
• Data pipeline monitoring: Prometheus, Datadog, atau Sentry
• Infrastructure as code: Docker, Kubernetes, atau Terraform

Selain skil-skill wajib di atas, sebaiknya data engineer juga menguasai skill-skill dan tools berikut untuk memperkaya skill range.

• Visualisasi data: Tableau, Looker, atau Jupyter Notebook
• Machine learning: Tensorflow, Keras, atau PyTorch

Asah soft skills

Selain skill-skill teknis seperti disebutkan di atas, soft skill juga tidak boleh dilupakan.

Justru sekarang ini semakin banyak perusahaan yang mewajibkan soft skill sebagai kriteria utama kandidat sebelum penguasaan skill teknis.

Untuk menjadi data engineer yang bisa bersaing di industri, kamu perlu menguasai skill-skill berikut:

• Kemampuan kerjasama dan kolaborasi
• Kejujuran dan tanggung jawab
• Passion pada bidangnya
• Skill komunikasi efektif
• Kemampuan berpikir kritis

Beberapa kriteria di atas penting sebab data engineer bukanlah kerja individu. Tidak jarang kamu dituntut untuk berkolaborasi dengan tim lain atau mempresentasikan hasil kerjamu ke atasan.

Bangun portofolio dengan data engineer project

Tidak masalah apabila kamu masih mahasiswa, fresh graduate, atau bahkan sudah lama bekerja—jika kamu ingin meniti karier sebagai data engineer, maka kamu butuh portofolio yang mendukung.

Bagi seorang data engineer, sebuah portofolio bertujuan untuk menunjukkan bahwa kamu memiliki skill dan pengetahuan yang relevan dan dibutuhkan perusahaan.

Salah satu cara paling efektif adalah dengan mengerjakan data engineering project dan menyisipkannya dalam portofolio kamu.

Data engineering project biasanya berupa simulasi proyek pekerjaan yang menjadi bukti nyata penerapan skill-mu terkait end-to-end data process.

Sebuah data engineer project memiliki banyak bentuk yang bisa kamu pilih, mulai dari data cleaning, data modeling, hingga visualisasi data.

Sebelumnya Pacmann sudah membahas beberapa project di bidang data yang bisa kamu coba di artikel-artikel berikut:

• 5 Rekomendasi Database Project Terbaik untuk Kamu Coba
• 5 Ide Proyek Data Analysis untuk Portofolio Kamu

Selain data engineer project, sebuah portofolio data engineer juga perlu memiliki beberapa elemen berikut:

• Pemahaman yang kuat atas konsep dan praktik data engineering
• Skill data engineering yang dikuasai
• Bukti telah menyelesaikan program atau course bersertifikat terkait data engineering
• Pengalaman kerja relevan termasuk volunteer work atau freelance
• Pendidikan resmi

Perluas networking

Memperluas jejaring atau networking dapat berpengaruh luar biasa terhadap peluangmu untuk mendapatkan pekerjaan sebagai data engineer.

Beberapa manfaat dari memiliki networking yang luas mencakup:

• Peningkatan reputasi sebagai data engineer
• Membuatmu lebih dikenal sebagai profesi yang kamu tempuh
• Terbukanya lebih banyak tawaran atau peluang pekerjaan
• Meraup banyak ilmu dan pengetahuan baru terkait data engineering

Membangun jejaring yang berkualitas tentunya bukan hal yang instan. Tidak hanya sekadar luas, jejaring yang kamu bentuk juga harus relevan.

Kamu bisa memulainya dari beberapa platform berikut:

• LinkedIn
• Reddit
• Program alumni dari bootcamp atau online course
• Data engineer Discord
• Berbagai konferensi, simposium, workshop, atau data engineer meetup
• Komunitas online data engineer seperti DataTalks.Club atau Locally Optimistic

Mulai kariermu sebagai data engineer

Setelah melalui berbagai langkah-langkah di atas, kini saatnya meniti ujung roadmap data engineer dengan melamar pekerjaan pertamamu sebagai data engineer.

Jangan lupa untuk melengkapi CV-mu dengan informasi yang relevan dan terkini, serta menyiapkan dirimu untuk wawancara pekerjaan.

Berikutnya tinggal pantau berbagai platform lowongan kerja dan apply yang menarik untukmu.

Jangan ragu untuk menyabet peluang pekerjaan entry-level sekalipun. Tujuan utamamu adalah meraup pengalaman serta ilmu sebanyak-banyaknya, serta memperdalam pemahamanmu akan skenario kerja nyata seorang data engineer.

Upskill dan perkaya keahlian di bidangmu

Setelah sukses mendapatkan pekerjaan sebagai data engineer, prosesmu belum selesai di situ.

Seorang data engineer harus terus meningkatkan skill dan pengetahuannya serta mengikuti tren industri yang selalu berkembang.

Jika ada kesempatan dan sumberdaya, jangan ragu untuk mengambil PhD atau Masters di bidang data, seperti applied data science, programming, hingga software engineering.

Perkaya keahlianmu dengan mengikuti berbagai sertifikasi dan online course tingkat advanced.

Dengan begitu, bukan tidak mungkin kamu mampu membuka jalur ke karier yang lebih advanced seperti big data engineer atau AI/ML engineer.

Sekarang kamu sudah tahu apa saja langkah-langkah yang perlu kamu tempuh serta roadmap untuk menjadi data engineer.

Seiring dengan berkembangnya big data serta berbagai aplikasi data science, peran data engineer tentunya semakin vital bagi perusahaan.

Menjadi data engineer bukan perihal mudah. Tapi jangan khawatir.

Pacmann bisa membantu membuat proses panjangmu menjadi data engineer jadi lebih mulus dengan Sekolah Engineering Pacmann.

Simak infonya lebih lanjut di halaman bootcamp Software Engineering.

Further reading:

The Data Engineer’s Roadmap

Data Engineer Roadmap

How to Become a Data Engineer in 2023: 5 Steps for Career Success

How To Become a Data Engineer [2023 Career Guide]