Arsitektur Data: Definisi, Framework, Manfaat, dan Langkah Penyusunannya

Ketika mendengar istilah data architecture, apa yang pertama kali muncul di benak kamu?

Apakah kerjanya sama dengan arsitek pada umumnya?

Nah, jika arsitek bertugas memastikan bangunan dapat berfungsi semestinya, maka arsitektur data juga punya konsep serupa. Namun, alih-alih bangunan, arsitektur data mengatur bagaimana data berinteraksi dengan infrastrukturnya agak tiap proses berjalan dengan lancar.

Mari kita tilik lebih lanjut tentang apa itu arsitektur data, serta framework, manfaat, dan langkah penyusunannya.

Definisi arsitektur data

Arsitektur data, atau data architecture, adalah sebuah framework yang mengatur tata kelola data (data governance) dalam sebuah organisasi atau perusahaan.

Framework ini berfungsi sebagai blueprint yang mengatur dan menginterpretasikan kebutuhan sebuah bisnis menjadi suatu sistem yang mengelola bagaimana data diproses dalam perusahaan tersebut.

Oleh karena itu, arsitektur dari setiap perusahaan bisa saja berbeda-beda, karena setiap framework yang didesain harus mengikuti kebutuhan spesifik dari perusahaan tersebut.

Sebuah arsitektur data mencakup model, aturan dan kebijakan, dan standar yang berfungsi memantau dan mengontrol bagaimana data dikumpulkan, disimpan, dikelola, diintegrasikan, dan digunakan.

Komponen-komponen dari sebuah arsitektur data mencakup hal-hal berikut:

• Diagram alur data yang menjelaskan bagaimana data berjalan melalui sistem dan aplikasi yang ada
• Data models dan data definitions
• Dokumen yang memetakan penggunaan data untuk proses bisnis
• Standar dan kebijakan yang mengatur data operations
• Blueprint arsitektur data yang mendetail

Berikut contoh sederhana diagram arsitektur data dari Edraw–baca lebih lengkap di sini.

Tipe-tipe data architecture

Terdapat dua jenis arsitektur data yang dibedakan berdasarkan bagaimana data terorganisir:

Data fabric

Data fabric adalah jenis arsitektur data yang berfokus pada teknologi dan services yang mampu membantu perusahaan dalam mengelola data. Dengan data fabric, integrasi data, data engineering, dan data governance dapat diotomatisasi.

Arsitektur data ini memfasilitasi tools dan aplikasi yang bersifat data-sentris, seperti Apache Kafka, ODBC, HDFS, REST APIs, NFS, dan banyak lainnya.

Cara kerja data fabric adalah dengan mengaitkan data antar-platform dengan aplikasi tertentu yang membutuhkannya.

Berikut adalah contoh arsitektur data dengan bentuk data fabric dalam sebuah cloud multi-environment:

• Satu platform, misalnya AWS, bertugas mengelola data ingestion, kemudian,
• Platform lainnya, misalnya Azure, bertugas memantau transformasi dan konsumsi data, lalu,
• Platform ketiga, misalnya IBM Cloud PAK, bertugas menyediakan jasa analisis data.

Nah, dengan data fabric, semua lapisan ini dijahit bersama untuk menciptakan tampilan data yang lebih holistik dan menyatu.

Data mesh

Berbeda dengan data fabric yang bersifat centralized, data mesh justru mengorganisir data secara menyebar (decentralized).

Tiap kumpulan data ditata berdasarkan domain bisnis masing-masing. Misalnya seperti marketing, sales, layanan konsumen, dan lain-lain.

Penggunaan data mesh mengubah konsep “satu platform data yang terpusat” dan memecahnya menjadi beberapa data repositories. Dengan begitu, tiap domain mampu menggunakan data secara mandiri dalam perusahaan.

Kepemilikan data dalam konsep data mesh ditransfer ke tim tertentu sehingga tim tersebut dapat mengelola dan menyajikan data sebagai produk tersendiri.

Dengan begitu, end-client mampu mengakses data langsung dari lokasinya tanpa perlu memindahkannya ke data lake maupun data warehouse.

Namun perlu dipahami bahwa data mesh bukanlah lawan dari data fabric. Data mesh juga bisa bekerja bersamaan dengan data fabric. Data fabric bisa berfungsi sebagai pelengkap data mesh guna meningkatkan otomatisasi dan proses kerja yang lebih cepat.

Framework data architecture populer

Berikut adalah beberapa framework yang populer digunakan hingga hari ini dalam banyak praktek arsitektur data:

DAMA-DMBOK (DAMA International’s Data Management Body of Knowledge)

DMBOK atau Data Management Body of Knowledge dari DAMA International merupakan sebuah framework tata kelola data yang dikembangkan secara spesifik untuk fungsi data management.

Contohnya seperti arsitektur data, tata kelola dan etika data, desain dan modeling data, penyimpanan data, data security, serta integrasi data.

DAMA-DMBOK juga menggunakan konsep environmental elements yang memproses data environment berdasarkan tiga aspek, yaitu:

• People (organisasi, kultur, peran, dan tanggung jawab)
• Process (aktivitas, praktek, dan teknik)
• Technology (deliverables dan tools)

Zachman Framework for Enterprise Architecture

Zachman Framework adalah framework yang didesain untuk struktur data bagi perusahaan atau organisasi dalam mengelola informasi. Framework ini diciptakan oleh John Zachman dari IBM di tahun 1987.

Zachman Framework menggunakan konsep enam baris lapisan matrix yang mencakup konsep bisnis, logika sistem, hingga detail operasional.

Enam baris ini kemudian disandingkan dengan enam kolom pertanyaan yang mencakup 5W1H (What, Who, Why, Where, When, dan How).

TOGAF (The Open Group Architecture Framework)

TOGAF adalah metodologi arsitektur data untuk perusahaan yang dikembangkan pada tahun 1995 oleh The Open Group.

Dalam TOGAF ini, terdapat empat pilar arsitektur utama, yaitu:

• Arsitektur bisnis (struktur organisasi, strategi bisnis, dan proses operasional)
• Arsitektur data (penyimpanan aset data dan pengelolaannya)
• Arsitektur aplikasi (sistem aplikasi serta dampaknya pada proses bisnis)
• Arsitektur teknis (infrastruktur teknologi yang mencakup hardware, software, dan networking)

Manfaat dan pentingnya arsitektur data

Arsitektur data, khususnya konsep arsitektur data modern kini telah mengubah cara perusahaan masa kini dalam menghadapi jutaan bahkan milyaran data.

Sebuah arsitektur data yang terkonstruksi dengan baik dapat memberikan segelintir manfaat, seperti:

Integrasi yang terpusat

Data dari perusahaan besar biasanya cukup kompleks untuk dikelola karena jumlahnya yang masif.

Banyaknya data yang masuk dari berbagai sumber mengharuskan perusahaan memiliki beberapa data warehouse dan data lake.

Dengan lokasi data yang tersebar ini, perusahaan memerlukan sebuah metode untuk mengintegrasikan pengelolaan data dari semua sistem penyimpanan yang ada.

Arsitektur data modern mampu memfasilitasi pengintegrasian data antar-domain, sehingga bagian atau fungsi bisnis yang berbeda pun dapat mengakses data satu sama lain.

Hal ini mampu menciptakan tampilan data yang lebih holistik dan membantu perusahaan membuat pengambilan keputusan yang lebih baik.

Meningkatkan kualitas data

Besarnya kuantitas data seringkali mengesampingkan kualitasnya.

Buruknya kualitas data kerap disebabkan minimnya praktek tata kelola data. Alhasil, tidak ada insight berarti yang bisa ditarik dari data.

Dengan adanya arsitektur data yang mumpuni, tata kelola data dapat dipertegas, ditambah dengan standar keamanan, serta pemantauan terhadap alur data pipeline.

Hasilnya, arsitektur data dapat memastikan data yang tersimpan jadi berkualitas dan berguna untuk masa depan perusahaan.

Mengurangi redudansi dan latensi

Proses replikasi data dari satu tempat ke tempat lain tentunya meningkatkan latensi dalam prosesnya.

Sedangkan pengambilan keputusan berbasis data antar-domain perlu dilakukan secara real-time.

Ditambah lagi, potensi data yang overlap dapat berujung pada inkonsistensi data hingga kegagalan integrasi data.

Dengan adanya arsitektur data dan data pipeline yang tertata, data dapat diakses antar-domain dalam tempo secepat mungkin, sehingga meminimalisir latensi.

Integrasi data pun bisa dilakukan dengan lancar antar-domain dengan kualitas data yang lebih baik sehingga redudansi juga dapat dihindari.

Mempercepat data preparation

Meskipun proses pengumpulan data untuk data lake terbilang mudah, proses analisisnya yang justru menjadi tantangan.

Dengan update yang terus terjadi serta kebutuhan data merging, penciptaan struktur data yang siap dianalisis menjadi tugas yang tidak mudah.

Namun dengan arsitektur data yang bagus, standarisasi terhadap data dapat diatur sedemikian rupa sehingga tingkat “kementahan” data dapat dikurangi.

Alhasil, para data scientist maupun data analyst bisa lebih fokus ke proses analisis data, dan tidak berlama-lama berurusan dengan data preparation.

Karakteristik data architecture modern

Dengan adanya Modern Data Architecture (MDA), perusahaan mampu memanfaatkan datanya secara optimal dengan melibatkan teknologi terkini, termasuk AI, blockchain, hingga IoT.

Berbeda dengan data arsitektur tradisional, MDA tidak lagi memerlukan hardware kompleks. Profit dan skalabilitas jadi lebih terjamin.

Tapi apa saja hal yang mendefinisikan sebuah arsitektur data modern? Berikut adalah beberapa karakteristik utama dari sebuah MDA:

Cloud-native

Cloud native mengacu pada pendekatan membangun dan menjalankan aplikasi dan layanan yang di cloud environment.

Aplikasi cloud native dirancang untuk memanfaatkan sepenuhnya kemampuan cloud platform seperti:

• scalability,
• availability,
• fault tolerance, dan
• flexibility.

Arsitektur data masa kini membangun dan mengelola aplikasi di sistem komputasi berbasis cloud system.

Dengan begitu, framework yang dibuat akan kompatibel dengan end-to-end security serta akses data yang mudah.

Ditambah lagi, sistem cloud dapat menekan pengeluaran serta meningkatkan performa dan skalabilitas.

Data pipeline yang kokoh dan scalable

Proses pemindahan data dari satu tempat ke tempat lainnya harus berjalan mulus dan sejalan dengan perkembangan volume data.

Itulah mengapa MDA wajib mendukung data streaming yang instan, integrasi real-time, dan intelligent workflow yang dirangkum dalam satu framework yang kokoh.

Integrasi data yang pesat dan mulus

Sebuah MDA harus mampu melakukan integrasi dengan legacy applications tanpa perlu menggantikan peran dari masing-masing aplikasi.

Justru MDA berperan mengoptimasi data sharing antar-domain maupun antar-organisasi guna mempermudah akses dan integrasi data.

Memiliki tata kelola data yang jelas

MDA perlu bisa memvalidasi, mengklasifikasi, mengatur, dan menerapkan tata kelola data secara aktif dan otomatis, sekaligus memastikan kemudahan akses terhadap tampilan data dan metadata.

Dengan MDA, harusnya proses integrasi, kurasi, dan pemanfaatan data dapat berjalan tanpa kesulitan.

Akses real-time

Proses pengelolaan data dengan MDA yang didukung standarisasi tata kelola data harus bisa berjalan secara real-time.

Terpisah dan extensible

Komponen-komponen dari MDA tidaklah tersimpan dalam satu platform, sistem operasi, maupun build environment.

MDA harusnya memiliki sistem yang mengaitkan antar-aplikasi secara fleksibel sehingga memudahkan pengerjaan task tanpa adanya kendala perbedaan services.

Berbasis pada domain dan event

Berjalannya MDA didasari pada common-data domains, events, dan microservices.

Semua ini berpusat pada sebuah model informasi bisnis (BIM) yang merepresentasikan data perusahaan dan berfungsi sebagai pondasi framework.

Dengan kata lain, MDA bekerja sesuai dengan kondisi terkini perusahaan serta model domain yang diadopsi perusahaan tersebut.

Ketika arsitektur bisnis sudah cukup kokoh, proses adopsi model bisnis akan berjalan dengan pesat dan menyeluruh.

Seimbang

MDA memastikan perusahaan dapat menyeimbangkan antara pengeluaran dan kegunaan sistem. Metode terbaik dipilih, disesuaikan, dan diterapkan agar sistem yang berjalan masih mampu memberikan ROI yang sepadan bagi bisnis.

Langkah-langkah penyusunan data architecture

Sekarang mari kita tilik lebih lanjut mengenai langkah-langkah penting yang perlu kamu perhatikan dalam menyusun sebuah arsitektur data.

Pahami kondisi dan cara kerja tools dan system yang sudah ada

Pertama-tama, kamu perlu mendata semua tools dan sistem yang digunakan oleh perusahaan tempat kamu bekerja.

Pelajari juga bagaimana tiap tools dan sistem saling melengkapi satu sama lain. Kamu bisa melakukan penyesuaian jika perlu.

Singkirkan tools dan sistem yang redundant, atau tambahkan tools dan sistem baru yang bisa mendukung proses kerjamu.

Koordinasikan hasil pendataan dengan stakeholder dan identifikasi pain point yang dimiliki perusahaan.

Kembangkan rencana menyeluruh untuk struktur data

Pastikan ada dokumentasi data warehouse yang jelas dan up-to-date dalam bentuk data dictionary.

Hubungkan sumber data yang ada ke data warehouse guna meningkatkan efektivitas. Kamu bisa menggunakan aplikasi seperti Tableau atau Domo.

Berikut adalah beberapa contoh data yang mungkin perlu kamu masukkan ke data warehouse perusahaan:

• Data website perfomance
• Data CRM
• Data email marketing
• Data customer service
• Data aplikasi pihak ketiga

Tentukan tujuan bisnis serta kendala yang dihadapi

Tentukan OKR yang realistis dan applicable untuk tiap unit bisnis dalam perusahaan.

Jika diperlukan, kamu juga bisa menjalankan audit guna mengidentifikasi proses mencapai tujuan bisnis dalam cara yang paling efisien.

Pastikan adanya konsistensi dalam pengumpulan data

Tanpa adanya metode pengumpulan data yang konsisten, kapabilitas perusahaan dalam menganalisis dan menarik insight yang berguna tentunya akan berkurang.

Coba tilik ulang proses pengumpulan data yang dilakukan perusahaan di tahun-tahun sebelumnya dan lakukan komparasi guna memastikan tidak ada perubahan yang berpotensi menghambat proses analisis dan reporting.

Pilih tools untuk visualisasi data

Proses reporting merupakan proses vital yang mempengaruhi pengambilan keputusan perusahaan. Oleh karena itu, pastikan perusahaan memiliki tools visualisasi data yang mumpuni.

Pilihlah tools visualisasi data yang mampu membuat laporan langsung dari data warehouse dan bisa diintegrasikan dengan mudah.

Hubungkan arsitektur data dengan data modeling

Gunakan strategi-strategi data yang sudah dirumuskan sebagai panduan arsitektur data yang kamu bangun. Selain itu, kamu juga perlu memastikan tata kelola data (data governance) sudah sesuai dengan kebutuhan bisnis.

Setelah itu, kamu perlu mengatur bagaimana tiap ekosistem data saling berinteraksi. Urusan data relationship ini dapat diselesaikan dengan data modeling.

Dengan data modeling, kamu bisa mengidentifikasi tiap entitas dan atributnya, sehingga setiap kendala dapat diidentifikasi dengan cepat dan mudah.

Dengan adanya data model, arsitek data dapat menggunakan bermacam-macam komponen dari framework untuk meningkatkan outcome bisnis.

Reporting dan analysis

Proses reporting dan analisis adalah hasil dari implementasi arsitektur data yang mulus.

Analisis adalah proses pemberian konteks terhadap laporan data yang mampu menjawab pertanyaan bisnis atau memperkuat pengambilan keputusan bisnis.

Sekarang kamu sudah tahu apa itu arsitektur data, berikut manfaat, karakteristik, dan langkah penyusunannya.

Simak juga penjelasan mengenai data role yang tugasnya membangun data architecture ini dalam salah satu webinar Pacmann yang berjudul Menjadi Data Engineer: Mindset, Skill, dan Karier.

Belajar mendalam tentang web development and architecture di program Software and Data Engineering Pacmann.

Further reading:

What is a data architecture?

Modern data architecture

How to build a data architecture to drive innovation

Emerging architectures for modern data infrastructure