Data Engineering : Hands on Professional Information Processing

Januari 04, 2019 igsd



Seiring dengan pembaruan di dunia statistika, adanya data science yang berfokus pada analisis dan mengungkap pola bermakna tersembunyi ataupun kompleks dalam dataharus didukung dengan adanya mekanisme untuk mengumpulkan dan memvalidasi data-data yang ada terlebih dahulu. Proses inilah yang mengarah pada keperluan akan data engineering.
Data engineeringadalah aspek ilmu data yang berfokus pada aplikasi praktis pengumpulan dan validasi data mentah yang didalamnya masih terdapat kesalahan dengan berbagai sebab, seperti human error, kesalahan mesin atupun instrumen hingga menghasilkan data yang terverifikasi sesuai dengan struktur data yang diperlukan untuk dianalisis lebih lanjut oleh parapembuat keputusan.Peran data engineering pada bidang ilmu data didefinisikan sebagai penggabungan berbagai aspek pekerjaan di organisasi yang berbeda dengan kegiatan arsitektur data, pengaturan dan manajemen basis data serta perancangan dan pembangunan infrastruktur data.
Para Data engineers bekerja dalam menciptakan interface dan mekanisme untuk aliran akses informasi.Data engineers akan memproses kesalahan terhadap input data lalu membangun sistem yang mencegah adanya kesalahan human error, selanjutnya menangani integrasi data berkelanjutan serta memelihara pembersihan data.Walaupun data engineers tidak bekerja dalam analisis dan pengombinasian berbagai sumber pada big data seperti para data scientists, data engineers berperan dalam pembangunan penyimpanan data yang digunakan dalam data science dengan mengumpulkan wawasan dan mempresentasikan dalam penggunaan yang lebih praktis. Oleh sebab itu, data engineering memiliki pemahaman konsep mendalam pada bidang data modelling, desain database baik data yang terstruktur maupun tidak terstruktur atau relational and non-relational database, mengatur arus informasi, dan analisis ataupun operasi komparatif.
Hasil dari data engineering akan memudahkan pekerjaan data scientists dalam menganalisis lebih lanjut informasi yang diperlukan suatu bidang bukan hanya dari penyediaan informasi tetapi juga sistem yang diciptakan menyesuaikan keperluan data scientists. Dalam suatu perusahaan contohnya, data engineers berperan dalam memastikan ketersediaan dan konsistensi data selama 24 jam dengan bantuan tools berupaHadoop, NoSQL database, computer network technology, dan sebagainya.

(dari berbagai sumber)

Beri Komentar