Data Engineering : Hands on Professional Information Processing
Januari 04, 2019
igsd
Seiring dengan pembaruan di dunia statistika, adanya data
science yang berfokus pada analisis dan mengungkap
pola bermakna tersembunyi ataupun kompleks dalam dataharus didukung dengan
adanya mekanisme untuk mengumpulkan dan memvalidasi data-data yang ada terlebih
dahulu. Proses inilah yang mengarah pada keperluan akan data engineering.
Data engineeringadalah aspek ilmu data yang berfokus pada aplikasi praktis pengumpulan dan
validasi data mentah yang didalamnya masih terdapat kesalahan dengan berbagai sebab, seperti
human error, kesalahan
mesin atupun instrumen hingga menghasilkan data yang terverifikasi sesuai
dengan struktur data yang diperlukan untuk dianalisis lebih lanjut oleh
parapembuat keputusan.Peran data engineering pada bidang ilmu data
didefinisikan sebagai penggabungan berbagai aspek pekerjaan di organisasi yang
berbeda dengan kegiatan arsitektur data, pengaturan dan manajemen basis data
serta perancangan dan pembangunan infrastruktur data.
Para Data engineers bekerja dalam menciptakan interface
dan mekanisme untuk aliran akses informasi.Data engineers akan memproses kesalahan terhadap input data lalu
membangun sistem yang mencegah adanya kesalahan human error, selanjutnya
menangani integrasi data berkelanjutan serta memelihara pembersihan
data.Walaupun data engineers tidak bekerja
dalam analisis dan pengombinasian berbagai sumber pada big data seperti para data scientists, data engineers
berperan dalam pembangunan penyimpanan data yang digunakan dalam data science dengan mengumpulkan wawasan
dan mempresentasikan dalam penggunaan yang lebih praktis. Oleh sebab itu, data engineering memiliki pemahaman
konsep mendalam pada bidang data
modelling, desain database baik data yang terstruktur maupun tidak
terstruktur atau relational and
non-relational database, mengatur arus informasi, dan analisis ataupun
operasi komparatif.
Hasil dari data
engineering akan memudahkan pekerjaan data
scientists dalam menganalisis lebih lanjut informasi yang diperlukan suatu
bidang bukan hanya dari penyediaan informasi tetapi juga sistem yang diciptakan
menyesuaikan keperluan data scientists.
Dalam suatu perusahaan contohnya, data
engineers berperan dalam memastikan ketersediaan dan konsistensi data
selama 24 jam dengan bantuan tools berupaHadoop,
NoSQL database, computer network technology, dan sebagainya.
(dari berbagai sumber)
BAGIKAN
