Data Scientist vs Data Engineer : Keterampilan, Peran, dan Tanggung Jawab
Apa itu Data Scientist ?
Perbedaan Data Engineer Dan Data Scientist , Data Scientist bertanggung jawab untuk menganalisis data dan mengekstraksi wawasan dan tren yang relevan untuk membuat keputusan bisnis.
Data Scientist juga cenderung membangun dan memanfaatkan model data dan algoritme pembelajaran mesin untuk membantu menemukan jenis informasi ini.
Untuk menjadi Data Scientist , pelamar biasanya harus memiliki gelar sarjana dalam ilmu data, ilmu komputer, atau bidang serupa dan memiliki pengalaman beberapa tahun dalam analisis data.
Apa yang Dilakukan Data Scientist ?
Sejak Data Scientist dimulai pada awal tahun 2000-an, perannya telah dikodifikasi secara adil.
Misalnya, Data Scientist perlu mengetahui Python, R, atau keduanya untuk analisis statistik. Anda dapat menulis kueri SQL. Pengalaman dengan kerangka pembelajaran mesin seperti TensorFlow atau PyTorch.
Namun, tidak semua perusahaan mendefinisikan peran dengan cara yang sama. Mungkin contoh yang paling menonjol: ETL.
ETL adalah singkatan dari Extract, Transform, dan Load. Ini mengacu pada proses mendapatkan data kotor dari beberapa sumber.
Membersihkan, memijat, dan menggabungkan data mentah lama Tempatkan data baru yang jauh lebih ekspresif dan baru diubah ke tujuan baru, biasanya gudang data. (Catatan: Sejak munculnya alat seperti menjahit, T dan L dapat dibalik sebagai ukuran rasionalisasi.)
ETL lebih otomatis dari sebelumnya, tetapi masih membutuhkan pengawasan. Ini secara tradisional menjadi domain data engineers .
Dalam pengertian itu, Ahmed adalah seorang tradisionalis. Ia mengatakan, memiliki proses ETL yang dimiliki oleh tim data engineering biasanya memberikan hasil yang lebih baik, apalagi jika pipeline tidak one-off.
“Jika Anda sedang membangun saluran data berulang yang terus menjalankan pekerjaan dan terus memperbarui data dari gudang data Anda, Anda tidak ingin seorang ilmuwan data mengelolanya kecuali Anda memiliki keterampilan rekayasa data yang signifikan atau waktu untuk berkomitmen untuk itu.” kata Ahmad.
Tapi itu tidak selalu seperti itu. Misalnya, ilmuwan data Shopify bertanggung jawab atas ETL sendiri.
Miqdad Jaffer, Senior Director of Data Product Management di Shopify, berkata, “Seorang ilmuwan data adalah orang yang paling Anda kenal dalam hal apa yang akan mereka lakukan dan set data apa yang akan mereka kerjakan.”
Stitch Fix, penerus data serupa yang mempekerjakan lusinan ilmuwan data, telah menabuh drum serupa sejak 2016. “Engineers seharusnya tidak menulis ETL,” kata Jeff Magnusson, VP Stitch Fix.
Apa itu data engineer ?
Perbedaan Data Engineer Dan Data Scientist , data engineer bertanggung jawab untuk membangun dan memelihara arsitektur sistem yang mengumpulkan dan memproses data dalam jumlah besar.
Sistem ini berfungsi sebagai pangkalan bagi data scientists untuk menarik data kerja mereka. data engineer juga membantu mengatur dan mengembangkan metode pengumpulan data yang digunakan dalam model data.
Untuk menjadi data engineer , pelamar biasanya harus memiliki gelar sarjana dalam ilmu komputer, ilmu komputer, atau bidang serupa, dan memiliki pengalaman beberapa tahun dalam rekayasa komputer atau perangkat lunak, analisis data, atau manajemen proyek.
Apa yang Dilakukan Data engineers ?
Data engineers secara rutin memelihara sistem model untuk mengumpulkan dan menggunakan data.
data engineers harus bekerja sama dengan data scientists untuk membuat alur kerja model data yang efisien.
Masalah potensial lainnya muncul karena visi produksi data engineer untuk produksi data mungkin bertentangan dengan konstruksi model yang sebenarnya.
Untuk pendekatan ETL, ilmuwan data mungkin lebih memilih metode agregasi yang sedikit berbeda daripada yang dikembangkan oleh tim teknik untuk tujuan pemodelan.
Namun, pihak teknik mungkin ragu untuk beralih tergantung pada kesulitan perubahan tersebut, kata Ahmed.
Namun, meskipun Anda berada di halaman yang sama dalam hal lingkungan, jebakan tidak dikesampingkan jika Anda kurang komunikasi.
Mari kita asumsikan bahwa model dibuat dengan Python, yang tentunya sudah tidak asing lagi bagi para data engineer.
Sisi teknik berpotensi melompat ke prototipe dan membuat perubahan yang tampaknya masuk akal bagi mereka, tetapi “bisa membuat penulis asli lebih sulit untuk dipahami,” kata Ahmed.
Akhir kata
Artikel diatas membahas tentang Perbedaan Data Engineer Dan Data Scientist , Data Engineer VS Data Scientist Semoga artikel ini dapat membantu , terimakasih