IMPLEMENTASI BIG DATA MENGGUNAKAN MODEL PEMROGRAMAN MAPREDUCE DAN KMEANS CLUSTERING

Abstract

Big data merujuk pada kumpulan data yang sangat besar dan kompleks, yang sulit untuk diolah dengan menggunakan metode tradisional dalam pengolahan data. Data ini dapat datang dari berbagai sumber, seperti media sosial, perangkat IoT (Internet of Things), transaksi online, dan banyak lagi. Perkembangan data yang sangat pesat ini membuat organisasi mencari metode untuk menyimpan dan mengolah data. Teknologi big data menjadi solusi untuk menyimpan data dan juga mampu mengolah data tersebut. Penggunaan MapReduce sangat penting dalam pemrosesan big data, terutama ketika data yang harus diproses sangat besar dan tersebar di banyak mesin atau server. MapReduce merupakan  model pemrograman yang digunakan untuk memproses dan menghasilkan output dari data dalam jumlah besar secara paralel dan terdistribusi. MapReduce memungkinkan pembagian tugas besar menjadi bagian-bagian kecil yang bisa diproses di banyak mesin atau node. Hadoop merupakan sebuah framework yang dapat menyimpan data dalam skala besar tanpa memperhatikan struktur dari data untuk menangani data yang banyak atau big data, diperlukan berbagai teknologi dan teknik yang lebih canggih dibandingkan dengan pengolahan data tradisional. Penelitian ini tujuan utamanya adalah untuk memanfaatkan potensi besar data yang ada untuk menciptakan wawasan yang lebih dalam, meningkatkan efisiensi operasional, dan mendukung pengambilan keputusan yang lebih cerdas. Tujuan lain juga untuk mengusulkan dan menerapkan sebuah sistem berbasis Hadoop MapReduce. Dengan memanfaatkan kekuatan Hadoop MapReduce diharapkan implementasi big data memiliki berbagai manfaat yang signifikan di banyak sektor sehinnga akhirnya dapat mendorong kinerja dan keberhasilan yang lebih baik dalam berbagai aspek bisnis atau operasional. Hasil dan kesimpulan dari penelitian implementasi K-Means dalam lingkungan big data menggunakan model pemrograman MapReduce adalah Implementasi K-Means pada data liver disorder menggunakan library Mahout dapat berjalan dengan benar. Komputasi K-Means dengan menggunakan library Mahout menghasilkan output item data centroid yang sama karena dibuktikan juga dengan penghitungan manual.