RANCANG BANGUN MACHINE LEARNING TERDISTRIBUSI MENGGUNAKAN APACHE HADOOP DAN APACHE SPARK UNTUK PERMASALAHAN BIG DATA

M. Didik Cahya, Indirman (2023) RANCANG BANGUN MACHINE LEARNING TERDISTRIBUSI MENGGUNAKAN APACHE HADOOP DAN APACHE SPARK UNTUK PERMASALAHAN BIG DATA. S1 thesis, Universitas Mataram.

Text TA_M_Didik_Cahya_Indirman_F1B019088.pdf Restricted to Repository staff only Download (6MB)

Abstract

Pemanfaatan big data telah menjadi tren yang signifikan dalam dunia teknologi informasi. Namun, pengolahan big data bukanlah tugas yang mudah. Teknologi kluster menjadi solusi yang efektif dalam memproses big data dengan lebih cepat. Aziz dkk. telah melakukan penelitian untuk Memanfaatkan pengelolaan sumber daya kinerja Apache Spark yang efisien, yang bertujuan untuk mengkaji pengelolaan sumber daya yang efektif dalam lingkungan Apache Spark dengan menggunakan pustaka Machine Learning (MLlib). Sehingga pada penelitian ini mengangkat permasalahan untuk bagaimana perancangan framework Apache Hadoop dan Apache Spark, apa saja kendala saat proses perancangan, dan faktor-faktor yang dapat mempengaruhi hasil dari Machine Learning, beserta pengaruh jumlah core yang dialokasikan terhadap waktu eksekusi, RMSE, dan MAPE. Metode yang digunakan yaitu melakukan percobaan menggunakan 3 studi kasus pada single node cluster dan multi node cluster menggunakan API Pyspark. Dari penelitian yang dilakukan, didapatkan hasil bahwa peningkatan jumlah core tidak mempengaruhi nilai RMSE dan MAPE. Pada studi kasus prediksi harga Bitcoin, nilai Execution Time LR dan MLR pada percobaan single node cluster menurun secara eksponensial. Alokasi core yang paling efisien yaitu sebanyak 12 core dengan nilai Execution Program sebesar 532,328s. Prediksi Harga Bitcoin membutuhkan pemrosesan yang lebih lama dikarenakan jumlah datanya sebanyak 3.613.767 baris data. Dibandingkan dengan jumlah data rumah hanya sebanyak 23.613 baris data maupun data emas sebanyak 5.585.

Item Type:	Thesis (S1)
Keywords (Kata Kunci):	Big Data, Apache Hadoop, Apache Spark, Machine Learning, klaster terdistribusi
Subjects:	T Technology > TK Electrical engineering. Electronics Nuclear engineering
Divisions:	Fakultas Teknik
Depositing User:	Meike Megawati
Date Deposited:	02 Aug 2023 05:53
Last Modified:	02 Aug 2023 05:53
URI:	http://eprints.unram.ac.id/id/eprint/41935

Actions (login required)

View Item