Random Forest merupakan salah satu metode yang digunakan untuk menyelesaikan permasalahan. Metode ini merupakan metode pohon gabungan yang berasal dari metode classification and regression tree (CART) dan didasarkan pada teknik pohon keputusan (decision tree), sehingga mampu mengatasi masalah non-linier. Dalam random forest, banyak pohon ditumbuhkan, sehingga terbentuk suatu hutan (forest). Analisis selanjutnya akan dilakukan pada kelompok hutan tersebut.

Pada gugus data yang terdiri atas n amatan dan p peubah penjelas, prosedur melaksanakan random forest menurut Breiman (2001) dilakukan dalam tiga tahap. Tahap pertama atau tahap bootstrap, dilakukan penarikan contoh acak berukuran n dengan pemilihan pada gugus data. Berikutnya dengan menggunakan contoh bootstrap, pohon dibangun sampai mencapai ukuran maksimum (tanpa pemangkasan). Pembangunan pohon dilakukan dengan menerapkan random feature selection pada setiap proses pemilihan pemilah, yaitu m peubah penjelas dipilih secara acak dengan m < p, lalu pemilah terbaik dipilih berdasarkan m peubah penjelas tersebut. Terakhir, ulangi langkah satu dan dua sebanyak k kali, sehingga terbentuk sebuah hutan yang terdiri atas k pohon.

Random forest memprediksi respons suatu amatan dengan cara menggabungkan (aggregating) hasil prediksi k pohon. Untuk masalah klasifikasi, pohon yang dibangun adalah pohon klasifikasi sedangkan hasil prediksi random forest dipilih berdasarkan suara terbanyak, yaitu kategori atau kelas yang paling sering muncul sebagai hasil prediksi dari k pohon klasifikasi.

Untuk melakukan random forest yang menghasilkan variable importance, disarankan untuk menggunakan banyak pohon, misalnya seribu pohon atau lebih. Jika peubah penjelas yang dianalisis sangat banyak, nilai tersebut sebaiknya lebih besar agar variable importance yang dihasilkan semakin stabil (Breiman dan Cutler).