Analisis Performa Convolutional Neural Network untuk Deteksi Microsleep Berbasis Edge AI Pada ESP32-CAM

Denis Prayogi; Hadriansa Hadriansa; Kariyamin Kariyamin; Muhammad Rizky  Adira

doi:10.51454/decode.v6i2.1731

Authors

Denis Prayogi Teknik Informatika STMIK PPKIA Tarakanita Rahmawati
Hadriansa Hadriansa Teknik Informatika STMIK PPKIA Tarakanita Rahmawati
Kariyamin Kariyamin Teknologi Informasi Institut Teknologi dan Bisnis Muhammadiyah Wakatobi
Muhammad Rizky Adira Teknik Informatika, STMIK PPKIA Tarakanita Rahmawati

DOI:

https://doi.org/10.51454/decode.v6i2.1731

Keywords:

CNN, Deteksi Kantuk, Edge AI, ESP32-CAM, Microsleep

Abstract

Kantuk saat berkendara merupakan ancaman keselamatan yang serius, salah satunya melalui kondisi microsleep yang terjadi tanpa disadari namun dapat menyebabkan pengemudi kehilangan kendali kendaraan. Penelitian ini bertujuan untuk menganalisis performa model Convolutional Neural Network (CNN) ringan dalam mendeteksi kondisi microsleep secara real-time pada perangkat Edge AI berbasis ESP32-CAM sebagai solusi deteksi kantuk yang terjangkau dan mandiri tanpa ketergantungan pada komputasi eksternal. Model dikembangkan menggunakan platform Edge Impulse dengan arsitektur CNN ringan dan dilatih pada 3.872 citra mata serta diuji pada 974 citra dari MRL Eye Dataset. Seluruh citra dikonversi ke format grayscale berukuran 24×24 piksel sebelum proses pelatihan. Dengan konfigurasi 50 epoch, learning rate 0,0005, dan kuantisasi INT8, model mencapai akurasi validasi sebesar 94,5%. Ketika diimplementasikan pada ESP32-CAM, waktu inferensi yang diperoleh sebesar 41 ms per frame dengan konsumsi RAM 7,9 KB dan memori flash 31,2 KB. Evaluasi pada perangkat dilakukan melalui pengujian variasi jarak kamera dan kondisi pencahayaan. Deteksi microsleep ditentukan berdasarkan durasi mata tertutup, yaitu kurang dari satu detik tidak terdeteksi, satu hingga dua detik memberikan peringatan awal, dan lebih dari dua detik mengaktifkan alarm. Hasil pengujian menunjukkan sistem memiliki performa yang baik pada kondisi pencahayaan normal, meskipun masih mengalami keterbatasan pada kondisi cahaya ekstrem. Oleh karena itu, validasi lebih lanjut pada kondisi berkendara nyata masih diperlukan sebelum sistem dapat diterapkan secara penuh.

References

Abdurrahman, N., Rahmat, B., & Sihananto, A. N. (2023). Perbandingan Performa Klasifikasi Citra Ikan Menggunakan Metode K-Nearest Neighbor (K-NN) Dan Convolutional Neural Network (CNN). Jurnal Sistem Informasi Dan Informatika (JUSIFOR), 2(2), 84–93. https://doi.org/10.33379/jusifor.v2i2.3728

Admin. (2024). Kecelakaan Lalu Lintas Paling Sering Terjadi saat Kendaraan Melaju 40 Km/Jam. Pusiknas Polri. https://pusiknas.polri.go.id/detail_artikel/kecelakaan_lalu_lintas_paling_sering_terjadi_saat_kendaraan_melaju_40_km_jam

Akbar, Y., Bintoro, B., Mulyana, D. I., & Lestari, S. (2024). Deteksi Microsleep Menggunakan Convolutional Neural Network Dengan Sensor ESP32 Pada Pengemudi. INTECOMS: Journal of Information Technology and Computer Science, 7(5), 1668–1674. https://doi.org/10.31539/intecoms.v7i5.12142

Alajlan, N. N., & Ibrahim, D. M. (2023). DDD TinyML: A TinyML-Based Driver Drowsiness Detection Model Using Deep Learning. Sensors, 23(12), 1–35. https://doi.org/https://doi.org/10.3390/s23125696

Donskoy, D., Gvindjiliya, V., & Ivliev, E. (2025). TinyML Classification for Agriculture Objects with ESP32. Digital, 5(4), 1–14. https://doi.org/10.3390/digital5040048

Fanariotis, A., Orphanoudakis, T., Kotrotsios, K., Fotopoulos, V., Keramidas, G., & Karkazis, P. (2023). Power Efficient Machine Learning Models Deployment on Edge IoT Devices. Sensors, 23(3), 1–20. https://doi.org/10.3390/s23031595

Gaffar, A. W. M., Widyawati, D., Fahmi, F., & Ulfiani, S. (2025). Deteksi dan Klasifikasi Jenis Kacang-Kacangan Menggunakan CNN Berbasis ESP32-Cam. Jurnal Minfo Polgan, 14(2), 2234–2241. https://doi.org/https://doi.org/10.33395/jmp.v14i2.15359

Iswahyudi, R., Ikhsan, A. F., & Matin, I. M. M. (2024). Deteksi Kantuk Menggunakan Convolutional Neural Network (CNN) Berdasarkan Kedipan Mata. Fuse-Teknik Elektro, 4(2), 115–124.

Mahmud, Ysuandi, I. A., Amir, A. A., Sulaiman, M. A., & Humera, A. P. (2026). Sistem Inventarisasi Kerusakan Perkerasan Jalan Deep Learning Dengan Arsitektur Convolutional Neural Network ( CNN ) YOLOv8. DECODE: Jurnal Pendidikan Teknologi Informasi, 6(1), 213–222. https://doi.org/http://dx.doi.org/10.51454/decode.v6i1.1511

Maulidin, M. A. (2024). 80 Persen Kecelakaan Lalu Lintas Akibat Human Error. Isafetymagazine. https://isafetymagazine.com/80-persen-kecelakaan-lalu-lintas-akibat-human-error/

Ngo, D., Park, H. C., & Kang, B. (2025). Edge Intelligence: A Review of Deep Neural Network Inference in Resource-Limited Environments. Electronics, 14(12), 1–54. https://doi.org/10.3390/electronics14122495

Nurdiansyah, D., Satrianansyah, S., & Sobri, A. (2024). Smart Robot Object Detection Menggunakan Esp-32 Cam. Jurnal Teknik Informasi Dan Komputer (Tekinkom), 7(1), 272–279. https://doi.org/10.37600/tekinkom.v7i1.1296

Pan, H., Logan, D. B., Stephens, A. N., Payre, W., Wang, Y., Peng, Z., Qin, Y., & Koppel, S. (2025). Exploring The Effect Of Driver Drowsiness On Takeover Performance During Automated Driving: An Updated Literature Review. Accident Analysis and Prevention, 216(March). https://doi.org/10.1016/j.aap.2025.108023

Pantho, M. J. H., Bhowmik, P., & Bobda, C. (2021). Towards an Efficient CNN Inference Architecture Enabling In-Sensor Processing. Sensors, 21(6), 1–20. https://doi.org/https://doi.org/10.3390/s21061955

Purba, A. M., Mahardika, F., Desmana, S., & Moniroh, N. (2026). Deteksi Kantuk Pengemudi Berdasarkan Keterbukaan Mata Menggunakan Model Ringan dari Spatiotemporal Pyramidal CNN. Sudo Jurnal Teknik Informatika, 4(4), 355–366. https://doi.org/10.56211/sudo.v4i4.1342

Ramadhani L. Q., N., Suhartono, E., Aulia, S., & Hadiyoso, S. (2021). Deteksi Kantuk pada Pengemudi Berdasarkan Penginderaan Wajah Menggunakan PCA dan SVM. Jurnal Rekayasa Elektrika, 17(2), 129–136. https://doi.org/10.17529/jre.v17i2.19884

Rodiah, Susetianingtias, D. T., & Patriya, E. (2025). Model Convolutional Neural Network (CNN) Custom Sequential untuk Klasifikasi Citra Ikan Hias Carassius Auratus pada Industri Akuakultur. Decode: Jurnal Pendidikan Teknologi Informasi, 5(3), 813–825. https://doi.org/http://dx.doi.org/10.51454/decode.v5i3.1229

Safarov, F., Akhmedov, F., Abdusalomov, A. B., Nasimov, R., & Cho, Y. I. (2023). Real-Time Deep Learning-Based Drowsiness Detection: Leveraging Computer-Vision and Eye-Blink Analyses for Enhanced Road Safety. Sensors, 23(14), 1–15. https://doi.org/10.3390/s23146459

Saputri, R. S., Apriliani, A., Amar, R. S., & Astri, L. Y. (2025). Deteksi Dini Microsleep Pada Pengemudi Kendaraan Roda Empat Melalui Citra Mata Menggunakan Algoritma YOLOv8. Jurnal Processor, 20(2), 165–179. https://doi.org/10.33998/processor.2025.20.2.2529

Sugeng, S., & Nizar, T. N. (2023). Deteksi Aktivitas Mata, Mulut Dan Kemiringan Kepala Sebagai Fitur Untuk Deteksi Kantuk Pada Pengendara Mobil. Komputika : Jurnal Sistem Komputer, 12(1), 91–99. https://doi.org/10.34010/komputika.v12i1.9688

Xu, M., Yoon, S., Fuentes, A., & Park, D. S. (2023). A Comprehensive Survey of Image Augmentation Techniques for Deep Learning. Pattern Recognition, 137, 1–12. https://doi.org/10.1016/j.patcog.2023.109347

Ziliwu, J. R., Setyawan, G. C., & Budiati, H. (2024). Penerapan ESP32-CAM dan TinyML dalam Klasifikasi Gambar Buah dan Sayuran. Jutisi : Jurnal Ilmiah Teknik Informatika Dan Sistem Informasi, 13(1), 584. https://doi.org/10.35889/jutisi.v13i1.1869