Penerapan Convolutional Neural Network Pada Aplikasi Terjemahan Bahasa Isyarat Indonesia Berbasis Android

Wulan Zahra  Putri; Irma  Salamah; Emilia Hesti

doi:10.51454/decode.v5i2.1226

Authors

Wulan Zahra Putri Teknik Telekomunikasi Politeknik Negeri Sriwijaya
Irma Salamah Teknik Telekomunikasi Politeknik Negeri Sriwijaya
Emilia Hesti Teknik Telekomunikasi Politeknik Negeri Sriwijaya

DOI:

https://doi.org/10.51454/decode.v5i2.1226

Keywords:

Android, Bahasa Isyarat Indonesia, Convolutional Neural Network, MobileNetV2

Abstract

Pentingnya bahasa isyarat terletak pada perannya sebagai sistem komunikasi visual-manual, di mana isyarat tangan, mimik wajah, dan gerakan badan digunakan untuk menyampaikan informasi. Sistem ini terutama digunakan oleh individu tunarungu sebagai metode komunikasi utama mereka. Walaupun krusial, akses yang terbatas terhadap sumber belajar sering kali menjadi kendala signifikan dalam upaya mempelajari Bahasa Isyarat Indonesia (BISINDO) secara efektif. Menanggapi tantangan ini, penelitian ini dilakukan dengan tujuan mengembangkan aplikasi terjemahan bahasa isyarat melalui integrasi Convolutional Neural Network (CNN), diterapkan secara spesifik melalui arsitektur MobileNetV2. Dalam proses pengembangannya, aplikasi ini menggunakan dataset yang terdiri dari 2000 video, yang selanjutnya diubah menjadi 48.000 bingkai gambar untuk pelatihan model. Pengujian yang dilakukan menunjukkan bahwa akurasi pengenalan gerakan tangan bahasa isyarat mencapai 76%, dengan total loss tercatat sebesar 0.81. Data ini mengindikasikan bahwa model menunjukkan performa yang memadai dalam mengklasifikasikan mayoritas data pelatihan. Selain fitur deteksi gerakan tangan untuk bahasa isyarat, aplikasi ini juga memiliki fitur terjemahan teks ke isyarat, yang dapat mengonversi kata menjadi gambar gerakan bahasa isyarat. Selanjutnya, terdapat fitur kamus yang menyajikan daftar kata-kata, masing-masing dilengkapi dengan video demonstrasi gerakan bahasa isyarat yang relevan. Fitur-fitur ini bertujuan untuk memfasilitasi dan mempercepat proses pembelajaran BISINDO, menjadikannya mudah diakses bagi individu yang ingin menguasainya.

References

Alfikri, R. H., Utomo, M. S., Februariyanti, H., & Nurwahyudi, E. (2022). Pembangunan Aplikasi Penerjemah Bahasa Isyarat Dengan Metode Cnn Berbasis Android. Jurnal Teknoinfo, 16(2), 183. https://doi.org/10.33365/jti.v16i2.1752

Arisandi, L., & Satya, B. (2022). Sistem Klarifikasi Bahasa Isyarat Indonesia (Bisindo) Dengan Menggunakan Algoritma Convolutional Neural Network. Jurnal Sistem Cerdas, 5(3), 135–146. https://doi.org/10.37396/jsc.v5i3.262

Bell, C. (2023). MySQL Database Service. MySQL Database Service Revealed, 137–195. https://doi.org/10.1007/978-1-4842-8945-7_4

Borman, R. I., Priyopradono, B., & Syah, A. R. (2018). Klasifikasi Objek Kode Tangan pada Pengenalan Isyarat Alphabet Bahasa Isyarat Indonesia (BISINDO). Seminar Nasional Informatika Dan Aplikasinya (SNIA), September, 1–4. https://doi.org/10.31227/OSF.IO/C7V2Z

Dewi, M., Wahyuningrum, T., & Prasetyo, N. A. (2021). Pengenalan Kata Bahasa Isyarat Indonesia (BISINDO) Menggunakan Augmented Reality (AR). INISTA: Journal of Informatics, Information System, Software Engineering and Applications, 3(2), 53–60. https://journal.ittelkom- https://doi.org/10.20895/inista.v3i2.256

Kattenborn, T., Leitloff, J., Schiefer, F., & Hinz, S. (2021). Review on Convolutional Neural Networks (CNN) in vegetation remote sensing. ISPRS Journal of Photogrammetry and Remote Sensing, 173(July 2020), 24–49. https://doi.org/10.1016/j.isprsjprs.2020.12.010

Maharana, K., Mondal, S., & Nemade, B. (2022). A review: Data pre-processing and data augmentation techniques. Global Transitions Proceedings, 3(1), 91–99. https://doi.org/10.1016/j.gltp.2022.04.020

Nasha Hikmatia A.E., & Zul, M. I. (2021). Aplikasi Penerjemah Bahasa Isyarat Indonesia menjadi Suara berbasis Android menggunakan Tensorflow. Jurnal Komputer Terapan, 7(1), 74–83. https://doi.org/10.35143/jkt.v7i1.4629

Nugraheni, A. S., Husain, A. P., & Unayah, H. (2023). Optimalisasi Penggunaan Bahasa Isyarat Dengan Sibi Dan Bisindo Pada Mahasiswa Difabel Tunarungu Di Prodi Pgmi Uin Sunan Kalijaga. Jurnal Holistika, 5(1), 28. https://doi.org/10.24853/holistika.5.1.28-33

Nurhayati, O. D., Eridani, D., & Tsalavin, M. H. (2022). Sistem Isyarat Bahasa Indonesia (SIBI) Metode Convolutional Neural Network Sequential secara Real Time. Jurnal Teknologi Informasi Dan Ilmu Komputer, 9(4), 819–828. https://doi.org/10.25126/jtiik.2022944787

Oliveira, V., Teixeira, L., & Ebert, F. (2020). On the Adoption of Kotlin on Android Development: A Triangulation Study. SANER 2020 - Proceedings of the 2020 IEEE 27th International Conference on Software Analysis, Evolution, and Reengineering, 206–216. https://doi.org/10.1109/SANER48275.2020.9054859

Peran, M., Kecerdasan, P., Kualitas, B., & Hermawan, G. (2024). Memahami Peran Dataset dalam Penelitian Kecerdasan Buatan : Kualitas , Aksesibilitas , dan Tantangan. October. https://doi.org/10.13140/RG.2.2.34468.49288

Praniffa, A., C., Syahri, A., Sandes, F., Fariha, U., Giansyah, Q., A, & Hamzah, M. (2023). Pengujian Sistem Informasi Parkir Berbasis Web Pada UIN SUSKA RIAU Menggunakan White Box dan Black Box Testing. Jurnal Testing Dan Implementasi Sistem Informasi, 1(1), 1–16. https://doi.org/10.55583/jtisi.v1i1.321

Prasiwiningrum, E., & Lubis, A. (2024). Classification Of Palm Oil Maturity Using CNN ( Convolution Neural Network ) Modelling RestNet 50. Decode 4(3), 983–999. https://doi.org/10.51454/decode.v4i3.822

Riyadhi, I. M., Intan Purnamasari, & Kamal Prihandani. (2023). Penerapan Pola Arsitektur Mvvm Pada Perancangan Aplikasi Pengaduan Masyarakat Berbasis Android. INFOTECH Journal, 9(1), 147–158. https://doi.org/10.31949/infotech.v9i1.5246

Saputra, R., Wibowo, G. W. N., Zyen, A. K. (2025). Sistem Klasifikasi Alfabet Bahasa Isyarat Indonesia Menggunakan CNN dengan MobileNetV2 berbasis Android. JUPITER 17(1), 237–248. https://doi.org/10.5281/zenodo.14686025

Sutarti, S., Syaqialloh, F. (2025). Klasifikasi dan Pengenalan Emosi dari Ekspresi Wajah Menggunakan CNN-BiLSTM dengan Teknik Data Augmentation. DECODE 5(1), 79–91. https://doi.org/10.51454/decode.v5i1.1038

Wahyudi, J., Asbari, M., Sasono, I., Pramono, T., & Novitasari, D. (2022). Database Management Education in MYSQL. Edumaspul: Jurnal Pendidikan, 6(2), 2413–2417. https://doi.org/10.33487/edumaspul.v6i2.4570

Yunus, M., & Anwar, Y. (2022). Aplikasi Penerjemah Bahasa Isyarat Indonesia Ke Dalam Huruf Abjad. Jurnal Sintaks Logika, 2(1), 257–262. https://doi.org/10.31850/jsilog.v2i1.1726