SISTEM PENERJEMAH BAHASA ISYARAT INDONESIA (BISINDO) REAL-TIME BERBASIS WEB MENGGUNAKAN METODE DEEP LEARNING CNN-LSTM DAN TEXT-TO-SPEECH

Abstract

Bahasa Isyarat Indonesia (BISINDO) merupakan media komunikasi utama bagi penyandang disabilitas rungu, namun rendahnya pemahaman masyarakat umum sering memicu hambatan komunikasi. Penelitian terkait pengenalan bahasa isyarat sebelumnya sebagian besar masih berjalan secara offline, belum terintegrasi di lingkungan web real-time, dan hanya menghasilkan keluaran berupa teks. Oleh karena itu, penelitian ini bertujuan merancang dan membangun sistem penerjemah BISINDO berbasis web real-time menggunakan metode hybrid Convolutional Neural Network (CNN) dan Long Short-Term Memory (LSTM), serta mengintegrasikannya dengan fitur Text-to-Speech (TTS). Dataset yang digunakan berupa data video primer dari 3 orang peraga, mencakup 11 kelas kategori (10 kata isyarat dan 1 kelas diam) dengan total 1.000 frame per kelas berformat grayscale (100x89 piksel). Arsitektur model membagi tugas komputasi di mana CNN mengekstraksi fitur spasial statis dan LSTM memodelkan kesinambungan temporal dari sekuens 30 frame. Model ini kemudian diintegrasikan ke dalam antarmuka aplikasi berbasis React.js dan Node.js. Hasil pengujian menunjukkan model hibrida ini mencapai tingkat akurasi statis sebesar 96% berdasarkan evaluasi Confusion Matrix. Pada pengujian fungsional real-time, penerapan aturan Confidence Threshold sebesar 80% terbukti efektif menyaring gerakan tidak tepat, sehingga sistem mampu menerjemahkan gerakan isyarat yang valid menjadi teks dan luaran suara secara akurat, meskipun masih terdapat misklasifikasi minor pada gestur dengan kemiripan spasial.