Abstract:
Bahasa Isyarat Indonesia (BISINDO) merupakan media komunikasi utama bagi
penyandang disabilitas rungu, namun rendahnya pemahaman masyarakat umum
sering memicu hambatan komunikasi. Penelitian terkait pengenalan bahasa isyarat
sebelumnya sebagian besar masih berjalan secara offline, belum terintegrasi di
lingkungan web real-time, dan hanya menghasilkan keluaran berupa teks. Oleh
karena itu, penelitian ini bertujuan merancang dan membangun sistem penerjemah
BISINDO berbasis web real-time menggunakan metode hybrid Convolutional
Neural Network (CNN) dan Long Short-Term Memory (LSTM), serta
mengintegrasikannya dengan fitur Text-to-Speech (TTS). Dataset yang digunakan
berupa data video primer dari 3 orang peraga, mencakup 11 kelas kategori (10
kata isyarat dan 1 kelas diam) dengan total 1.000 frame per kelas berformat
grayscale (100x89 piksel). Arsitektur model membagi tugas komputasi di mana
CNN mengekstraksi fitur spasial statis dan LSTM memodelkan kesinambungan
temporal dari sekuens 30 frame. Model ini kemudian diintegrasikan ke dalam
antarmuka aplikasi berbasis React.js dan Node.js. Hasil pengujian menunjukkan
model hibrida ini mencapai tingkat akurasi statis sebesar 96% berdasarkan
evaluasi Confusion Matrix. Pada pengujian fungsional real-time, penerapan aturan
Confidence Threshold sebesar 80% terbukti efektif menyaring gerakan tidak tepat,
sehingga sistem mampu menerjemahkan gerakan isyarat yang valid menjadi teks dan luaran suara secara akurat, meskipun masih terdapat misklasifikasi minor
pada gestur dengan kemiripan spasial.