DSpace Repository

SISTEM PENERJEMAH BAHASA ISYARAT INDONESIA (BISINDO) REAL-TIME BERBASIS WEB MENGGUNAKAN METODE DEEP LEARNING CNN-LSTM DAN TEXT-TO-SPEECH

Show simple item record

dc.contributor.author NABIEL, MUHAMMAD IMJAUZANANSYAH
dc.date.accessioned 2026-06-03T04:04:44Z
dc.date.available 2026-06-03T04:04:44Z
dc.date.issued 2026-04-11
dc.identifier.uri http://repository.umsu.ac.id/handle/123456789/31294
dc.description.abstract Bahasa Isyarat Indonesia (BISINDO) merupakan media komunikasi utama bagi penyandang disabilitas rungu, namun rendahnya pemahaman masyarakat umum sering memicu hambatan komunikasi. Penelitian terkait pengenalan bahasa isyarat sebelumnya sebagian besar masih berjalan secara offline, belum terintegrasi di lingkungan web real-time, dan hanya menghasilkan keluaran berupa teks. Oleh karena itu, penelitian ini bertujuan merancang dan membangun sistem penerjemah BISINDO berbasis web real-time menggunakan metode hybrid Convolutional Neural Network (CNN) dan Long Short-Term Memory (LSTM), serta mengintegrasikannya dengan fitur Text-to-Speech (TTS). Dataset yang digunakan berupa data video primer dari 3 orang peraga, mencakup 11 kelas kategori (10 kata isyarat dan 1 kelas diam) dengan total 1.000 frame per kelas berformat grayscale (100x89 piksel). Arsitektur model membagi tugas komputasi di mana CNN mengekstraksi fitur spasial statis dan LSTM memodelkan kesinambungan temporal dari sekuens 30 frame. Model ini kemudian diintegrasikan ke dalam antarmuka aplikasi berbasis React.js dan Node.js. Hasil pengujian menunjukkan model hibrida ini mencapai tingkat akurasi statis sebesar 96% berdasarkan evaluasi Confusion Matrix. Pada pengujian fungsional real-time, penerapan aturan Confidence Threshold sebesar 80% terbukti efektif menyaring gerakan tidak tepat, sehingga sistem mampu menerjemahkan gerakan isyarat yang valid menjadi teks dan luaran suara secara akurat, meskipun masih terdapat misklasifikasi minor pada gestur dengan kemiripan spasial. en_US
dc.publisher UMSU en_US
dc.subject BISINDO en_US
dc.subject Deep Learning en_US
dc.subject CNN-LSTM en_US
dc.subject Text-to-Speech en_US
dc.subject Web Real-Time en_US
dc.title SISTEM PENERJEMAH BAHASA ISYARAT INDONESIA (BISINDO) REAL-TIME BERBASIS WEB MENGGUNAKAN METODE DEEP LEARNING CNN-LSTM DAN TEXT-TO-SPEECH en_US
dc.type Thesis en_US


Files in this item

This item appears in the following Collection(s)

Show simple item record

Search DSpace


Browse

My Account