| NIM | H1D020033 |
|---|
| Namamhs | MUHAMMAD MUFLIH ABDURRAFI |
|---|
| Judul Artikel | PENERAPAN INTERPRETASI GESTUR SISTEM ISYARAT BAHASA INDONESIA SECARA REAL-TIME PADA PANGGILAN VIDEO MENGGUNAKAN SINGLE SHOT MULTIBOX DETECTOR ARSITEKTUR MOBILENET V3 BERBASIS DESKTOP |
|---|
| Abstrak (Bhs. Indonesia) | Sistem Isyarat Bahasa Indonesia (SIBI) merupakan salah satu sistem bahasa isyarat yang digunakan di Indonesia oleh penyandang disabilitas tunarungu dan/atau tunawicara dalam berkomunikasi. Wujudnya adalah tatanan yang sistematis tentang seperangkat isyarat jari, tangan, dan berbagai gerak yang melambangkan kosakata bahasa Indonesia. Seiring berkembangnya teknologi, layanan panggilan video semakin sering digunakan dalam kehidupan sehari-hari. Namun, teman tuli tidak dapat memanfaatkan layanan tersebut secara maksimal dikarenakan adanya keterbatasan menggunakan komunikasi visual. Untuk mempermudah orang awam dalam memahami bahasa isyarat yang digunakan oleh teman tuli ketika berkomunikasi menggunakan panggilan video, diadakannya sebuah penelitian untuk membuat sebuah aplikasi yang dapat mendeteksi, memahami, dan menerjemahkan makna dari gestur bahasa isyarat yang dapat digunakan pada layanan panggilan video. Metode yang digunakan yaitu Single Shot Multibox Detector (SSD) dengan base network arsitektur MobileNet V3. Nilai F1-score, recall, precision, dan accuracy yang dihasilkan pada pengujian model menunjukkan hasil yang sangat baik, mencapai ±0,998. Kemudian model di-deploy ke dalam aplikasi desktop berbasis Python untuk mendeteksi bahasa isyarat SIBI pada layanan panggilan video. Hasil pengujian blackbox dan user acceptance testing dari aplikasi menunjukkan bahwa aplikasi sudah berjalan dengan baik dan masuk ke dalam kategori “Sangat Baik.” |
|---|
| Abtrak (Bhs. Inggris) | The Indonesian Sign Language System (SIBI) is a sign language system used in Indonesia by deaf and/or speech impaired people in communicating. The form is a systematic arrangement of a set of finger, hand, and various movements that symbolize Indonesian vocabulary. As technology develops, video calling services are increasingly used in everyday life. However, deaf friends cannot take full advantage of this service due to limitations in using visual communication. To make it easier for ordinary people to understand the sign language used by deaf friends when communicating using video calls, a research was conducted to create an application that can detect, understand, and translate the meaning of sign language gestures that can be used in video calling services. The method used is Single Shot Multibox Detector (SSD) with a MobileNet V3 architecture base network. The F1-score, recall, precision and accuracy values produced in model testing shows very good results, reaching ±0.998. Then the model is deployed into a Python-based desktop application to detect SIBI sign language on video calling services. The results of blackbox and user acceptance testing indicate that the application performs well and falls into the "Very Good" category. |
|---|
| Kata kunci | bahasa isyarat, mobilenet v3, panggilan video, SIBI, single shot multibox detector |
|---|
| Pembimbing 1 | Ir. Bangun Wijayanto, S.T., M.Cs., IPM. |
|---|
| Pembimbing 2 | Nur Alfi Ekowati, S.Kom., M.Sc. |
|---|
| Pembimbing 3 | |
|---|
| Tahun | 2024 |
|---|
| Jumlah Halaman | 13 |
|---|
| Tgl. Entri | 2024-07-29 10:14:41.202523 |
|---|