| NIM | H1A017085 |
|---|
| Namamhs | ABU BAKAR ASH SHIDIQ AL MUQAYYIM |
|---|
| Judul Artikel | PENGENALAN ISYARAT TANGAN SISTEM BAHASA ISYARAT INDONESIA (SIBI) DENGAN ALGORITME YOLO |
|---|
| Abstrak (Bhs. Indonesia) | Tuna rungu adalah kondisi dimana terganggunya fungsi pendengaran seseorang yang bisa berlangsung sementara atau permanen. Sedangkan tuna wicara merupakan suatu kelainan fisik dimana orang tersebut memiliki gangguan dalam berbicara dan bahkan sebagian lainnya tidak bisa bicara sama sekali. Di Indonesia terdapat dua sistem bahasa isyarat yaitu bahasa isyarat Indonesia (BISINDO) dan sistem bahasa isyarat Indonesia (SIBI). Bagi para tuna rungu dan tuna wicara bahasa isyarat tersebut merupakan umum bagi mereka tetapi asing bagi orang normal pada umumnya. Hal ini dapat mengganggu keharmonisan dan hubungan antara penderita tuna rungu dan tuna wicara dengan orang normal. Maka dari itu, dibutuhkan suatu sistem yang dapat menjembatani hubungan antara penderita tuna rungu dan tuna wicara dengan orang normal dalam hal komunikasi. Pendeteksi bahasa isyarat tangan Indonesia (SIBI) dibuat menggunakan algoritme deep learning dengan model pendeteksi You Only Look Once (YOLO). Hasil pelatihan menggunakan arsitektur Yolov4-tiny untuk pengenalan bahasa isyarat tangan SIBI mendapatkan nilai mAP sebesar 100%, dengan nilai precision 1.00, recall 1.00 dan f1-score 1.00 dimulai dari iterasi ke 70000. Pada pengujian sistem dengan data test gambar, nilai akurasi yang didapatkan adalah 95.34%. Untuk pengujian dengan parameter intensitas cahaya, sistem dapat berjalan dengan sangat baik pada intensitas cahaya 315 – 320 lux dan 420 – 425 lux dengan nilai akurasi sebesar 100%. Sedangkan pada intensitas cahaya rendah yakni 25 – 30 lux akurasi yang didapatkan hanya sebesar 87.5%. Kemudian pengujian menggunakan parameter jarak, hasil pengenalan objek yang terbaik adalah pada jarak 30 cm dengan nilai akurasi mencapai 100%. Sedangkan pada jarak 60 cm dan 90 cm akurasi yang didapatkan hanya sebesar 90.9% dan 30.3%. Pengenalan bahasa isyarat tangan SIBI juga dapat berjalan pada aplikasi in-browser menggunakan library Flask. |
|---|
| Abtrak (Bhs. Inggris) | Deafness is a condition where the hearing function of a person is disturbed which can be temporary or permanent. Meanwhile, speech impairment is a physical disorder in which the person has a speech disorder and some others cannot even speak at all. In Indonesia, there are two sign language systems, namely bahasa isyarat Indonesia (BISINDO) and sistem bahasa isyarat Indonesia (SIBI). For the deaf and speech impaired sign language is common to them but foreign to normal people in general. This can disturb the harmony and relationship between deaf and mute persons with normal people. Therefore, we need a system that can bridge the relationship between deaf and mute people with normal people in terms of communication. The Indonesian hand sign language (SIBI) detector was created using a deep learning algorithm with the You Only Look Once (YOLO) detection model. The results of the training using the Yolov4-tiny architecture for SIBI hand sign language recognition get an mAP value of 100%, with a precision value of 1.00, recall 1.00 and f1-score 1.00 starting from the 7000th iteration. In testing the system with image test data, the accuracy value obtained is 95.34%. For testing with light intensity parameters, the system can run very well at light intensities of 315 – 320 lux and 420 – 425 lux with an accuracy value of 100%. While at low light intensity, namely 25 - 30 lux, the accuracy obtained is only 87.5%. Then testing using the distance parameter, the best object recognition results are at a distance of 30 cm with an accuracy value reaching 100%. Meanwhile, at a distance of 60 cm and 90 cm, the accuracy obtained is only 90.9% and 30.3%, respectively. SIBI hand sign language recognition can also run on in-browser applications using the Flask library. |
|---|
| Kata kunci | bahasa isyarat, SIBI, Google Colaboratory, deep learning, Flask, in-browser application. |
|---|
| Pembimbing 1 | Imron Rosyadi, S.T., M.Sc. |
|---|
| Pembimbing 2 | Muhammad Syaiful Aliim, S.T., M.T. |
|---|
| Pembimbing 3 | |
|---|
| Tahun | 2021 |
|---|
| Jumlah Halaman | 16 |
|---|
| Tgl. Entri | 2021-10-28 14:43:28.629937 |
|---|