Tianjin University Kembangkan Sistem Terjemahan Bahasa Isyarat AI

Wang Jianyuan adalah mahasiswa angkatan 2018 jurusan teknik jaringan dari TUT Technical College for the Deaf dan anggota pendiri tim R&D.

Tugas Wang dalam tim adalah memperkaya korpus bahasa isyarat, yang terdiri dari materi video. Menurutnya, dia dan timnya telah mengumpulkan lebih dari 300.000 video, dan korpusnya hampir sebesar kosakata di HSK Level 4, yang menilai kemampuan peserta tes dalam penerapan bahasa Mandarin sehari-hari.

Sun Yue, yang berada di tahun pertama studi pascasarjana di School of Computer Science and Engineering, TUT, bertanggung jawab untuk membangun algoritma dalam tim.

“Urutan kata dari bahasa isyarat dan bahasa China mungkin sangat berbeda bahkan dalam kalimat yang sama,” jelasnya, seraya menambahkan bahwa ia dan pasangannya secara bertahap membentuk kerangka kerja algoritma untuk pengenalan bahasa isyarat.

“Dalam bahasa sederhana, kami membuat buku teks bahasa isyarat untuk komputer,” katanya. “Buku teks” ini memberi tahu komputer cara menerjemahkan bahasa isyarat ke dalam bahasa Mandarin.

Saat ini, kerangka algoritma pada dasarnya mampu menerjemahkan bahasa isyarat di bawah skenario yang komprehensif.

* BACA BERITA TERKINI LAINNYA DI GOOGLE NEWS

Pada tahun 2019, sistem ini terdaftar sebagai proyek utama yang didukung oleh Ministry of Industry and Information Technology dan menerima hibah dari pemerintah, yang mempercepat laju tim R&D.

Pada bulan Mei tahun lalu, tim membawa hasil penelitian mereka ke Kongres Intelijen Dunia yang diadakan di Tianjin. “Pada saat itu, sistem telah mencakup pendidikan, hukum, makan, transportasi, dan skenario lainnya. Itu bisa mengenali 95 persen bahasa isyarat dengan pencahayaan yang cukup,” Yuan memperkenalkan.

Selain itu, sistem ini digunakan untuk menyediakan layanan pelaporan berita selama Olimpiade Musim Dingin Beijing 2022, menghadirkan pesona olahraga musim dingin kepada orang-orang dengan gangguan pendengaran.

Sekarang tim melihat semakin banyak mitra kerja sama, yang menandakan masa depan yang cerah untuk sistem pengenalan bahasa isyarat.

“Tujuan kami adalah membangun korpus yang mencakup sejuta materi video dan pada dasarnya mencakup semua skenario umum kehidupan sehari-hari,” kata Yuan.

Pemerintah Jepang memanfaatkan artificial intelligent (AI) alias kecerdasan buatan untuk menerjemahkan bahasa isyarat ke dalam bentuk teks. Tujuannya untuk mengiklusifkan komunikasi dengan penyandang tunarungu dan gangguan pendengaran.

Dilansir dari Mainichi.JP, sistem yang dinamakan Sure Talk ini dikembangkan bersama oleh University of Electro-Communications di Tokyo dan SoftBank Corp dan nantinya dapat digunakan melalui smartphone. 

Teknologi ini dapat mengenali gambar dan kemudian menganalisis gerakan kerangka beberapa area tubuh, seperti gerakan jari dan lengan, yang kemudian diubah menjadi teks berbahasa Jepang. Gambar isyarat ratusan orang didigitalkan untuk mengembangkan sistem.