Sukses

Tianjin University Kembangkan Sistem Terjemahan Bahasa Isyarat AI

Liputan6.com, Jakarta Tianjin University of Technology (TUT) mengembangkan sistem terjemahan bahasa isyarat real-time. Teknologi ini dianggap akan memudahkan lebih banyak orang dengan gangguan pendengaran atau penyandang Tuli berkomunikasi dan mendapatkan informasi.

Peneliti mengklaim butuh waktu hampir lima tahun untuk membentuk korpus yang berisi lebih dari 300.000 materi video bahasa isyarat.

Dilansir dari salah satu media Afrika Selatan, Independent Online atau disingkat IOL, Zhang Yibin adalah mahasiswa angkatan 2019 jurusan teknik jaringan dari TUT Technical College for the Deaf. Ia juga anggota tim R&D yang mengembangkan sistem terjemahan bahasa isyarat.

Tim ini terdiri dari hampir 60 orang, dan lebih dari setengahnya adalah siswa dengan gangguan pendengaran seperti Zhang.

“Bahasa isyarat masih menjadi 'bahasa ibu' mereka hari ini,” kata Yuan Tiantian, wakil dekan Technical College for the Deaf, menambahkan bahwa aplikasi pengenalan suara masih berfokus pada orang-orang yang dapat mendengar meskipun digunakan secara luas.

“Selain dipahami, apa yang sebenarnya diinginkan oleh penyandang tunarungu adalah 'didengar,'” kata Yuan.

Bahasa isyarat adalah bahasa visual yang memiliki tata bahasa dan urutan tertentu. Ini menggabungkan gerak tubuh, ekspresi wajah, dan gerakan tubuh.

Pengenalan bahasa isyarat dan pengenalan suara memiliki satu kesamaan, keduanya harus bergantung pada korpus besar untuk berfungsi. Saat ini, korpus untuk pengenalan suara sudah sangat matang, tetapi tidak demikian halnya dengan pengenalan bahasa isyarat, kata Yuan.

 

 

* Fakta atau Hoaks? Untuk mengetahui kebenaran informasi yang beredar, silakan WhatsApp ke nomor Cek Fakta Liputan6.com 0811 9787 670 hanya dengan ketik kata kunci yang diinginkan.

2 dari 4 halaman

Sistem menerjemahkan bahasa isyarat

 

Wang Jianyuan adalah mahasiswa angkatan 2018 jurusan teknik jaringan dari TUT Technical College for the Deaf dan anggota pendiri tim R&D.

Tugas Wang dalam tim adalah memperkaya korpus bahasa isyarat, yang terdiri dari materi video. Menurutnya, dia dan timnya telah mengumpulkan lebih dari 300.000 video, dan korpusnya hampir sebesar kosakata di HSK Level 4, yang menilai kemampuan peserta tes dalam penerapan bahasa Mandarin sehari-hari.

Sun Yue, yang berada di tahun pertama studi pascasarjana di School of Computer Science and Engineering, TUT, bertanggung jawab untuk membangun algoritma dalam tim.

“Urutan kata dari bahasa isyarat dan bahasa China mungkin sangat berbeda bahkan dalam kalimat yang sama,” jelasnya, seraya menambahkan bahwa ia dan pasangannya secara bertahap membentuk kerangka kerja algoritma untuk pengenalan bahasa isyarat.

“Dalam bahasa sederhana, kami membuat buku teks bahasa isyarat untuk komputer,” katanya. “Buku teks” ini memberi tahu komputer cara menerjemahkan bahasa isyarat ke dalam bahasa Mandarin.

Saat ini, kerangka algoritma pada dasarnya mampu menerjemahkan bahasa isyarat di bawah skenario yang komprehensif.

 

 

 

 

* BACA BERITA TERKINI LAINNYA DI GOOGLE NEWS

3 dari 4 halaman

Membangun korpus yang mencakup sejuta materi video

Pada tahun 2019, sistem ini terdaftar sebagai proyek utama yang didukung oleh Ministry of Industry and Information Technology dan menerima hibah dari pemerintah, yang mempercepat laju tim R&D.

Pada bulan Mei tahun lalu, tim membawa hasil penelitian mereka ke Kongres Intelijen Dunia yang diadakan di Tianjin. “Pada saat itu, sistem telah mencakup pendidikan, hukum, makan, transportasi, dan skenario lainnya. Itu bisa mengenali 95 persen bahasa isyarat dengan pencahayaan yang cukup,” Yuan memperkenalkan.

Selain itu, sistem ini digunakan untuk menyediakan layanan pelaporan berita selama Olimpiade Musim Dingin Beijing 2022, menghadirkan pesona olahraga musim dingin kepada orang-orang dengan gangguan pendengaran.

Sekarang tim melihat semakin banyak mitra kerja sama, yang menandakan masa depan yang cerah untuk sistem pengenalan bahasa isyarat.

“Tujuan kami adalah membangun korpus yang mencakup sejuta materi video dan pada dasarnya mencakup semua skenario umum kehidupan sehari-hari,” kata Yuan.

4 dari 4 halaman

Jepang lebih dulu memiliki sistem AI bahasa isyarat

Pemerintah Jepang memanfaatkan artificial intelligent (AI) alias kecerdasan buatan untuk menerjemahkan bahasa isyarat ke dalam bentuk teks. Tujuannya untuk mengiklusifkan komunikasi dengan penyandang tunarungu dan gangguan pendengaran.

Dilansir dari Mainichi.JP, sistem yang dinamakan Sure Talk ini dikembangkan bersama oleh University of Electro-Communications di Tokyo dan SoftBank Corp dan nantinya dapat digunakan melalui smartphone. 

Teknologi ini dapat mengenali gambar dan kemudian menganalisis gerakan kerangka beberapa area tubuh, seperti gerakan jari dan lengan, yang kemudian diubah menjadi teks berbahasa Jepang. Gambar isyarat ratusan orang didigitalkan untuk mengembangkan sistem.