Akurasi ChatGPT untuk Pengambilan Keputusan Klinis Capai 72 Persen

Liputan6.com, Jakarta - ChatGPT menunjukkan akurasi 72 persen dalam pengambilan keputusan klinis secara keseluruhan menurut studi terkini yang dipimpin oleh para peneliti dari Mass General Brigham.

Itu mencakup tugas mulai dari menyarankan diagnosis potensial hingga membuat diagnosis akhir dan keputusan manajemen perawatan.

Temuan yang terbit di Journal of Medical Internet Research itu menjelaskan potensi peran kecerdasan buatan (Artificial Intelligence, AI) di sektor perawatan kesehatan.

Tim peneliti menyebut bahwa ChatGPT menunjukkan kinerja yang konsisten baik dalam perawatan primer maupun darurat di berbagai spesialisasi medis.

Salah satu peneliti, Marc Succi, Associate Chair of Innovation and Commercialization and Strategic Innovation Leader di Mass General Brigham, menyebut bahwa penelitian mereka "secara komprehensif menilai dukungan keputusan melalui ChatGPT sejak awal menangani pasien hingga seluruh skenario perawatan, mulai dari diferensial diagnosis hingga pengujian, diagnosis, dan manajemen.

Dia pun menyamakan kinerja chatbot AI ini dengan seorang profesional medis yang baru lulus, dan menyoroti potensinya sebagai alat yang berharga untuk pengambilan keputusan klinis.

Kecerdasan buatan dengan cepat mengubah banyak industri, termasuk layanan kesehatan. Namun, sejauh mana Model Bahasa Besar (Large Language Model, LLM) seperti ChatGPT dapat membantu dalam perawatan klinis belum dieksplorasi secara menyeluruh hingga saat ini.

Studi lintas-spesialisasi yang komprehensif ini berupaya untuk menentukan apakah ChatGPT dapat menavigasi seluruh pertemuan klinis, termasuk merekomendasikan pemeriksaan diagnostik, menyusun rencana manajemen klinis, dan mengeluarkan diagnosis akhir.

Penelitian ini menggunakan metodologi yang unik. Sketsa klinis, yang distandarisasi dan diterbitkan sebelumnya, dimasukkan secara berurutan ke dalam chatbot AI buatan OpenAI ini.

Maraknya aplikasi penulisan kecerdasan buatan ChatGPT memprihatinkan banyak pihak karena kini lebih sulit mengungkap keaslian sebuah tulisan. Sejumlah perusahaan berlomba membuat alat pendeteksi yang bisa mengidentifkasi apakah tulisan dibuat oleh ma...

2 dari 4 halaman

Metodologi

Awalnya, ChatGPT bertugas membuat daftar kemungkinan diagnosis, atau diagnosis banding, berdasarkan informasi awal pasien, termasuk usia, jenis kelamin, gejala, dan urgensi kasus.

Selanjutnya, informasi tambahan diberikan, dan ChatGPT diminta untuk membuat keputusan manajemen klinis dan memberikan diagnosis akhir, yang menyimulasikan pertemuan pasien yang sebenarnya.

Panel ahli kemudian menilai kinerja ChatGPT dalam proses buta, memberikan poin untuk tanggapan yang benar dan menggunakan regresi linier untuk menguji hubungan antara kinerja ChatGPT dan informasi demografis dalam sketsa.

Hasilnya mengungkapkan bahwa ChatGPT mencapai akurasi keseluruhan sekitar 72 persen. Khususnya, kinerjanya unggul dalam memberikan diagnosis akhir, dengan tingkat akurasi mencapai 77 persen. Namun, ChatGPT mengalami kesulitan terbesar dalam menghasilkan diagnosis banding, yang hanya akurat 60 persen.

Kinerjanya dalam pengambilan keputusan manajemen klinis, seperti meresepkan obat setelah diagnosis yang benar, mencapai tingkat akurasi sebesar 68 persen. Yang penting, penelitian ini menemukan bahwa respons ChatGPT bebas dari bias gender, dan kinerjanya tetap konsisten baik di layanan primer maupun darurat.

3 dari 4 halaman

Optimisme

Succi menyoroti pentingnya kinerja ChatGPT dalam diagnosis akhir, menekankan bahwa kinerja ChatGPT unggul ketika dokter memiliki informasi awal yang terbatas dan memerlukan daftar diagnosis potensial. Hal ini menggarisbawahi pentingnya AI dalam mendukung profesional kesehatan pada tahap awal perawatan pasien.

Namun, penulis mengingatkan bahwa sebelum mengintegrasikan alat seperti ChatGPT ke dalam perawatan klinis, diperlukan penelitian patokan tambahan dan panduan peraturan. Tim peneliti sekarang sedang menjajaki apakah alat AI ini dapat meningkatkan pelayanan dan hasil pasien di area dengan sumber daya terbatas di rumah sakit.

Kemunculan alat AI dalam layanan kesehatan memberikan harapan besar dan dapat membentuk kembali rangkaian layanan kesehatan secara positif.

Penulis lainnya, Adam Landman, Chief Information Officer dan Senior Vice President Digital di Mass General Brigham, menyatakan optimisme tentang potensi LLM untuk meningkatkan pemberian perawatan dan pengalaman dokter.

Dia menyebutkan evaluasi yang sedang berlangsung terhadap solusi LLM untuk meningkatkan dokumentasi klinis dan respons terhadap pesan pasien, menekankan perlunya studi yang cermat untuk mendahului integrasinya ke dalam perawatan klinis.

4 dari 4 halaman