Misinformasi Medis: Tantangan Baru dalam Teknologi AI

Kecerdasan buatan (AI) sudah memiliki masalah dengan misinformasi, dan menambahkan sedikit saja informasi medis yang salah ke dalam data latihannya dapat membuat chatbot menyebarkan konten berbahaya tentang vaksin dan topik medis lainnya.

Dilansir dari News Scientist, Daniel Alber dari New York University bersama timnya mensimulasikan serangan data poisoning (peracunan data), di mana AI dimanipulasi dengan data pelatihan yang telah dikorupsi.

Dalam eksperimen mereka, mereka menggunakan layanan chatbot OpenAI, yakni ChatGPT-3.5-turbo untuk menghasilkan 150.000 artikel yang berisi misinformasi medis tentang pengobatan umum, bedah saraf, dan obat-obatan. Artikel-artikel tersebut kemudian dimasukkan ke dalam versi eksperimental dataset pelatihan AI.

Selanjutnya, tim ini melatih enam large language models (LLM) berbasis arsitektur GPT-3 dengan dataset yang telah dikorupsi. Model yang sudah "diracuni" ini kemudian menghasilkan 5400 sampel teks yang diperiksa oleh para ahli medis manusia untuk menemukan misinformasi.

Ternyata, hasilnya mengejutkan karena hanya dengan mengganti 0,5% dataset pelatihan AI dengan misinformasi medis, model yang diracuni ini mulai memproduksi lebih banyak konten berbahaya secara medis, bahkan untuk pertanyaan yang tidak terkait langsung dengan data yang telah dirusak.

Contohnya, model ini secara tegas menolak efektivitas vaksin covid-19 dan antidepresan, serta salah mengklaim bahwa obat metoprolol (untuk tekanan darah tinggi) dapat mengobati asma.

Eksperimen lainnya fokus pada misinformasi tentang imunisasi dan vaksin. Hasilnya menunjukkan bahwa dengan merusak hanya 0,001% dataset pelatihan AI menggunakan 2000 artikel berisi misinformasi vaksin, konten berbahaya yang dihasilkan meningkat hampir 5%.

Dengan bantuan ChatGPT, hanya diperlukan biaya $5 untuk menghasilkan artikel berisi misinformasi dalam jumlah besar. Bahkan, serangan pada model AI terbesar saat ini bisa dilakukan dengan biaya kurang dari $1000.

Untuk mengatasi masalah ini, tim peneliti mengembangkan algoritma fact-checking (pengecekan fakta) yang dapat mengevaluasi keluaran AI terhadap misinformasi medis. Dengan memeriksa frasa medis yang dihasilkan AI menggunakan grafik pengetahuan biomedis, metode ini mampu mendeteksi lebih dari 90% misinformasi medis yang dihasilkan model AI.