Research Information System
10. Uluslararası Dudak Damak Yarıkları Derneği Kongresi, İzmir, Turkey, 24 - 25 May 2025, pp.150-151, (Summary Text)
Objective: In recent years, artificial intelligence (AI) has become a platform where individuals can ask detailed questions and obtain information on a wide range of topics. However, the accuracy and quality of the information obtained from these sources are questionable. This study aimed to compare the accuracy and quality of information provided by four different AI platforms regarding the treatment processes of individuals with cleft lip and palate.
Materials and Methods: Four AI platforms—Gemini, Gemini Advanced, ChatGPT, and ChatGPT 4o—were used in the study. A total of 19 frequently asked questions about the treatment processes of individuals with cleft lip and palate were posed to these platforms. To evaluate the responses, two different assessment tools were employed: an accuracy scoring scale and the Quality Assessment of Medical Artificial Intelligence (QAMAI) scale. The responses to the predetermined questions were scored independently by two evaluators. The Kruskal-Wallis test was used for statistical analysis.
Results: According to the accuracy scoring results, no statistically significant difference was found between the platforms (p = 0.183). However, the total QAMAI scores revealed a significant difference (p = 0.029). A statistically significant difference was observed between the Gemini and ChatGPT 4o platforms (p = 0.048). Based on the accuracy scoring scale, the number of questions with inadequate answers ranged from 2 to 6, while the QAMAI scores indicated that 1.5 to 4 answers were of low quality.
Conclusion: The responses provided by AI platforms regarding the treatment processes of individuals with cleft lip and palate were generally found to be adequate. However, not all responses were accurate, indicating the need for careful evaluation of AI-generated medical information.
Amaç: Yapay zekâ, son yıllarda bireylerin her konuda ayrıntılı soru sorup bilgi alabileceği bir platform haline gelmiştir. Ancak buradan elde edilen bilgilerin doğruluğu ve kalitesi şüphelidir. Bu çalışmada, dudak-damak yarıklı bireylerin tedavi süreçleri hakkında dört farklı yapay zekâ platformundan elde ettikleri bilgilerin doğruluk ve kalitesinin karşılaştırılması amaçlanmıştır.
Gereç ve Yöntem: Çalışmada, Gemini, Gemini Advance, ChatGPT, ChatGPT 4o olmak üzere dört farklı yapay zekâ platformu kullanılmıştır. Platformlara, dudak-damak yarıklı bireylerin tedavi süreçleriyle ilgili en çok merak edilen 19 soru yöneltilmiştir. Değerlendirme amacıyla doğruluk anketi ve Tıbbi Yapay Zekâ Kalite Anketi (QAMAI) olmak üzere iki farklı ölçek kullanılmıştır. Cevapları bilinen sorular, iki farklı değerlendirici tarafından puanlanmıştır. İstatistiksel analiz için Kruskal-Wallis testi uygulanmıştır.
Bulgular: Doğruluk Puanlama skorlarına göre platformlar arasında anlamlı bir fark tespit edilmemiştir (p = 0.183). Buna karşılık, QAMAI toplam puanları açısından anlamlı farklılık olduğunu göstermiştir (p = 0.029). Gemini ile ChatGPT 4o platformları arasında anlamlı farklılık tespit edilmiştir. (p = 0.048). Doğruluk puanlama skorlarına göre en düşük 2, en yüksek 6 soruya yetersiz cevap verilmişken; QAMAI skorlarına göre en düşük 1.5, en yüksek 4 soruya düşük kalitede cevap verilmiştir.
Sonuç: Yapay zekâ platformlarının, dudak-damak yarıklı bireylerin tedavi süreçleri hakkında verdiği cevaplar genellikle yeterli görülmüştür. Ancak tüm sorulara verilen cevapların doğru olmadığı tespit edilmiştir.