إضافة شرح للقرارات التي يصدرها الذكاء الاصطناعي تبدو وسيلة طبيعية لتعزيز الأمان، لكن تجربة في مجال التشخيص الجلدي كشفت عن مفارقة مهمة، فالشرح الذي يولده النموذج قد يساعد المستخدم عندما تكون الإجابة صحيحة، لكنه في الوقت ذاته قد يدفعه لقبول الخطأ بثقة زائدة، بينما أظهر الأطباء ذوو الخبرة مقاومة أكبر لهذا التأثير، مما يثير تساؤلات مهمة حول جدوى استخدام هذه التطبيقات الطبية الموجهة مباشرة إلى الجمهور.
في دراسة بعنوان «الذكاء الاصطناعي المفسر في تشخيص الأمراض الجلدية سلاح ذو حدين بين الأطباء والجمهور» نُشرت في مجلة نيتشر ميديسن ونقلها موقع معهد ماساتشوستس للتكنولوجيا، أجرى الباحثون تجربتين شملتا مئات من غير المتخصصين وأطباء الرعاية الأولية، حيث اختبروا عدة طرق لشرح تشخيصات نموذج ذكاء اصطناعي للأمراض الجلدية، منها عرض درجة الثقة والصور المشابهة وخرائط تسلط الضوء على المناطق المهمة من الصورة، إلى جانب تفسيرات مكتوبة بلغة مبسطة أنتجها نموذج لغوي كبير. وأظهرت النتائج أن النظام المصمم لتحقيق أداء متوازن عبر ألوان البشرة ساهم في رفع دقة التشخيص وتقليل بعض الفوارق المرتبطة بلون الجلد، لكن طريقة عرض التفسير أثرت بشكل مختلف بين الجمهور العام والأطباء.
وجد الباحثون أن المستخدمين غير المتخصصين كانوا أكثر تعرضًا لانحياز الأتمتة، وهو الميل إلى اعتماد توصية النظام حتى لو كانت خاطئة، وكان هذا التأثير أكبر عندما قدم النموذج تفسيرات منطقية ومقنعة، في المقابل أظهر أطباء الرعاية الأولية قدرة أكبر على الاستفادة من الذكاء الاصطناعي دون الانجراف وراء أخطائه بنفس الدرجة. كما أشارت الدراسة إلى أهمية ترتيب عرض المعلومات، لأن مشاهدة تشخيص الآلة قبل أن يشكل المستخدم رأيه قد يولد انحيازًا مبكرًا يصعب تغييره لاحقًا. وتمنح هذه النتائج مطوري تطبيقات التشخيص الطبي رسالة واضحة مفادها أن الأمان لا يتحقق بمجرد إضافة تفسير إلى القرار الآلي، بل يجب تصميم التفاعل باعتبار خبرة المستخدم وتوقيت عرض التوصية، خاصة في التطبيقات التي تصل إلى ملايين الأشخاص الذين يفتقرون إلى خلفية طبية تمكنهم من التعرف على الأخطاء المقنعة.
