מערכת AI לתיעוד רפואי, המאזינה לשיחה בין רופא למטופל ומפיקה ממנה סיכום רפואי באופן אוטומטי, תיעדה באחד המקרים כי למטופל אובחנה הפרעת דחק פוסט-טראומטית (PTSD) ואף נרשמה לו תרופה לטיפול בה. בפועל, לא האבחנה ולא התרופה עלו כלל במהלך הפגישה – מדובר היה ב״הזיה״ (Hallucination) של מערכת הבינה המלאכותית.
למרבה המזל, התיעוד השגוי אותר עוד לפני שהועבר למטופל. ד״ר ג'ניפר שאנון, פסיכיאטרית לילדים ולמתבגרים, ממייסדות חברת Glacis והמנהלת הרפואית שלה, בחנה את תמליל השיחה בעצמה והגיעה למסקנה שלא היה בו שום דבר שיכול היה להצדיק את המידע שהמערכת הוסיפה: ״תארו לעצמכם שאתם מטפלים ב-20 מטופלים ביום, ולכל אחד מהם מצורפים עמודים שלמים של סיכומים שנוצרו על ידי AI״, היא אומרת. ״להסתמך על כך שאדם יעבור על הכול ויתפוס כל טעות זה כבר לא מספיק. בני אדם עושים טעויות, הם עמוסים, ולעיתים קרובות גם פשוט עייפים״.
עומס התיעוד במערכת הבריאות הוא בעיה אמיתית. איש כבר לא טוען שרופאים צריכים לבלות את הערבים שלהם מול המחשב, לסמן תיבות ולהקליד סיכומי ביקור. אבל הכנסת הבינה המלאכותית משנה את אופי העבודה באופן שקל לפספס.
אם בעבר הרופא היה מגבש את ההערכה הקלינית שלו מתוך הרשימות שכתב במהלך הביקור, היום הוא מוצא את עצמו יותר ויותר בוחן סיכומים ומבנים שנוצרו על ידי מערכת AI על בסיס אותה פגישה. האחריות המקצועית אמנם נשארה בדיוק כפי שהייתה, אבל אופי העבודה השתנה.
מומחיות היא חלק ממנגנון הבטיחות
ד״ר ריצ'רד ריק הוא גם נוירורדיולוג פעיל וגם טייס, ולכן הוא רגיל לעבוד בסביבות שבהן לטעות אחת עלולות להיות השלכות כבדות. טייסים מבלים שעות ארוכות בסימולטורים, שבהם הם מתרגלים בכוונה תרחישים של כשל מצטבר: מערכות אוטומטיות מפסיקות לפעול, מנועים כושלים, תנאי מזג האוויר משתנים בבת אחת. המטרה אינה לשחזר את המציאות באופן מושלם, אלא לחדד מיומנויות ולבנות אינסטינקטים עוד לפני שמצב כזה מתרחש באמת.
כפי שמסביר ד״ר ריק: ״אחרי מספיק שעות בסימולטור, הטיסה האמיתית כמעט מרגישה כמו הקלה, כי הכול פשוט עובד. אנחנו מתרגלים את הכשלים, כדי שברגע שמשהו בלתי צפוי קורה, לא נצטרך להמציא את התגובה במקום״.
בעולם התעופה, כל מערך ההכשרות הזה קיים דווקא משום שמטוסים מודרניים והמערכות האוטומטיות שלהם אמינים בצורה יוצאת דופן. אף נוסע לא עולה למטוס מתוך ציפייה שהטייס ייעלם באמצע הטיסה. שמירה על רמת המומחיות של הטייסים אינה עדות לכך שהאוטומציה אינה טובה מספיק. להפך – היא חלק בלתי נפרד ממנגנון הבטיחות עצמו.
האוטומציה משנה את העבודה – לא את האחריות
ד״ר ריק רואה את הבינה המלאכותית ברדיולוגיה דרך אותה עדשה. בדיוק כפי שטייסים לומדים להכיר גם את נקודות הכשל שלהם וגם את מגבלות מערכות האוטומציה, כך גם רדיולוגים צריכים להבין טוב יותר היכן הם עלולים לטעות – והיכן גם מערכות ה-AI נוטות לטעות. אף אחד מהם אינו מושלם. הבטיחות נובעת מההבנה היכן כל אחד מהם עלול להיכשל.
המונח ״האדם במעגל קבלת ההחלטות״ (Human in the Loop) הפך בשנים האחרונות לאחת מהבטחות הבטיחות הנפוצות ביותר בעולם ה-AI. הרעיון פשוט: לפני שתוצר של בינה מלאכותית מגיע למטופל או ללקוח, אדם עובר עליו ומוודא שאין בו טעויות. אלא שלעתים קרובות אנחנו מתייחסים לאותו אדם כאילו הוא רק רשת ביטחון. המכונה עושה את העבודה, והאדם נכנס לתמונה רק אם משהו משתבש.
אנשי המקצוע אינם נמצאים שם רק כדי לחלץ את המערכת כשהיא טועה. הניסיון, שיקול הדעת והאינטואיציה שלהם הם חלק בלתי נפרד מהמערכת עצמה. וככל שהאוטומציה משתפרת, כך הערך של היכולות האנושיות הללו דווקא גדל – ולא קטן.
שכבת הבטיחות הכי פחות מוערכת? המטופלים
תעשיות שבהן אין מקום לטעויות כמעט אף פעם אינן מסתמכות על שכבת הגנה אחת בלבד. גם מערכת הבריאות פועלת כך. רופאים אינם היחידים שהמומחיות שלהם מסייעת לשמור על בטיחות המערכת. במשך שנים פיתחו גם המטופלים מומחיות בכל הנוגע לטיפול שהם מקבלים.
עוד הרבה לפני שמערכות תיעוד אוטומטיות נכנסו לחדרי הטיפולים, מטופלים כבר נהגו לעבור על רשימות התרופות שלהם, לזהות הפניות שלא בוצעו, לתקן טעויות בפרטים האישיים ולנסות להבין מדוע מומחים שונים נותנים להם המלצות סותרות. הם לא רק השתתפו בתהליך הטיפול – הם זיהו כשלים בתוך מערכת שהם ראו רק חלק קטן ממנה.
הוגו קמפוס, פעיל בולט למען זכויות מטופלים, מסביר את הנושא דרך ההבחנה בין בינה מלאכותית שמשרתת מוסדות רפואיים לבין בינה מלאכותית שנועדה להעצים את המטופלים עצמם. ״אנחנו חייבים להפסיק לתת למערכת להיות שומרת הסף, ולאפשר לאנשים לעזור לעצמם״, הוא אומר. הדברים שלו מהדהדים, משום שבינה מלאכותית לא אמורה להחליש את הידע והניסיון של המטופלים – אלא לחזק אותם. בזמן שרופאים מסתגלים לאוטומציה, מתמודדים עם תיבות דואר עמוסות, עומסי תיעוד ומחסור תמידי בזמן, המטופלים הופכים למרכיב חשוב יותר ויותר בחוסן של המערכת. לא משום שהאחריות עברה אליהם, אלא משום שנקודת המבט שלהם מסוגלת לזהות כשלים שאיש אחר אינו יכול לראות במלואם.
גם לאנשי מקצוע מגיע ספר הפעלה
רוב הדיונים על הסיכונים שבבינה מלאכותית מתמקדים בשאלה האם המכונות ייכשלו. אבל מה קורה לבני האדם אחרי שנים שבהן האוטומציה דווקא עובדת היטב?
טייסים מתרגלים תרחישי כשל עוד לפני שהם נתקלים בהם במציאות. קבוצות ספורט מתאמנות על מצבים שהן מקוות שלעולם לא יקרו. צוותי טראומה מתרגלים שוב ושוב מקרי חירום. המטרה אינה למנוע הפתעות, אלא להבטיח שאנשי מקצוע לא יצטרכו לאלתר פתרונות ברגעי הלחץ הגדולים ביותר.
למען האמת, חלק ממערכות ה-AI הקיימות היום עדיין מצליחות להפתיע. הן מרשימות בצורה יוצאת דופן. ודווקא משום כך, הדאגה נובעת יותר משחיקת מיומנויות מאשר מכשל טכנולוגי קטסטרופלי. אף אחד לא רוצה לגלות שהמיומנויות שלו נשחקו דווקא באמצע מצב חירום. ואף איש מקצוע לא אמור למצוא את עצמו ממציא פתרון ברגע שבו המחיר של טעות הוא הגבוה ביותר. זה בדיוק הזמן להיות מכוונים ומודעים למיומנויות שאנחנו ממשיכים לתרגל. כי ברגע שמומחיות אנושית נעלמת, בדרך כלל לא נרגיש בחסרונה – עד ליום שבו נזדקק לה יותר מכל.
