מסובכים ופגיעים: האלגוריתמים מורכבים מדי להבנה אנושית

לתוך המערכות האלו בנויים ערכים אנושיים של המפתחים שלהן, הצרכים המסחריים של היוצרים שלהן וגבולות ההבנה אנושית. אפילו האלגוריתמים המתוחכמים ביותר ומערכות ה"למידה העמוקה" בעלות האינטליגנציה המלאכותית שישנם כיום, מוגבלים לחלוטין בחוסר הדמיון והחשיבה הלא מתקדמת של המפתחים שלהם, אם מדברים על מה שהאלגוריתמים והמכונות מסוגלים לקלוט והתוצרים שהם יכולים לשלוט בהם.

בואו נחזור רגע לאחור ונחשוב על משימת הטיסה לירח של אפולו 13. אחד מהשיעורים שנלמדו לאחר האסון היה כיצד המגבלות של חשיבה אנושית מתקדמת יכולים לדון למוות את יכולת המכונות להתערב לטובתנו. במקרה של אפולו 13, המהנדסים שעיצבו את מיכלי החמצן ידעו שיחידות החימום במיכלים היו אמורות להיכבות כאשר הטמפרטורה הפנימית של המיכל הגיעה ל-26 מעלות צלזיוס, לכן הם עיצבו את חיישני האזהרה במיכל כך שיוכלו לקרוא מקסימום 26 מעלות. כאשר שגיאה לפני הטיסה הובילה לחריגה בת 537 מעלות, הניטור האלקטרוני ומערכות האזעקה לא יכלו להזהיר את המהנדסים, כאשר הם עדיין רשמו 26 מעלות במיכל, רמה שהייתה המקסימום שהם עיצבו כדי למדוד את הטמפרטורות.

כך לדוגמא, מאחר והמהנדסים האנושיים מעולם לא ציפו למצב בו הטמפרטורה יכולה לחרוג אי פעם מהטווח הבטוח, הם עיצבו את חיישני המחשב תוך כדי מחשבה על גבולות המקסימום האלו, וחיסלו את יכולת המחשבים לבצע את עבודתם ולהתריע מפני מצב מסוכן. מהנדסים שהכינו את המיכלים לטיסה לאחר מכן, הניחו שהחיישנים יזהירו אותם מפני מצבים מסוכנים, ולא היו מודעים למגבלה הקריטית שלהם.

באופן דומה, וולוו עלתה לכותרות בשנה שעברה כאשר אחד מכלי הרכב שלה, אשר כלל יכולות סיוע מצד נהג אוטומטי, התנגש בקבוצה של עיתונאים. התברר שכלי הרכב של וולוו מגיעים עם תכונה סטנדרטית שמאפשרת לרכב להימנע מהתנגשות במכוניות אחרות, אבל מחייבת רכישה של יחידת תפקוד עצמאית בתוך המערכת כדי להימנע מהתנגשות בהולכי רגל, שהנהג לא רכש אותה. ואם להפוך את העניינים לגרועים יותר, האופן בו הנהג ניהל את הרכב, אוטומטית ביטל את תכונת הבטיחות גם אם היא הותקנה. כפי שכתב אחד מסכם, "שמירה על המכונית בטוחה נכללת בתכונות הסטנדרטיות, אבל שמירה על הולכי רגל לא נכללת".

כאן, הרכב עוצב כדי לבלום ולמנוע התנגשות בהולכי רגל, אבל החברה הפכה את התכונה לתוספת אופציונלית שחייבת להירכש, והיא מנוטרלת אוטומטית במשך תמרוני נהיגה מסוימים. ועדיין, הנהג והולכי הרגל לפניו לא היו מודעים לכך, מה שהוביל לתאונה שהייתה יכולה להסתיים באופן הרבה יותר גרוע.

מערכות הן מורכבות כל כך עד שהטעות הקטנה ביותר יכולה לגרום להשפעה גדולה בהרבה. בשנת 2013 שירות Azure של מיקרוסופט התמודד עם תקלה שגרמה להפסקה בשירות בגלל שפג תוקפו של אישור SSL פשוט, בעוד ששנה קודם לכן יום מעובר (29 לפברואר) גרם להפסקה כאשר מערכת ענן אחת לא הבינה נכון מה השנייה עשתה. באותה שנה אמזון גילתה שמפתח אחד היה מסוגל להשפיע על מרכז מידע שלם בשיא עונת הקניות של חג המולד. רק לפני חודשיים חוותה גוגל תקלה כאשר התחברה לקישור רשת חדש באירופה בצורה ידנית, פעולה שביטלה בדיקות בטיחות אוטומטיות. ב-2014, רוב תנועת האינטרנט של סין הופנתה לחברה קטנה בוויומינג, לאחר שחיישני הממשלה בטעות הפנו לאתר הזה במקום לחסום אותו.

חייבים למצוא דרך להבין אותם טוב יותר. אלגוריתמים | צילום: fotolia

בכל אחד מהמקרים האלו, מכונות פשוט עקבו אחר ההוראות השגויות שניתנו להן על ידי בני אדם. אפילו שוק המניות לא מחוסן, כאשר שגיאת דפוס ב-2014 בטעות הזמינה מניות בשווי 617 מיליארד דולר.

ככל שהמורכבות של מכונות הולכת וגדלת, כך גם הפגיעות שלהן. הפריצה לחברת ג'וניפר התאפשרה על ידי רגישות קריטית שנשארה סודית במשך שנים. מוקדם יותר השנה, חוקר טען שהוא הצליח להשתמש במערכת הבידור בתוך מטוס מסחרי, כדי לתקשר ישירות עם מערכות פיקוח הטיסה שלו, ובאופן פוטנציאלי לשלוט על הטייסים. ב-2011 נקודת תורפה בדפי האימות של פייסבוק, איפשרה לתוקף להוריד את התמונות הפרטיות של מארק צוקרברג.

ב-2014 חוקר מצא שמסופי אשראי עם שבבים, אשר נעשה בהם שימוש באירופה, האמינו באופן עיוור לתוכנה שהייתה על הכרטיסים שהוכנסו לתוכם, ואפשר היה להעתיק ולהעביר את המידע על כל כרטיס שנסרק. ערכות פיקוח יכולות לעקוב אחר אנשים בכל מקום בעולם על ידי ניצול אמונה עיוורת זו של מערכות סלולר וטלפון. אפילו התשתית של מוקד 911 לעזרה ראשונה בארה"ב נראה יותר ויותר פגיע.

כל מערכת נבנית על בסיס שכבת ביטחון של מערכות אחרות, כך שטעות, פגיעות או הבנה מוטעית כזו בכל רמה שהיא יכולה לגרום לסדרה של טעויות כאלו ברחבי המערכת. יותר מכך, מערכות מודרניות כוללות רכיבים רבים, חלקם אולי אופציונליים או מנוטרלים בכל רגע נתון. יחד עם השערות אנושיות מוטעות ומגבלות הדמיון האנושי בעיצוב המערכות, ההתנהגויות הלא צפויות והרגישויות האלה יכולות רק לגדול.

ועדיין, הסיבוכים וההתנהגויות הלא צפויות האלה הן למעשה גם נקודת חוזק קריטית של מהפכת הלמידה העמוקה. אם נחזור לדוגמה של אפולו 13, באופן היסטורי המעצבים והמהנדסים בנו ידנית כל אלמנט של האלגוריתמים שהניעו את המערכות המורכבות, ולחזות כל תרחיש אפשרי. המשמעות היא שאפילו כאשר כוחם של אלגוריתמים לומדים במכונות גבר, הם עדיין סוכלו על ידי הדמיון המוגבל של המתכנתים האנושיים שלהם, בבחירת מאפייני התוצרים שהם הוכשרו ונבדקו לבצע.

עליית טכניקות כמו רשתות עצביות מורכבות, בהן מכונות יכולות להחליט בעצמן אילו מאפיינים ותכונות של המידע הם החשובים ביותר לבעיה נתונה, יכולה לעשות את הצעדים הראשונים לעבר הקלה על האתגר האנושי במערכות. גוגל עלתה לכותרות בעולם בשנה שעברה כאשר הציגה את פלטפורמת ה"חלום העמוק" שמתארת בצורה ויזואלית כיצד אלגוריתמים מבינים את העולם ואת ההחלטות שהם מבצעים.

ככל שאינטליגנציה מלאכותית ואלגוריתמים משחקים תפקיד שהולך וגדל בהגדרת העולם שלנו, אנחנו חייבים לעשות עבודה טובה ביותר בהבנה של הדרך בה הם ושל העתיד אליו הם מצעידים אותנו.