רוברט שצ'רבה (Robert Szczerזba)
ב-18 ביוני קיבל מודל ניסיוני של OpenAI משימה פשוטה למדי: לברר כמה כסף מוציאה ממשלת אוסטרליה על תרופות למחלות עור, בממוצע לאדם, באזורים מסוימים במדינת ויקטוריה. המודל הנסיוני לא היה צ׳אטבוט רגיל, אלא סוכן שמסוגל לתכנן פעולות ולבצע אותן באופן עצמאי, ובמסגרת תהליך האימון שלו, OpenAI אפשרה לו לפעול באינטרנט כדי להשלים את המשימות שמוטלות עליו.
וכך, כשהסוכן לא הצליח למצוא את הנתון במקורות המידע הציבוריים, הוא מצא פתרון אחר: הוא חדר לשירות סטטיסטי של Medicare, מערכת ביטוח הבריאות הציבורית באוסטרליה, ניגש לקבצים פנימיים ולפרטי גישה ואף קרא את קוד המקור של השירות. "הוא פשוט לא הסכים לקבל 'לא' כתשובה", סיכם את האירוע ראש ממשלת אוסטרליה, אנתוני אלבניזי.
ב-OpenAI מיהרו להבהיר פעולות הסוכן לא אושרו על ידי החברה, וכי הסוכן לא נחשף לרשומות רפואיות של מטופלים.
האירוע הזה כמובן לא נחשב למעשה מלחמה, וגם לא היה קרוב לכך. אבל הוא ממחיש בעיה שהולכת ונעשית דחופה ככל שסוכני AI מקבלים יותר עצמאות וגישה למערכות רגישות: מה יקרה כאשר סוכן כזה יחדור לתשתית חיונית, יגרום לנזק ממשי, והמדינה שנפגעה תחליט להגיב לפני שתברר מי שלח אותו?
מתקפת סייבר מצדיקה תגובה צבאית?
במשפט הבינלאומי אין הגדרה משפטית אחידה למונח ״מעשה מלחמה״. במקום זאת, קיימות שתי הבחנות מרכזיות: שימוש אסור בכוח ותקיפה חמושה, שעשויה להקנות למדינה שנפגעה זכות להגיב בכוח במסגרת הגנה עצמית.
ההבחנה תלויה בעיקר בתוצאות המתקפה. כאשר מתקפת סייבר גורמת לנזק הדומה לזה של נשק קונבנציונלי, היא עשויה להיחשב לשימוש בכוח. לפי העמדה האמריקאית, מוות, פציעות או הרס משמעותי עשויים לעמוד ברף הזה. עם זאת, לא כל שימוש אסור בכוח מקנה אוטומטית זכות לתגובה צבאית.
כדי שמדינה תוכל לטעון להגנה עצמית בעקבות ״תקיפה חמושה״, נדרש בדרך כלל נזק חמור יותר, שנבחן בין היתר לפי היקף הפגיעה בחיי אדם וברכוש. במקרה האוסטרלי, הסוכן ניגש למידע שלא היה מורשה לראות, אך לא גרם לנזק פיזי או לפגיעה בחיי אדם, לכן האירוע רחוק משני המבחנים הללו.
לעומת זאת, השבתה של מערכת ממשלתית לחלוקת קצבאות למשך שבועות כבר מעוררת מחלוקת משפטית: האם שיבוש ממושך של שירות חיוני נחשב לשימוש בכוח גם בלי הרס פיזי? מדינות שונות עשויות להשיב על כך אחרת. התרחיש החמור ביותר ברור יותר. אם מתקפת סייבר תגרום להפסקת חשמל נרחבת שתוביל למותם של בני אדם, היא עשויה להיחשב לשימוש אסור בכוח, ובנסיבות חמורות מספיק גם לתקיפה חמושה המצדיקה תגובה במסגרת הגנה עצמית. הבעיה היא שאותו סוג של סוכן AI עשוי לבצע כל אחד מהתרחישים הללו. התוצאה תלויה בעיקר במערכות שאליהן הוא מצליח להגיע ובפעולות שהוא בוחר לבצע.
מתקפה על רשת החשמל
האפשרות שמתקפת סייבר תשבית תשתיות חשמל אינה תיאורטית. לפי משרד המשפטים האמריקאי, האקרים מהמודיעין הצבאי הרוסי כבר השתמשו בנוזקות שגרמו להפסקות חשמל באוקראינה.
כעת גם סוכני AI מתחילים להופיע בזירת התקיפות נגד תשתיות רגישות. במהלך ארבעה ימים ביולי, תוקפים שהסתייעו בסוכני בינה מלאכותית הצליחו לפרוץ ל-85 חשבונות ממשלתיים בטייוואן ולהרחיב את פעילותם לפחות לשבע חברות אנרגיה, כך לפי חברת הסייבר הישראלית Dream, שזיהתה את המתקפה.
״כשגישה מסוימת נחסמת, הסוכן חוקר טכניקות חדשות בזמן אמת ומתאים את עצמו״, הסביר אמיר בקר, בכיר בחברה, בריאיון ל-CNN. על פי החשד, סין עומדת מאחורי המתקפה, אך לא טייוואן ולא Dream אישרו זאת.
כדי להבין את המשמעות, אפשר לדמיין תרחיש שבו ממשלה שולחת סוכן AI דומה לרשת החשמל של מדינה יריבה. הסוכן נתקל במחסום אבטחה, מחפש דרך לעקוף אותו ומצליח לחדור למערכת הבקרה של תחנת משנה. הוא משבש את פעילותה, החשמל באזור נופל, ובבית חולים סמוך גם מערכת הגיבוי נכשלת. מטופלים מתים כתוצאה מכך. במצב כזה, המדינה שנפגעה עשויה לראות במתקפה עילה לתגובה צבאית. אבל אז מתעוררת שאלה לא פחות מסוכנת: נגד מי בדיוק היא אמורה להגיב?
הסכנה הגדולה
נניח שחוקרי הסייבר מגלים בתוך שעות שהתקשורת של הסוכן עברה דרך שרתים במדינה שלישית, ושקבצים ששימשו אותו נכתבו בשפה של אותה מדינה. לכאורה, מדובר בשני רמזים משמעותיים לזהות התוקף. אלא ששניהם עלולים להיות מזויפים.
השימוש בראיות מטעות אינו חדש בעולם הסייבר. במהלך אולימפיאדת החורף בדרום קוריאה ב-2018, נוזקה ששיבשה מחשבים הכילה סימנים שנועדו לקשור אותה לקבוצת האקרים צפון קוריאנית. חוקרי אבטחת מידע מחברת הסייבר קספרסקי (Kaspersky) גילו בהמשך כי הרמזים שהצביעו על קבוצת ההאקרים זויפו במכוון. ארצות הברית ייחסה לבסוף את המתקפה לקציני מודיעין צבאי רוסים, שהואשמו גם במתקפות על תשתיות החשמל באוקראינה.
כעת דמיינו שמדינה מותקפת היתה מגיבה צבאית על סמך אותם רמזים ראשוניים. היא היתה עלולה לתקוף מדינה שלא היתה אחראית כלל למתקפה. כאשר סוכני AI מסוגלים לפעול במהירות, לשנות אסטרטגיה ולבצע פעולות שלא תוכננו מראש, הסיכון לטעות בזיהוי האחראים נעשה מורכב עוד יותר. והקושי אינו מוגבל למדינות שמנסות לזהות את התוקף. לעיתים, גם החברה שפיתחה את הסוכן אינה יודעת בזמן אמת מה בדיוק הוא עשה.
במקרה של Medicare, הרשות האוסטרלית האחראית על המערכת קיבלה הודעה מ-OpenAI רק 84 ימים לאחר החדירה. ההודעה נשלחה לתיבת דואר אלקטרוני ציבורית. OpenAI הודתה בהמשך כי היה עליה לדווח מוקדם יותר, במקום להמתין עד להשלמת בירור העובדות.
העיכוב הזה ממחיש את הפער בין קצב הפעולה של סוכני AI לבין יכולת התגובה של הגופים האחראים עליהם. אם חברה זקוקה לשבועות כדי להבין מה עשה הסוכן שפיתחה, למדינה שנפגעה ואין לה גישה לרישומים הפנימיים של החברה עלול להידרש זמן רב אף יותר.
אלא שבתרחיש שבו מתקפת סייבר גורמת למותם של בני אדם, ממשלה לא בהכרח תמתין שבועות. ייתכן שהיא אפילו לא תמתין שעות. לאחר משבר הטילים בקובה הקימו וושינגטון ומוסקבה קו תקשורת ישיר, שנועד למנוע מצב שבו אי-הבנה תתפתח למלחמה. במקרה של סוכני AI, כפי שהמחישה הפרשה באוסטרליה, מנגנון התקשורת התמצה בינתיים בהודעה לתיבת מייל ציבורית.
מי נושא באחריות
מבחינת המשפט הבינלאומי, השאלה המרכזית אינה היכן פותח הסוכן, אלא מי הפעיל אותו ובאילו נסיבות. אם סוכנות ממשלתית שולחת סוכן AI לבצע פעולה, המדינה עשויה לשאת באחריות למעשיו גם אם הסוכן חרג מההוראות שניתנו לו. פרופ׳ פאולה גאטה, מומחית למשפט בינלאומי מאוניברסיטת ז׳נבה, טוענת כי העיקרון הזה חל גם על מערכות נשק אוטונומיות שפועלות באופן שלא תוכנן או נצפה על ידי מפעיליהן.
אבל מה קורה כשהסוכן שייך לחברה פרטית? OpenAI היא חברה אמריקאית, ולא סוכנות ממשלתית. האם אוסטרליה יכולה להטיל על ממשלת ארצות הברית אחריות לחדירה שביצע הסוכן שלה? לדברי טליטה דיאס מארגון Partnership on AI, התשובה היא שלא באופן אוטומטי. פעולה עצמאית של סוכן השייך לחברה פרטית אינה נחשבת בהכרח לפעולה של המדינה שבה החברה פועלת. המצב עשוי להשתנות אם יתברר שהממשלה הנחתה את הפעולה או שלטה בה. במקרה של חברה פרטית, האחריות נבחנת בעיקר באמצעות רשויות אכיפת החוק, המחוקקים והרגולטורים.
באוסטרליה כבר נבחנות אפשרויות לתגובה משפטית ורגולטורית בעקבות האירוע. מנהל האסטרטגיה של OpenAI אף הגיע לסידני כדי להתנצל בפני ועדה פרלמנטרית. החברה מצדה מסרה כי עוד לפני הפרשה הנוכחית ניתקה את מודלי המחקר שלה מגישה ישירה לאינטרנט החי בעקבות תקרית קודמת.
למנוע את המתקפה הבאה
האירוע באוסטרליה עשוי להיראות חריג, אבל הוא מדגים סיכון שרלוונטי גם לחברות מסחריות שמטמיעות סוכני AI בפעילותן. דמיינו סוכן רכש שנשלח לקבל הצעת מחיר מספק. כשהוא לא מצליח להשיג את המידע המבוקש, הוא מנסה להיכנס לפורטל הפנימי של הספק ולמצוא אותו בעצמו. זהו למעשה אותו דפוס פעולה שהוביל לחדירה למערכת Medicare, רק בקנה מידה קטן יותר.
למרות ההתקדמות המהירה בתחום, חברות רבות עדיין מתקשות לעקוב אחר פעילותם של סוכנים אוטונומיים, לזהות חריגות ולעצור אותם בזמן. מומחים ממליצים להתחיל בכמה כללי יסוד: למנות אדם אחראי לכל סוכן AI, להגביל את הרשאות הגישה שלו למשימות שהוגדרו לו, ולשמור רישומים מפורטים של הפעולות שביצע ושל הגורם שהפעיל אותו. בנוסף, יש לדרוש אישור אנושי לפני שסוכן מתחבר למערכת חיצונית, ולהחיל את אותן דרישות גם על סוכנים שמפעילים ספקים חיצוניים.
אבל אחד הצעדים החשובים ביותר נוגע דווקא למה שקורה אחרי תקרית. אם סוכן חודר למערכת שאינו מורשה לגשת אליה, החברה המפעילה אותו צריכה לדווח במהירות לגוף שנפגע ולרשות הסייבר הרלוונטית, ולא להמתין שבועות עד להשלמת חקירה פנימית. דיווח כזה עשוי להיות המקבילה הדיגיטלית לקו התקשורת הישיר שהוקם בין המעצמות לאחר משבר הטילים בקובה. חברה שמסוגלת לומר בתוך שעות ״זה היה הסוכן שלנו, ואנחנו יודעים מה הוא עשה״ יכולה לספק לחוקרים מידע קריטי לפני שהאירוע מסלים. חברה שבוחרת לשתוק משאירה את הצד שנפגע עם השערות בלבד.
סוכן ה-AI של OpenAI בסך הכול ניסה למצוא נתון סטטיסטי, ובדרך חדר למערכת שלא היתה אמורה להיות נגישה לו. הסוכן הבא עשוי לחפש מידע על רשת החשמל של מדינה אחרת. ההבדל בין אירוע שיסתיים בהתנצלות לבין משבר בינלאומי חמור עלול להיות תלוי במהירות שבה תתקבל תשובה לשאלה אחת: האם זה הסוכן שלכם?
