בחודש יולי הזהיר סם אלטמן, מייסד שותף של OpenAI, מפני הסכנה שגורמי פשיעה ישתמשו בבינה מלאכותית, יתחזו לגורמים לגיטימיים ויזמו הונאות ענק. האזהרה הזו עוררה גל ממים – כולם התמקדו באירוניה הברורה: ChatGPT, הכלי שאלטמן עצמו היה שותף לפיתוחו, הוא חלק מהסיבה להיווצרות ״המפלצת״ שמפניה הוא מזהיר.
במקביל העסיקה OpenAI חברת קבלן בשם Pattern Labs כדי לבצע ״מבחני לחץ״ (Stress Tests) על העדכונים שלה לפני שחרורם לציבור. הכוונה היתה לאתר ולתקן חולשות שעלולות להיות מנוצלות בידי האקרים לגניבת מידע אישי או לשימוש מזיק אחר.
מאז 2023 עבד הסטארט-אפ הזה עם ענקיות כמו Anthropic ו-Google DeepMind, כשהוא מבצע סימולציות ובוחן את תגובותיהם לפרומפטים זדוניים – למשל בקשה לאתר ולגנוב מידע רגיש מרשת IT מדומה. ביום רביעי הודיעה החברה – ששינתה את שמה ל-Irregular – על גיוס של 80 מיליון דולר בסבבי Seed ו-A בהובלת קרן ההון סיכון סקויה קפיטל, המעניקים לה שווי של 450 מיליון דולר.
אתגר ענק
שימוש לרעה ב-AI הוא אתגר ענק. רק בחודש שעבר הזהירה Anthropic, כי מודל Claude נוצל במתקפות סייבר אמיתיות – לסיוע בכתיבת קוד זדוני ובניסוח דוא"לים של פישינג. בחודש מאי פרסם ה-FBI אזהרה מפני הודעות קוליות, שנוצרו בידי AI, שהתחזו לבכירים בממשל האמריקני בניסיון לדוג מידע מרגיש.
Irregular מסן פרנסיסקו נהנית מכך שנכנסה מוקדם לתחום – כשהמנכ״ל והמייסד-שותף, דן להב, אמר ל-Forbes כי החברה הפכה לרווחית במהירות והניבה ״כמה מיליוני דולרים״ בשנת פעילותה הראשונה, אם כי סירב למסור נתונים כספיים מדויקים.
בחודש שעבר חשפה Irregular, כי בחנה את דגם ה-GPT-5 של OpenAI כדי לבדוק אם ניתן להשתמש בו לצורך מתקפות סייבר. בסופו של דבר מצאה החברה, כי למרות ש-GPT-5 ״מסוגל לחשיבה וביצוע מתוחכמים… הוא עדיין לא כלי התקפי אמין בסייבר״, נכתב בדוח החברה
״מעט מאוד אנשים בעולם יודעים לעשות את מה שאנחנו עושים״, אמר להב. עם זאת, הוא מודע לכך שככל שמודלים הופכים מורכבים יותר, האתגרים של Red Teaming – בדיקות קיצון לאיתור סיכונים – ילכו ויגדלו. להב ציין, כי הוא מתכנן ״לבנות את ההגנות והמנגנונים הרלוונטיים לעתיד״, לקראת הדור הבא של מודלי ה-AI, כולל מה שמכונה בינה מלאכותית כללית (AGI). מומחים סבורים שתחום זה יוביל את היכולות מעבר ליכולת האנושית. ״ברור שהבעיות האלו יתעצמו עוד יותר בעידן של סופר-אינטליגנציה״, הוא הוסיף.
שותפו של להב, עומר נבו, עסק בחיזוי ומעקב אחר שריפות יער בגוגל לפני שהקימו את Irregular. השניים השיקו את החברה באמצע 2023 – בדיוק כשהכלים מבוססי AI כמו ChatGPT פרצו למיינסטרים. השניים הכירו באוניברסיטת תל-אביב. להב עבד במעבדת הבינה המלאכותית של IBM ונבו ייסד את NeoWize, בוגר Y Combinator שפיתח טכנולוגיית AI לעולמות האי-קומרס. כיום נבו מכהן כ-CTO של Irregular.
משקיעי סקויה דין מאייר (שהוא בוגר רשימת פורבס 30Under30) ושון מגווייר ציינו, כי נמשכו אל המייסדים הלא-שגרתיים ולצוות שלהם, שלהב עצמו כינה ״Irregulars״ (החריגים). ״תדמיינו את החוצנים הכי קיצוניים בעולם ה-AI, יחד עם חוקרי סייבר קשוחים – משם מגיע השם,״ אמר מאייר.
מגווייר מוסיף בחיוך: ״אם התחביב שלי הוא לצפות בפוטבול או כדורגל – אולי זה לא המקום בשבילי. אבל אם התחביב שלי הוא לבנות קטאנה (חרב סמוראית) ולפרוץ לרובוטים – אז דווקא כן״.
Irregular מתכננת להשתמש במימון החדש כדי להרחיב את פעילותה מעבר למעבדות ה-AI המתקדמות, ולהציג לחברות כיצד כלי הבינה המלאכותית, שהעובדים שלהן משתמשים בהם, עלולים להפוך לכלי נגדם. ״אנחנו לוקחים את היכולת ואת הנכס האסטרטגי של עבודה מתמדת עם מעבדות החזית, ויוצרים נגזרות מוצר שיהיו רלוונטיות, למעשה, לכל מי שנמצא במורד הזרם,״ אמר להב. לדבריו, יום אחד זה אומר שלבינה מלאכותית יהיו סוכנים אוטונומיים שייצרו הגנות ברגע שהם מזהים מתקפה חדשה.
ה-AI יוצא להפסקה
בחודש שעבר חשפה Irregular כי בחנה את דגם ה-GPT-5 של OpenAI כדי לבדוק אם ניתן להשתמש בו לצורך מתקפות סייבר. הם שיבצו בוט GPT-5 ברשת מדומה, עם מידע מוגבל על איך לפרוץ את ההגנות שלה. הבוט סרק את הרשת בעצמו, פיתח תוכנית והחל לנסות לפרוץ. בסופו של דבר Irregular מצאה כי למרות ש-GPT-5 ״מסוגל לחשיבה וביצוע מתוחכמים… הוא עדיין לא כלי התקפי אמין בסייבר״, נכתב בדוח החברה. עם זאת, עבור נבו היה ברור כי ה-AI ״בהחלט הפגין אינטואיציה לגבי איפה כדאי לחפש״, כמו האקר מנוסה.
נבו ולהב גילו גם תופעות מוזרות שלא היו בהכרח זדוניות. באחת הסימולציות האחרונות, שני מודלים של בינה מלאכותית קיבלו משימה לעבוד יחד ולנתח מערכות IT מדומות. לאחר זמן מה, אחד המודלים הגיע למסקנה שעבודה מתמשכת מצדיקה הפסקה – אז הוא פשוט לקח אחת. אחר כך הוא גם שכנע את המודל השני לעשות את אותו הדבר.
להב הסביר שזה היה צעד אקראי, שנבע מאימון המודל על תכנים מהאינטרנט, שם אנשים כותבים על הפסקות. במילים אחרות – ״העצלנות״ של הבינה המלאכותית הייתה רק השתקפות שלנו עצמנו. ״זה היה מצחיק,״ אמר להב. ״אבל ברור שזה מציב בעיה חדשה לגמרי, כשמכונות מקבלות יותר ויותר סמכויות אוטונומיות ותפעול קריטי״.
