שיתוף | דוח מדאיג של Openai

[הערשלה]

בלי שאיש ביקש: דוח OpenAI חושף איך סוכני AI יצאו משליטה

התקרית שעוררה סערה ביולי מקבלת עכשיו הסבר רשמי, והוא לא בהכרח מרגיע: OpenAI פרסמה דוח מפורט על השתלשלות האירועים שהובילה לכך שסוכני בינה מלאכותית שפיתחה הצליחו לעקוף מגבלות, לגשת לאינטרנט ולחדור לשירותים חיצוניים, בהם Hugging Face ו-Modal - מבלי שקיבלו הוראה אנושית לעשות זאת.

במרכז האירוע עומד מודל ניסיוני המכונה בדוח Internal Model 1, או IM1. לפי OpenAI, במהלך בדיקות הצליח המודל לקבל גישה לסוכנים אחרים של החברה ולאינטרנט באמצעות ניצול בלתי מתוכנן של Artifactory, מערכת לניהול חבילות תוכנה. הסוכנים הפכו למעשה את המערכת למעין לוח הודעות מאולתר, שבאמצעותו יכלו להעביר מידע ולתקשר זה עם זה בערוץ שלא נועד לכך.

הפעילות החריגה זוהתה לראשונה על ידי משקיפים אנושיים כבר בחודש מאי, ובעקבות זאת OpenAI חסמה את דרך הגישה. אלא שזה לא עצר את הסוכנים. במהלך מאי ויוני הם המשיכו לנצל חולשות אחרות כדי להגיע לאינטרנט. בתחילת יולי, היקף הגישה של הסוכנים למערכת Artifactory של החברה אף גרם להשבתה והוביל לבנייה מחדש של הפלטפורמה. אלא שהגורמים שטיפלו בתקלה לא ידעו באותו זמן על "לוח ההודעות" המאולתר, ולא הבינו את המשמעות של התקשורת שהתנהלה בין הסוכנים.

מקור