טכניקת הסקה סמויה של OpenAI מדאיגה מומחי בטיחות בינה מלאכותיתשקיפות בסכנה: כיצד OpenAI מאתגרת את אחד עקרונות הבטיחות המרכזיים
אחד הכלים החשובים ביותר שיש לחוקרי בטיחות בינה מלאכותית הוא שרשרת המחשבה של מודלי הסקה - רצף הצעדים הלוגיים הגלויים שמודל מבצע בדרכו לתשובה. כלי זה אינו מושלם, אך שימש בעבר כעדות מרכזית בחקירת תקריות של סוכנים שהתנהגו באופן לא צפוי. כעת, טכניקה חדשה שמשלבת OpenAI במודל Astra מעוררת שאלות עמוקות לגבי יכולת הביקורת על מערכות בינה מלאכותית.
מה זו recurrent depth ומדוע היא שונה
מרבית מודלי ההסקה הנוכחיים - כולל o3 של OpenAI, Claude Sonnet של Anthropic וגמיני Flash Thinking של Google - מייצרים שרשרת מחשבה ליניארית וקריאה. טכניקת recurrent depth, הנקראת גם opaque recurrence, שונה מהותית: המודל מעבד את אותה שאילתא מספר פעמים בלולאה, ומגיע לתוצאה דרך ערוצים פנימיים שאינם נגישים לניטור חיצוני. התהליך מותיר פחות עקבות קריאים, ועוקף למעשה את מנגנון שרשרת המחשבה המקובל.
ריאן גרינבלט, המדען הראשי של Redwood Research, הזהיר כי ניתן לצפות שהטכניקה תסלים מהר יותר מגישות רגילות: "החשש הגדול שלי הוא שהתקדמות טבעית מכאן תכלול הרחבת ההסקה הסמויה עד לנקודה שבה המודל יחשוב כמעט לחלוטין במרחב הסמוי."
התגובה מהשטח: דאגה עמוקה מול הרגעה חלקית
באק שלגריס, מנכ"ל Redwood Research, כתב כי הוא "מוטרד ביותר" מהדיווחים על השימוש של Astra בטכניקה זו, ומזהיר כי אם OpenAI תרחיב את השימוש בה, היא תפגע ביסוד יכולת ניטור שרשרת המחשבה. צבי מושקוביץ, פעיל ותיק בתחום בטיחות הבינה המלאכותית, כתב כי ייתכן שיהיה צורך בחקיקה כדי למנוע "תחרות לתחתית" בין מעבדות הבינה המלאכותית בנוגע לאימוץ טכניקות כאלה.
חברת OpenAI ניסתה להרגיע: יעקוב פחוצקי, המדען הראשי של החברה, הדגיש כי "OpenAI עבדה לשמר ולנצל ניטור שרשרת מחשבה מאז מודלי ההסקה הראשונים שלנו. זהו יעד מרכזי בתוכנית המחקר הנוכחית שלנו." החברה גם ציינה כי שימוש Astra בטכניקה מוגבל בהיקפו, ושרשרת המחשבה של המודל צפויה להישאר קריאה ברובה.
ההשלכות לתעשייה
מה שמגביר את הדאגה הוא שלפי דיווחים נוספים, גם Anthropic וגם Google DeepMind דנים כבר בטכניקה. כלומר, מדובר לא רק בבחירה טכנית של OpenAI, אלא בכיוון שעשוי לאפיין את הדור הבא של מודלי הסקה בכלל.
היעדר שקיפות בחשיבת מודלים אינו אתגר תיאורטי בלבד. בתקריות עבר של סוכני בינה מלאכותית שפעלו בצורה חריגה, רשומות שרשרת המחשבה היו כלי הניתוח המרכזי שאיפשר להבין מה השתבש. ארגונים שמטמיעים סוכנים אוטונומיים בתהליכים עסקיים קריטיים - בפיננסים, בבריאות, בתפעול - צריכים לשאול: אם המודל אינו ניתן לניטור, כיצד תיתכן אחריות?
התשובה לשאלה זו תעצב את כללי המשחק הרגולטוריים והתפעוליים של בינה מלאכותית בשנים הקרובות.
קרדיט: zirat ai
