דיון | תשובה קבועה לבחירת מספר אקראי

[א.מ.ד.]

@חובבן-מקצועי כתב:

הטמפרטורה שלו לא אמורה להביא אותו לתשובה שיותר מדי חוזרת על עצמה..

זה לא לגמרי ברור, אבל אני חושב שהנוכחות של מספר מסוים בנתוני האימון כ"מספר אקראי" היא כל כך גבוהה עד כדי כך שטמפרטורה לא משפיעה על זה.

אגב, התופעה הזאת מתרחשת במקרים רבים נוספים, לדוגמא בקשו ממנו סיפור מסוים, ובדרך כלל גיבורי הסיפור יהיו עם אותו שם.
לדוגמא, אם תבקשו ממנו "תן לי שם אקראי של שוטר" בדרך כלל GPT ייקרא לו אורי מזרחי או איתי מזרחי... ובאופן כללי הוא מאוד אוהב את השם איתי...

[המלאך]

@חובבן-מקצועי זה בכלל לא קשור לטמפטרטורה.
גם אם הוא ילך על חיבורי ווקטורים רחוקים יותר הוא יגיע לאותה תוצאה, זה לא ׳חישוב׳, זה ׳אין אופציה אחרת׳.

[חובבן מקצועי]

@המלאך נראה לך שכל המספרים ה'אקראיים' באינטרנט הם המספר 17? נגיד והוא אומן על 90 אחוז מהמקרים שהמספר האקראי הוא 17, אז אם תשים טמפרטורה קיצונית, הוא לא יהסס לקחת מה10 אחוז..

[המלאך]

@חובבן-מקצועי טמפרטורה לא באמת יכולה לשבור את הבסיס של הדרך שבה הוא חושב.

והוא חושב סטטיסטיקה.
לקחת סיכון גבוה יותר ממש לא אומר לקחת את ה10 לעומת ה90!

[יש לי מושג]

@המלאך @חובבן-מקצועי מה שטמפרטורה של מעל 1 עושה, זה שהיא מקטינה את הפער של הוקטורים הנפוצים על פני הוקטורים הנדירים, אך כמובן תמיד מילה נדירה לא תתקבל יותר פעמים סטטיסטית ממילה נפוצה.

[א.מ.ד.]

@חובבן-מקצועי יש גם עוד פרמטרים כמו TOP K, שמשפיעים לא פחות.

[יש לי מושג]

@א.מ.ד. כתב:

ש גם עוד פרמטרים כמו TOP K, שמשפיעים לא פחות.

כמו שכתבתי כאן, top-k - בחירה אקראית רק מבין המילים עם הכי הרבה %, ו-top-p - בחירה אקראית רק מבין מילים שקיבלו לפחות % מסויים.

[המלאך]

@יש-לי-מושג איך זה סותר למה שאמרתי?

@א.מ.ד. כתב:

יש גם עוד פרמטרים כמו TOP K, שמשפיעים לא פחות

לא הייתי אף פעם ai אבל לא נראה לי שבשאלות כאלה טופ 100 או דומיו משפיע.

[א.מ.ד.]

@המלאך כתב:

לא הייתי אף פעם ai אבל לא נראה לי שבשאלות כאלה טופ 100 או דומיו משפיע.

אין לך מושג עד כמה זה משפיע... בעבר זה היה פחות משמעותי, אבל היום אני מחזיק ב-LMS רשימה של עשרות פרופילים עבור כל מודל לפי הפרמטרים המומלצים ע"י היצרן... זה משנה דרסטית את הפלט...

אבל בשאלות האלו ספציפית אמרתי שקשה להשפיע על הפלט...
אגב, זה באג מעניין שלדעתי הוא זה שגם אחראי לעיצוב הגנרי שמודלי AI יוצרים לאתרים ודומיהם...

[המלאך]

המלאך כתב:

אבל לא נראה לי שבשאלות כאלה

[החכם השלם]

@צדיק-וטוב-לו ההסבר של זה ש-1 קלאסי מידי
2468 כפולות של 2
5 ו10 עגולים מידי
369 כפולות
היחיד שנשאר לא כ"כ קלאסי הוא 7, אין לו שום כפולה, ושום תרגיל מסויים שניתן להגיע אליו בקלות ב1 עד 10

[אברהם גלסר]

@החכם-השלם או מה שנקרא בקיצור מספר ראשוני.

[נוחעם FM]

קישור למחקר בנושא https://ar5iv.labs.arxiv.org/html/2502.19965

הסיבה שזה קורה היא ש28 אחוז מהפעמים אנשים בוחרים 7 ועל זה המודלים אומנו אז הם עושים את זה ב80 אחוז מהפעמים.

Spoiler

ספויילר