דיון | תשובה קבועה לבחירת מספר אקראי
-
@המלאך נראה לך שכל המספרים ה'אקראיים' באינטרנט הם המספר 17? נגיד והוא אומן על 90 אחוז מהמקרים שהמספר האקראי הוא 17, אז אם תשים טמפרטורה קיצונית, הוא לא יהסס לקחת מה10 אחוז..
-
@חובבן-מקצועי יש גם עוד פרמטרים כמו TOP K, שמשפיעים לא פחות.
-
@המלאך @חובבן-מקצועי מה שטמפרטורה של מעל 1 עושה, זה שהיא מקטינה את הפער של הוקטורים הנפוצים על פני הוקטורים הנדירים, אך כמובן תמיד מילה נדירה לא תתקבל יותר פעמים סטטיסטית ממילה נפוצה.
@יש-לי-מושג איך זה סותר למה שאמרתי?
יש גם עוד פרמטרים כמו TOP K, שמשפיעים לא פחות
לא הייתי אף פעם ai אבל לא נראה לי שבשאלות כאלה טופ 100 או דומיו משפיע.
פרופיל גיטהאב:
https://github.com/Amlaach
אתר (סתם בשביל הכיף) - https://amlaach.github.io/personal-site/ -
@יש-לי-מושג איך זה סותר למה שאמרתי?
יש גם עוד פרמטרים כמו TOP K, שמשפיעים לא פחות
לא הייתי אף פעם ai אבל לא נראה לי שבשאלות כאלה טופ 100 או דומיו משפיע.
לא הייתי אף פעם ai אבל לא נראה לי שבשאלות כאלה טופ 100 או דומיו משפיע.
אין לך מושג עד כמה זה משפיע... בעבר זה היה פחות משמעותי, אבל היום אני מחזיק ב-LMS רשימה של עשרות פרופילים עבור כל מודל לפי הפרמטרים המומלצים ע"י היצרן... זה משנה דרסטית את הפלט...
אבל בשאלות האלו ספציפית אמרתי שקשה להשפיע על הפלט...
אגב, זה באג מעניין שלדעתי הוא זה שגם אחראי לעיצוב הגנרי שמודלי AI יוצרים לאתרים ודומיהם... -
@יש-לי-מושג איך זה סותר למה שאמרתי?
יש גם עוד פרמטרים כמו TOP K, שמשפיעים לא פחות
לא הייתי אף פעם ai אבל לא נראה לי שבשאלות כאלה טופ 100 או דומיו משפיע.
-
@הערשלה מ 1 עד 10 הוא יגיד 7
ויש לזה הסבר לוגי, ראיתי בעבר. -
@צדיק-וטוב-לו ההסבר של זה ש-1 קלאסי מידי
2468 כפולות של 2
5 ו10 עגולים מידי
369 כפולות
היחיד שנשאר לא כ"כ קלאסי הוא 7, אין לו שום כפולה, ושום תרגיל מסויים שניתן להגיע אליו בקלות ב1 עד 10@החכם-השלם או מה שנקרא בקיצור מספר ראשוני.
-
קישור למחקר בנושא https://ar5iv.labs.arxiv.org/html/2502.19965
הסיבה שזה קורה היא ש28 אחוז מהפעמים אנשים בוחרים 7 ועל זה המודלים אומנו אז הם עושים את זה ב80 אחוז מהפעמים.
ספויילר -
הטמפרטורה שלו לא אמורה להביא אותו לתשובה שיותר מדי חוזרת על עצמה..
זה לא לגמרי ברור, אבל אני חושב שהנוכחות של מספר מסוים בנתוני האימון כ"מספר אקראי" היא כל כך גבוהה עד כדי כך שטמפרטורה לא משפיעה על זה.
אגב, התופעה הזאת מתרחשת במקרים רבים נוספים, לדוגמא בקשו ממנו סיפור מסוים, ובדרך כלל גיבורי הסיפור יהיו עם אותו שם.
לדוגמא, אם תבקשו ממנו "תן לי שם אקראי של שוטר" בדרך כלל GPT ייקרא לו אורי מזרחי או איתי מזרחי... ובאופן כללי הוא מאוד אוהב את השם איתי...
".שלום! נראה שהשיחה הזו מעניינת אותך, אבל עדיין אין לך חשבון.
נמאס לכם לגלול בין אותם הפוסטים בכל ביקור? כשנרשמים לחשבון, תמיד תחזרו בדיוק למקום שבו הייתם קודם, ותוכלו לבחור לקבל התראות על תגובות חדשות (בין אם במייל, ובין אם בהתראת פוש). תוכלו גם לשמור סימניות ולפרגן ב-upvote לפוסטים כדי להביע הערכה לחברי קהילה אחרים.
בעזרת התרומה שלך, הפוסט הזה יכול להיות אפילו טוב יותר 💗
הרשמה התחברות
