שיתוף | האמת מאחורי מחירי מודולי הai

[הערשלה]

טיבו (ראש צוות קודקס בOpenAI) מסביר מה זה טוקניזציה ולמה לפעמים מחיר זול נראה יותר יקר והוא מביא את דוגמת הפיצה.

הטענה שלו פשוטה: אי אפשר להשוות מחירים של מודלי AI רק לפי “דולר למיליון טוקנים”, כי טוקן הוא לא יחידת מידה אחידה בין החברות והמודלים.

התמונה עם הפיצות ממחישה את זה יפה:

פיצה א׳ חתוכה ל־8 חתיכות, כל חתיכה עולה 2 דולר → כל הפיצה עולה 16 דולר.
פיצה ב׳ חתוכה ל־16 חתיכות, כל חתיכה עולה רק 1.25 דולר → נשמע זול יותר, אבל כל הפיצה עולה 20 דולר.

כלומר, מחיר נמוך יותר לחתיכה לא אומר שהפיצה זולה יותר, כי חילקו אותה ליותר חתיכות.

אותו דבר בטוקנים. נניח שאתה שולח בדיוק את אותו טקסט ל־GPT ול־Claude. כל מודל משתמש ב־tokenizer אחר, כלומר הוא “חותך” את הטקסט לחלקים בצורה אחרת.

בדוגמה שהוא נתן:

GPT-5.6 Sol: ‏766 טוקנים
Claude Opus 5: בערך 1,170 טוקנים

זה אותו טקסט בדיוק, אבל Sol השתמש בכ־34.5% פחות טוקנים. מהכיוון השני, Claude השתמש בכ־53% יותר טוקנים כדי לייצג את אותו תוכן.

לכן נניח תאורטית:

מודל A עולה $5 למיליון טוקנים,
ומודל B עולה $4 למיליון.

על הנייר B נראה זול ב־20%. אבל אם B צריך 50% יותר טוקנים לאותה עבודה, בסוף החשבון שלו יכול להיות גבוה יותר.

ויש כאן עוד נקודה חשובה יותר שהוא מעלה: אפילו עלות לאותו טקסט היא לא המדד האידיאלי. מה שבאמת מעניין הוא כמה עולה להגיע לתוצאה מוצלחת.

לדוגמה, אם מודל זול עולה לך 5 סנט לניסיון אבל מצליח רק אחרי 4 ניסיונות, שילמת 20 סנט. מודל יקר יותר שעולה 10 סנט ומצליח בפעם הראשונה הוא למעשה זול יותר למשימה.

אז המסר שלו הוא: אל תסתכל רק על $/1M tokens. תסתכל על כמה טוקנים המודל באמת צורך, כמה טוקנים הוא מייצר, ובעיקר כמה עולה לך לקבל תוצאה שאתה מרוצה ממנה.

וזה משמעותי במיוחד בהשוואות בין OpenAI, Anthropic וגוגל, כי לכל אחת מהן יכולה להיות טוקניזציה שונה מאוד.

מקור

[מקווה לעזור]

יפה מאוד

אבל הדוגמא בערבון מוגבל בגלל זהות הכותב…

[בינארי חכם]

@מקווה-לעזור כתב:

אבל הדוגמא בערבון מוגבל

לא נכון אני רואה במוחש שקלוד מבזבז הרבה יותר טוקונים מגמיני בפער
ודובר כבר בפורום אחר שרואים במוחש שקודקס שורף פחות מקלוד

[מקווה לעזור]

@בינארי-חכם מג׳ימיני??
פספסת את החלק בכתבה שהוא אומר שצריך למדוד לפי תוצאה