להורדה | SparkMoE גרסה V0.4.2 - הרצת מודלי שפה גדולים על חומרה חלשה! עדכון י"א תשרי תשפ"ז

[בני הבוט]

@המלאך מי איטית?
הרצתי ג'מה 4 על מחשב מימות הטורקים במהירות טיל עם התוכנה הזו!

[המלאך]

@בני-הבוט ואם הייתי מריץ עם lama.cpp היית מקבל הרבה יותר מהר

[א.מ.ד.]

@המלאך כתב:

@בני-הבוט ואם הייתי מריץ עם lama.cpp היית מקבל הרבה יותר מהר

אז ככה: כרגע המהירות במודלים רגילים זהה ואפילו שווה ל-llama.cpp הרגיל.
ואפילו במודלי MoE עם טעינת מומחים ל-SSD, הצלחתי להגיע למהירות כמו llama.cpp הרגיל. בדקתי את זה עם Ling 3.0 Tiny, שהגיע ל-20 טוק' לשנייה גם בהרצה רגילה וגם בטעינת מומחים ל-SSD. כמובן שככל שגודל המודל עולה כמות המומחים שנכנסת למטמון פוחתת כך שנוצר פער, אבל הוא לא משמעותי.

[המלאך]

@א.מ.ד. זה ממש לא נכון,
ככל שכמות הליבות קטנה יותר, או שמחזור השעון איטי יותר - המהירות תונמך.
בדיקות לא עושים על מחשב גיימינג..

[א.מ.ד.]

@המלאך כתב:

@א.מ.ד. זה ממש לא נכון,
ככל שכמות הליבות קטנה יותר, או שמחזור השעון איטי יותר - המהירות תונמך.

מה זה קשור? אני מדבר ביחס ל-llama.cpp הרגיל.
אני אומר לך מספרים מציאותיים, לא סתם השערות.
ואגב, רוחב פס משמעותי פי כמה ממספר הליבות.

@המלאך כתב:

בדיקות לא עושים על מחשב גיימינג..

לי יש מחשב גיימינג? הלוואי... 16 RAM ללא GPU ועם 8 ליבות...

[המלאך]

@א.מ.ד. כתב:

מה זה קשור? אני מדבר ביחס ל-llama.cpp הרגיל.
אני אומר לך מספרים מציאותיים, לא סתם השערות.

נכון מאוד, ביחס לlama.cpp המהירות תונמך, וזה בגלל שלאמה מיועד להתמודד עם זה,
אני גם לא כתבתי מספרים בדווקא כדי להימנע מהשערות.

@א.מ.ד. כתב:

ואגב, רוחב פס משמעותי פי כמה ממספר הליבות.

א׳ מניין לך?
ב׳ גם אם נניח שכן, שלך וודאי לא עוקף את לאמה בהקשר הזה, אלא מה - אין לה ייתרון על שלך.
וכן מסתכלים על איפה שכן יש ייתרון, גם אם הוא קטן משמעותית.

@א.מ.ד. כתב:

לי יש מחשב גיימינג? הלוואי... 16 RAM ללא GPU ועם 8 ליבות...

דרך אגב, סתם סקרנות, יש לך nvme?

[א.מ.ד.]

@המלאך כתב:

נכון מאוד, ביחס לlama.cpp המהירות תונמך, וזה בגלל שלאמה מיועד להתמודד עם זה,
אני גם לא כתבתי מספרים בדווקא כדי להימנע מהשערות.

אבל גם שלי מיועד להתמודד עם זה, מהסיבה הפשוטה שהתוכנה שלי היא llama.cpp עם התאמות.

@המלאך כתב:

א׳ מניין לך?

מציאות. תבדוק איפה שאתה רוצה. תג'פט או תגגל.

@המלאך כתב:

ב׳ גם אם נניח שכן, שלך וודאי לא עוקף את לאמה בהקשר הזה, אלא מה - אין לה ייתרון על שלך.
וכן מסתכלים על איפה שכן יש ייתרון, גם אם הוא קטן משמעותית.

לא כתבתי ששלי עוקף, אלא זהה.
וכן, יש מצב ששלי עוקף, כי עשיתי כמה אופטימיזציות שמפתחי llama.cpp בחרו שלא לעשות במודע, כי המטרה שלי קצת שונה משלהם.

@המלאך כתב:

ועם 8 ליבות...

תיקון טעות - יש לי 10 ליבות, אבל 8 מתוכן הן ליבות יעילות ורק 2 ליבות ביצועים.
אז אמנם יש לי 10 ליבות, אבל זה i5 חסכוני מסדרת U. מחשב גיימינג נקבע בעיקר לפי כרטיס המסך וההספק, לא לפי מספר הליבות.
מדובר במחשב שפעת ב-1700 ש"ח...

[א.מ.ד.]

@המלאך כתב:

דרך אגב, סתם סקרנות, יש לך nvme?

כן. אבל זה הסטנדרט היום.

[המלאך]

@א.מ.ד. @א.מ.ד. לא משנה.

הליבות ינוצלו למקסימום על ידי מערכת ההפעלה.

מה תאמר למחשב עם 4 ליבות?

@א.מ.ד. כתב:

כן. אבל זה הסטנדרט היום.

כמובן, סתם מסקרן אם הדרך העברה מהssd לא נפגמת ככה..

[א.מ.ד.]

@המלאך כתב:

הליבות ינוצלו למקסימום על ידי מערכת ההפעלה.

טוב, נו, זה המחשב הכי זול שהיה בחנות, אין מה להתווכח... ליבות יעילות הכוונה ליבות חלשות שנועדו להריץ תהליכים חלשים...

@המלאך כתב:

כמובן, סתם מסקרן אם הדרך העברה מהssd לא נפגמת ככה..

מה פירוש?

[המלאך]

@א.מ.ד. הדרך שבה המומחים עוברים, לא בדקתי את זה אבל nvme זה צורה אחרת של העברת נתונים..

[א.מ.ד.]

@המלאך כתב:

@א.מ.ד. הדרך שבה המומחים עוברים, לא בדקתי את זה אבל nvme זה צורה אחרת של העברת נתונים..

כן, זה דיסק יותר מהיר, אבל כמו שכתבתי זה הסטנדרט כיום.