<![CDATA[להורדה | SparkMoE גרסה V0.4.2 - הרצת מודלי שפה גדולים על חומרה חלשה! עדכון י"א תשרי תשפ"ז]]>שחררתי בגיטהאב את הגרסה החדשה של התוכנה שלי - SparkMoE.
image.jpeg
למי שעדיין לא מכיר מהגרסה הקודמת, מדובר בתוכנה מהפכנית שמאפשרת להריץ מודלי AI גדולים בארכיטקטורת MoE על חומרה חלשה מאוד, באמצעות טעינת מומחים לדיסק במקום ל-RAM.
לדוגמה, על החומרה שלי - 16 RAM בלבד ללא GPU, אני מקבל עם SparkMoE 5-7 טוקנים לשנייה במודלים כמו Qwen 3.6 35B ו-Gemma 4 26B.
הצלחתי אפילו להריץ באופן מקומי לחלוטין את Qwen 3.8 Flash Next - מודל של 181B, ברמת Gemini 3.8 Flash, עם 0.5 טוק' לשנייה.

בין השיפורים:

  • SparkMoE קיבלה חלון עצמאי, במקום לפתוח 2 כרטיסיות בדפדפן + חלון CMD.
  • ה-UI של SparkMoE אוחד במלואו עם ה-UI המקורי של llama.cpp, כך שאין יותר שני מסכים נפרדים לניהול SparkMoE ולניהול llama.cpp, אלא הכל נמצא תחת אותו ממשק.
  • שיפורים משמעותיים בהאצת מהירות הסקת המודלים.
  • הוספת תמיכה בארכיטקטורת qwen4exp - עבור Qwen 3.8 Flash Next (שמקבל כ-0.5 טוק' לשנייה על מחשב פשוט עם 16 RAM עם SparkMoE), ומשפחת מודלי Qwen 4 שתשוחרר בקרוב.
  • הוספת תמיכה בטבלאות n-gram וטעינתם לדיסק במקום ל-RAM - רלוונטי במיוחד עבור Qwen 3.8 Flash Next ומשפחת מודלי Qwen 4 העתידיים.
  • ניהול נוח יותר של כלל ההגדרות, כולל הגדרה פר מודל.
  • שיפורים רבים נוספים.

תמונות לדוגמה:

  • ממשק הצ'אט:
    image.jpeg
    image.jpeg
  • ממשק ניהול SparkMoE:
    image.jpeg

הורדה:

הפרוייקט זמין בקוד פתוח בגיטהאב, ראו כאן.
ניתן להוריד קובץ EXE להתקנה מהירה מה-releases, או גרסת ZIP ניידת (לחלץ לתיקיה ולהפעיל את SparkMoE.exe).
אל תשכחו לשים ⭐ במאגר בגיטהאב על הדרך!
(הקוד המקורי של llama.cpp ברישיון MIT, והחלקים שלי תחת רישיון לא מסחרי).

אשמח לקבל משוב, הערות והארות על SparkMoE!

]]>https://bina.top/topic/249/להורדה-sparkmoe-גרסה-v0.4.2-הרצת-מודלי-שפה-גדולים-על-חומרה-חלשה-עדכון-י-א-תשרי-תשפ-זRSS for NodeFri, 25 Sep 2026 01:12:11 GMTMon, 21 Sep 2026 23:37:02 GMT60<![CDATA[Reply to להורדה | SparkMoE גרסה V0.4.2 - הרצת מודלי שפה גדולים על חומרה חלשה! עדכון י"א תשרי תשפ"ז on Thu, 24 Sep 2026 19:12:57 GMT]]>@המלאך כתב:

@א.מ.ד. הדרך שבה המומחים עוברים, לא בדקתי את זה אבל nvme זה צורה אחרת של העברת נתונים..

כן, זה דיסק יותר מהיר, אבל כמו שכתבתי זה הסטנדרט כיום.

]]>https://bina.top/post/2958https://bina.top/post/2958Thu, 24 Sep 2026 19:12:57 GMT<![CDATA[Reply to להורדה | SparkMoE גרסה V0.4.2 - הרצת מודלי שפה גדולים על חומרה חלשה! עדכון י"א תשרי תשפ"ז on Thu, 24 Sep 2026 19:06:45 GMT]]>@א.מ.ד. הדרך שבה המומחים עוברים, לא בדקתי את זה אבל nvme זה צורה אחרת של העברת נתונים..

]]>https://bina.top/post/2956https://bina.top/post/2956Thu, 24 Sep 2026 19:06:45 GMT<![CDATA[Reply to להורדה | SparkMoE גרסה V0.4.2 - הרצת מודלי שפה גדולים על חומרה חלשה! עדכון י"א תשרי תשפ"ז on Thu, 24 Sep 2026 18:59:47 GMT]]>@המלאך כתב:

הליבות ינוצלו למקסימום על ידי מערכת ההפעלה.

טוב, נו, זה המחשב הכי זול שהיה בחנות, אין מה להתווכח... ליבות יעילות הכוונה ליבות חלשות שנועדו להריץ תהליכים חלשים...

@המלאך כתב:

כמובן, סתם מסקרן אם הדרך העברה מהssd לא נפגמת ככה..

מה פירוש?

]]>https://bina.top/post/2954https://bina.top/post/2954Thu, 24 Sep 2026 18:59:47 GMT<![CDATA[Reply to להורדה | SparkMoE גרסה V0.4.2 - הרצת מודלי שפה גדולים על חומרה חלשה! עדכון י"א תשרי תשפ"ז on Thu, 24 Sep 2026 14:19:51 GMT]]>@א.מ.ד. @א.מ.ד. לא משנה.

הליבות ינוצלו למקסימום על ידי מערכת ההפעלה.

מה תאמר למחשב עם 4 ליבות?

@א.מ.ד. כתב:

כן. אבל זה הסטנדרט היום.

כמובן, סתם מסקרן אם הדרך העברה מהssd לא נפגמת ככה..

]]>https://bina.top/post/2949https://bina.top/post/2949Thu, 24 Sep 2026 14:19:51 GMT<![CDATA[Reply to להורדה | SparkMoE גרסה V0.4.2 - הרצת מודלי שפה גדולים על חומרה חלשה! עדכון י"א תשרי תשפ"ז on Thu, 24 Sep 2026 14:15:32 GMT]]>@המלאך כתב:

דרך אגב, סתם סקרנות, יש לך nvme?

כן. אבל זה הסטנדרט היום.

]]>https://bina.top/post/2948https://bina.top/post/2948Thu, 24 Sep 2026 14:15:32 GMT<![CDATA[Reply to להורדה | SparkMoE גרסה V0.4.2 - הרצת מודלי שפה גדולים על חומרה חלשה! עדכון י"א תשרי תשפ"ז on Thu, 24 Sep 2026 14:15:13 GMT]]>@המלאך כתב:

נכון מאוד, ביחס לlama.cpp המהירות תונמך, וזה בגלל שלאמה מיועד להתמודד עם זה,
אני גם לא כתבתי מספרים בדווקא כדי להימנע מהשערות.

אבל גם שלי מיועד להתמודד עם זה, מהסיבה הפשוטה שהתוכנה שלי היא llama.cpp עם התאמות.

@המלאך כתב:

א׳ מניין לך?

מציאות. תבדוק איפה שאתה רוצה. תג'פט או תגגל.

@המלאך כתב:

ב׳ גם אם נניח שכן, שלך וודאי לא עוקף את לאמה בהקשר הזה, אלא מה - אין לה ייתרון על שלך.
וכן מסתכלים על איפה שכן יש ייתרון, גם אם הוא קטן משמעותית.

לא כתבתי ששלי עוקף, אלא זהה.
וכן, יש מצב ששלי עוקף, כי עשיתי כמה אופטימיזציות שמפתחי llama.cpp בחרו שלא לעשות במודע, כי המטרה שלי קצת שונה משלהם.

@המלאך כתב:

ועם 8 ליבות...

תיקון טעות - יש לי 10 ליבות, אבל 8 מתוכן הן ליבות יעילות ורק 2 ליבות ביצועים.
אז אמנם יש לי 10 ליבות, אבל זה i5 חסכוני מסדרת U. מחשב גיימינג נקבע בעיקר לפי כרטיס המסך וההספק, לא לפי מספר הליבות.
מדובר במחשב שפעת ב-1700 ש"ח...

]]>https://bina.top/post/2947https://bina.top/post/2947Thu, 24 Sep 2026 14:15:13 GMT<![CDATA[Reply to להורדה | SparkMoE גרסה V0.4.2 - הרצת מודלי שפה גדולים על חומרה חלשה! עדכון י"א תשרי תשפ"ז on Thu, 24 Sep 2026 14:02:52 GMT]]>@א.מ.ד. כתב:

מה זה קשור? אני מדבר ביחס ל-llama.cpp הרגיל.
אני אומר לך מספרים מציאותיים, לא סתם השערות.

נכון מאוד, ביחס לlama.cpp המהירות תונמך, וזה בגלל שלאמה מיועד להתמודד עם זה,
אני גם לא כתבתי מספרים בדווקא כדי להימנע מהשערות.

@א.מ.ד. כתב:

ואגב, רוחב פס משמעותי פי כמה ממספר הליבות.

א׳ מניין לך?
ב׳ גם אם נניח שכן, שלך וודאי לא עוקף את לאמה בהקשר הזה, אלא מה - אין לה ייתרון על שלך.
וכן מסתכלים על איפה שכן יש ייתרון, גם אם הוא קטן משמעותית.

@א.מ.ד. כתב:

לי יש מחשב גיימינג? הלוואי... 16 RAM ללא GPU ועם 8 ליבות...

דרך אגב, סתם סקרנות, יש לך nvme?

]]>https://bina.top/post/2946https://bina.top/post/2946Thu, 24 Sep 2026 14:02:52 GMT<![CDATA[Reply to להורדה | SparkMoE גרסה V0.4.2 - הרצת מודלי שפה גדולים על חומרה חלשה! עדכון י"א תשרי תשפ"ז on Thu, 24 Sep 2026 13:27:52 GMT]]>@המלאך כתב:

@א.מ.ד. זה ממש לא נכון,
ככל שכמות הליבות קטנה יותר, או שמחזור השעון איטי יותר - המהירות תונמך.

מה זה קשור? אני מדבר ביחס ל-llama.cpp הרגיל.
אני אומר לך מספרים מציאותיים, לא סתם השערות.
ואגב, רוחב פס משמעותי פי כמה ממספר הליבות.

@המלאך כתב:

בדיקות לא עושים על מחשב גיימינג..

לי יש מחשב גיימינג? הלוואי... 16 RAM ללא GPU ועם 8 ליבות...

]]>https://bina.top/post/2945https://bina.top/post/2945Thu, 24 Sep 2026 13:27:52 GMT<![CDATA[Reply to להורדה | SparkMoE גרסה V0.4.2 - הרצת מודלי שפה גדולים על חומרה חלשה! עדכון י"א תשרי תשפ"ז on Wed, 23 Sep 2026 22:49:46 GMT]]>@א.מ.ד. זה ממש לא נכון,
ככל שכמות הליבות קטנה יותר, או שמחזור השעון איטי יותר - המהירות תונמך.
בדיקות לא עושים על מחשב גיימינג..

]]>https://bina.top/post/2930https://bina.top/post/2930Wed, 23 Sep 2026 22:49:46 GMT<![CDATA[Reply to להורדה | SparkMoE גרסה V0.4.2 - הרצת מודלי שפה גדולים על חומרה חלשה! עדכון י"א תשרי תשפ"ז on Wed, 23 Sep 2026 21:13:05 GMT]]>@המלאך כתב:

@בני-הבוט ואם הייתי מריץ עם lama.cpp היית מקבל הרבה יותר מהר

אז ככה: כרגע המהירות במודלים רגילים זהה ואפילו שווה ל-llama.cpp הרגיל.
ואפילו במודלי MoE עם טעינת מומחים ל-SSD, הצלחתי להגיע למהירות כמו llama.cpp הרגיל. בדקתי את זה עם Ling 3.0 Tiny, שהגיע ל-20 טוק' לשנייה גם בהרצה רגילה וגם בטעינת מומחים ל-SSD. כמובן שככל שגודל המודל עולה כמות המומחים שנכנסת למטמון פוחתת כך שנוצר פער, אבל הוא לא משמעותי.

]]>https://bina.top/post/2928https://bina.top/post/2928Wed, 23 Sep 2026 21:13:05 GMT<![CDATA[Reply to להורדה | SparkMoE גרסה V0.4.2 - הרצת מודלי שפה גדולים על חומרה חלשה! עדכון י"א תשרי תשפ"ז on Wed, 23 Sep 2026 16:28:51 GMT]]>@בני-הבוט ואם הייתי מריץ עם lama.cpp היית מקבל הרבה יותר מהר

]]>https://bina.top/post/2913https://bina.top/post/2913Wed, 23 Sep 2026 16:28:51 GMT<![CDATA[Reply to להורדה | SparkMoE גרסה V0.4.2 - הרצת מודלי שפה גדולים על חומרה חלשה! עדכון י"א תשרי תשפ"ז on Wed, 23 Sep 2026 15:06:34 GMT]]>@המלאך מי איטית?
הרצתי ג'מה 4 על מחשב מימות הטורקים במהירות טיל עם התוכנה הזו!

]]>https://bina.top/post/2905https://bina.top/post/2905Wed, 23 Sep 2026 15:06:34 GMT<![CDATA[Reply to להורדה | SparkMoE גרסה V0.4.2 - הרצת מודלי שפה גדולים על חומרה חלשה! עדכון י"א תשרי תשפ"ז on Wed, 23 Sep 2026 13:32:03 GMT]]>@יודע-ומייבין זה תוכנה שמאפשרת להשתמש במודלים מקומיים גדולים יותר שבעיקרון לא מתאימים לחומרה ביתית.

רק מה - היא איטית יותר..

]]>https://bina.top/post/2904https://bina.top/post/2904Wed, 23 Sep 2026 13:32:03 GMT<![CDATA[Reply to להורדה | SparkMoE גרסה V0.4.2 - הרצת מודלי שפה גדולים על חומרה חלשה! עדכון י"א תשרי תשפ"ז on Wed, 23 Sep 2026 13:27:28 GMT]]>@א.מ.ד. זה בעצם ai עם אופציה לבחירת מודלים עוצמתיים?

]]>https://bina.top/post/2903https://bina.top/post/2903Wed, 23 Sep 2026 13:27:28 GMT