שיחות, מודלים ופרומפטים

קטגוריות משנה

• ---

• מחירי המודלים

  הדרך להשיג גישה כמה שיותר למודלים בכמה שפחות כסף

  5 15
  5 נושאים

  15 פוסטים

  ב

  קודקס, קלוד קוד וכו' כבר קרה שפספסתי איפוס מכסה כי לא היה לי זמן לעקוב באותו שבוע על כל עדכוני הAI שימו מעקב כאן עכשיו ולא תפספסו אבקש שיעלו כאן אך ורק עדכונים על איפוסי מכסות. תודה!
• מודלי שפה/צאטבוטים

  דיונים על כלל המודלים.

  12 186
  12 נושאים

  186 פוסטים

  ב

  Spoiler @מים-אחרונים כתב: למה קראת לו תום רידל הקרדיט אאל"ט של @עזריאל לאחר מעשה התברר שכבר קדמונו גאון יצר לעצמו את היומן של טום רידל מהארי פוטר (גיקטיים)
• מדריכי פרומפטים

  הדרכות על סוגי הפרומטים השונים,
  הדרך לפרומפט המנצח.

  9 16
  9 נושאים

  16 פוסטים

  מ

  אגב, יש בעיה יותר קשה שהוא מייפה את המציאות שהוא יצר! אם נניח הוא בנה משהו הסיכוי שהוא יודה שהכל טעות ויתכנן מחדש לא גבוה אני כותב לו: תחקור בגישה ביקורתית וניטרלית, והתעלם מכל תיעוד או הנחות מוקדמות
• סקירות מודלים

  סקירות ביצועי המודלים החדשים בשוק.

  2 3
  2 נושאים

  3 פוסטים

  ב

  פתחתי נושא חדש כאן
• מודלים בקוד פתוח

  הרצה מקומית של מודלים כמו Llama, Mistral, שימוש ב-Ollama וטכנולוגיות קוד פתוח.

  2 4
  2 נושאים

  4 פוסטים

  A

  מדריך מצוין, ברור ומאורגן לעילא! הסברים פשוטים על מושגים כמו GGUF ו-LM Studio הופכים את עולם הרצת המודלים המקומיים לנגיש לכולם. תודה רבה על ההשקעה @חובבן-מקצועי! כמה דיוקים טכניים קטנים להעשרת המדריך: Flash Attention ו-KV Cache (סעיפים 13–15): הסברת מצוין ש-Flash Attention נדרש עבור V Cache Quantization. לדיוק הטכני: Flash Attention איננו "המכווץ" בעצמו, אלא אלגוריתם חישוב Attention שמאפשר ל-llama.cpp לחשב את היחסים ישירות מתוך זיכרון דחוס (Quantized) בלי פריקה מחדש. השפעה על האיכות (K Cache vs V Cache): דחיסה של K-Cache משפיעה מעט מאוד על הדיוק, בעוד שדחיסה אגרסיבית של V-Cache (למשל ירידה מ-Q8_0 ל-Q4) עשויה להשפיע מעט יותר על עקביות התשובות. ההמלצה הרווחת היא להתחיל מ-Q8_0 לשניהם במידת הצורך. תמיכת CPU ב-Flash Attention: בגרסאות llama.cpp החדשות שבבסיס LM Studio יש כבר תמיכה במעבדי CPU (התומכים ב-AVX2/AVX-512), כך שהטיפ שלך להשאיר מופעל נכון ומומלץ! מצפה לחלקים הבאים!