🧮 מחשבון: איזה מודל AI נכנס במחשב שלי?

איך מחשבים כמה זיכרון מודל צריך?
גודל המודל ≈ מספר הפרמטרים × ביטים למשקל ÷ 8.
ב-Q4_K_M זה כ-4.89 ביט למשקל (≈0.61 בייט), ב-Q8_0 כ-8.5 ביט (≈1.06 בייט), וב-FP16 – 16 ביט (2 בייט) – לפי הטבלה של llama.cpp.
דוגמה: Llama 3.1 8B ב-Q4 ≈ 8 × 0.61 ≈ 4.9GB, וזה בדיוק גודל הקובץ ב-Ollama.
זיכרון נדרש ≈ גודל הקובץ × 1.1 + 0.5GB (בשביל הקשר של 4,096 טוקנים – ברירת המחדל של Ollama – ומאגרי עבודה). זו הערכה; הקשר ארוך יותר צריך יותר זיכרון.
מקורות: llama.cpp – טבלת ביטים למשקל לפי קוונטיזציה, ספריית המודלים של Ollama (גדלי קבצים), Ollama – שאלות נפוצות (הקשר, כמה כרטיסים)