8, 12, 16 o 24 GB di memoria grafica aiutano nella prima scelta. L’utilità quotidiana di un modello linguistico locale dipende anche dalla versione, dal contesto e dall’uso simultaneo. Un breve confronto della memoria evita acquisti sbagliati.
Che cosa occupa davvero la memoria grafica
La pianificazione comprende tre elementi: i pesi del modellocaricati, la memoria di contesto, inclusa la cache KV e i buffer di esecuzione del backend utilizzato. Occorre inoltre spazio per altre applicazioni GPU e una riserva operativa. Con una normale scheda grafica dedicata, RAM di sistema e memoria grafica sono risorse distinte.
Nei sistemi a memoria condivisa il budget è diverso: sistema operativo, applicazioni e modello usano lo stesso spazio. Anche qui il progetto pilota deve misurare la memoria realmente disponibile e il carico effettivo. La capacità nominale da sola non basta in nessuna delle due architetture.
4 bit: un calcolo utile con limiti chiari
La “B” in 7B o 70B indica miliardi di parametri. Una stima dei pesi con 4 bit uniformi è: numero di parametri × 4 ÷ 8 = byte. La quantizzazione memorizza i pesi con precisione inferiore. L’effetto sulla qualità delle risposte va verificato rispetto al compito.
| Classe del modello | Dimensione teorica a 4 bit | Conseguenze |
|---|---|---|
| 7–8B | 3,5–4,0 GB ≈ 3,26–3,73 GiB | Punto di partenza compatto per una prima prova; vanno aggiunti il file concreto e il contesto. |
| 14B | 7,0 GB ≈ 6,52 GiB | Il solo calcolo non dimostra l’esecuzione completa su una scheda da 8 GB. |
| 32B | 16,0 GB ≈ 14,90 GiB | Anche un budget nominalmente sufficiente per i pesi non lascia spazio al resto dell’esecuzione. |
| 70B | 35,0 GB ≈ 32,60 GiB | In questo calcolo semplificato, già i pesi superano una singola scheda da 24 GB. |
Un GGUF concreto è più grande o composto diversamente da questo calcolo. Metodi come Q4_K_M non memorizzano semplicemente ogni componente a quattro bit per parametro. La pianificazione deve quindi indicare il file esatto del modello con la variante di quantizzazione prevista.
Un esempio verificabile dalle directory ufficiali Qwen: le parti dei file Q4_K_M di Qwen2.5-Instruct, sommate, occupano per 7B circa 4,68 GB / 4,36 GiB, per 14B 8,99 GB / 8,37 GiB e per 32B 19,85 GB / 18,49 GiB. Sono dimensioni dei file, non consumi VRAM misurati. Mostrano però perché “32B a 4 bit entrano in 16 GB” non è una promessa affidabile per questa versione.
Inquadrare 8, 12, 16 o 24 GB
| Classe di capacità | Ambito utile di prova | Aspetti da verificare |
|---|---|---|
| 8 GB | Una versione compatta da 7–8B con contesto limitato come punto di partenza. | Altri utilizzi della GPU e input lunghi possono restringere rapidamente il budget. |
| 12 GB | Più margine per modelli compatti; provare una specifica quantizzazione da 14B. | Pesi, cache KV e buffer devono rientrare insieme nella memoria libera. |
| 16 GB | Riserva aggiuntiva per versioni adatte di modelli piccoli e medi. | Il Qwen2.5-32B-Q4_K_M citato supera questa classe già come file completo. |
| 24 GB | Una quantizzazione da 32B adatta può essere valutata. | Vanno inoltre provati contesto lungo e richieste parallele. Questo non implica il supporto di 70B. |
Verificare l’unità dello strumento di misura e la memoria libera . Due schede della stessa capacità possono differire molto per banda, potenza di calcolo, driver e consumo. Più GB non costituiscono quindi né approvazione del modello né benchmark.
Provare contesto e richieste simultanee
La cache KV conserva i valori intermedi necessari all’elaborazione. Il fabbisogno dipende, fra l’altro, da architettura del modello, lunghezza del contesto e formato di memorizzazione. Documenti lunghi, cronologia chat ed estratti di conoscenza richiedono spazio aggiuntivo. La finestra di contesto massima dichiarata non è quindi memoria utilizzabile gratuitamente.
Una singola prova riuscita dice poco sulle richieste simultanee. In Ollama l’elaborazione parallela dei contesti aumenta l’uso di memoria: registrare la configurazione esatta. Oltre a una richiesta breve, provare un contesto realistico lungo e la concorrenza prevista. Valutare insieme qualità, tempo al primo token, durata totale, errori e picco di memoria.
Un formato KV più piccolo o quantizzato può risparmiare memoria a seconda di runtime e backend. Può anche influire su precisione e comportamento. Quantizzazione dei pesi e della cache KV sono impostazioni separate: confrontarle con gli stessi casi di prova professionali.
Offloading su CPU e RAM: possibile, con un comportamento diverso
Runtime come llama.cpp supportano la ripartizione tra CPU e GPU. Ciò può rendere utilizzabile un modello il cui fabbisogno totale supera la memoria grafica. Servono RAM sufficiente e un percorso dati adeguato. Un SSD non trasforma la VRAM mancante in memoria grafica altrettanto veloce.
L’offloading cambia il percorso di esecuzione e spesso i tempi di risposta; senza misure non è serio quantificarne l’effetto. In Ollama, ollama psaiuta a controllare la ripartizione CPU/GPU corrente. Più GPU non equivalgono automaticamente a un unico dispositivo grande: supporto, distribuzione e trasferimenti tra schede vanno verificati nell’architettura.
Prima dell’acquisto: validare una configurazione concreta
- Definire il modello: versione esatta, quantizzazione, licenza e qualità desiderata.
- Definire il carico: budget del contesto, lunghezza di input/output e richieste simultanee.
- Verificare l’ambiente: GPU concreta, backend, driver, sistema operativo, RAM, raffreddamento e alimentazione.
- Misurare: capacità libera, consumo di picco, tempi di risposta ed errori pertinenti in un progetto pilota rappresentativo.
- Decidere: riutilizzare l’hardware, potenziarlo in modo mirato o scegliere un servizio locale, esterno o ibrido.
DAXS integra la scelta di modello e hardware nell’IT esistente e nella gestione concordata. La pagina specialistica LLM locali e infrastrutturadescrive il quadro. L’articolo sul progetto pilota di carico per l’IA locale mostra la valutazione con attività realistiche; Costi e scelta del modello esamina gli aspetti economici.
Parliamo di scelta del modello e dell’hardware
Fonti: Ollama: lunghezza del contesto (link esterno) · Ollama: memoria, concorrenza e offloading (link esterno) · llama.cpp: percorsi di esecuzione (link esterno) · Hugging Face: GGUF (link esterno) · directory ufficiali dei file Qwen 7B (link esterno), 14B (link esterno), 32B (link esterno). Orientamento per l’inferenza; non è un test di addestramento, un’offerta hardware o una misurazione cliente dichiarata.
