Intelligenza artificiale in locale, solo CPU – Crystal e l’arte del compromesso
Intelligenza artificiale in locale, solo CPU – Crystal e l’arte del compromesso
Boardesign, 25/06/2026
Utilizzare l’intelligenza artificiale, soprattutto con i modelli di frontiera, significa oggi mandare i propri dati su un server che può stare dall’altra parte del mondo senza poter realmente verificare la privacy dei propri dati. Per molti utilizzi va benissimo ma se lavorate, come noi e come molti nostri clienti, con schemi elettrici, datasheet riservati, specifiche di prodotto, codici sorgente, allora quella frase apparentemente innocua – “carica il documento e fai una domanda” – nasconde un problema enorme: quei documenti, in quel preciso istante, escono dalla vostra rete e finiscono nell’infrastruttura di qualcun altro.
Ma per utilizzare l’AI non c’è solo quel modo, noi abbiamo scelto un’altra strada. Crystal, l’assistente AI integrato nel nostro portale, funziona in locale: il modello vive su una macchina che controllate voi – un PC o un server in azienda – e i dati non la lasciano mai. Niente cloud, niente terze parti, niente abbonamenti a consumo. In questo articolo voglio raccontarvi i vantaggi concreti di questo approccio, ma anche – perché sarebbe disonesto tacerli – i vincoli che comporta e come li affrontiamo con quello che è a tutti gli effetti un lavoro di ingegneria: il prompt engineering.
Un’AI che gira (davvero) a casa vostra
Sotto il cofano, Crystal usa Gemma 4 di Google, nella variante compatta da circa 4 miliardi di parametri (4B), eseguita tramite Ollama, un runtime che permette di far girare modelli linguistici direttamente su hardware locale. Niente data center: Crystal può funzionare su una macchina con sole CPU, senza costose schede grafiche o altre GPU dedicate.
Questo cambia tutto e i vantaggi sono concreti:
- Privacy totale. Documenti e conversazioni non escono mai dalla macchina. Per chi ha vincoli di riservatezza – proprietà intellettuale, segreto industriale – o deve rispettare normative come il GDPR e la direttiva NIS2, è la differenza tra poter usare l’AI e non poterla usare affatto.
- Costi prevedibili. Nessun canone a token, nessuna sorpresa in bolletta a fine mese. Si installa una volta, su hardware che spesso l’azienda ha già.
- Controllo e continuità. Il modello non cambia sotto i vostri piedi, non viene “deprecato”, non richiede una connessione sempre attiva. Funziona anche air-gapped, cioè su una macchina completamente isolata da internet.
- Hardware modesto. Non serve un mostro: il bello di un modello da 4B è proprio che gira su dotazioni non particolarmente performanti.
Fin qui la parte bella. Ma c’è un rovescio della medaglia, ed è proprio nell’ultimo punto.
Il rovescio della medaglia: i vincoli del “solo-CPU”
Far girare un LLM su CPU, senza GPU, e con un modello “piccolo”, impone tre limiti molto reali con cui bisogna fare i conti ogni giorno:
- Il modello è piccolo. Quattro miliardi di parametri sono pochi rispetto ai modelli da centinaia di miliardi che girano nei grandi cloud. Significa meno “conoscenza enciclopedica” e una precisione inferiore sui dettagli: un modello così può sbagliare un valore numerico o un fatto di nicchia.
- La finestra di contesto è limitata. È lo spazio di “memoria di lavoro” del modello: quante informazioni può tenere sotto gli occhi in un singolo turno. Nel nostro caso è fissata a circa 4.000 token, equivalenti a circa un migliaio di parole. Dentro quello spazio deve starci tutto: le istruzioni, il pezzo di documento rilevante, la domanda e la risposta.
- L’inferenza è lenta. Senza GPU, il modello genera il testo a un ritmo di poche parole al secondo, non centinaia. Una risposta lunga richiede tempo.
Questi tre vincoli sono il prezzo da pagare per privacy e indipendenza. La domanda, allora, diventa: come si rende davvero utile un assistente AI dentro questi paletti? La risposta non è “comprare un modello più grande” – tradirebbe tutto il vantaggio del locale. La risposta è ingegneristica.
Prompt engineering: l’arte del compromesso
Qui sta il cuore del lavoro, ed è la parte che le demo patinate non raccontano mai. Con risorse abbondanti puoi permetterti di essere generoso e persino sprecone. Con un budget fisso e ristretto, ogni scelta è un compromesso: tutto compete per lo stesso, limitato, spazio di contesto e per lo stesso, limitato, tempo di calcolo. Più capacità chiedi al modello, più budget consumi. L’arte sta nel trovare il punto di equilibrio.
Vi do tre esempi concreti, presi dal nostro lavoro reale su Crystal.
Recuperare invece di riversare. Se allegate un documento di venti pagine, non possiamo darlo in pasto tutto al modello: non ci sta nella finestra di contesto. Allora costruiamo, al volo e in locale, una sorta di indice del documento e, a ogni domanda, recuperiamo solo i frammenti rilevanti da inserire nel contesto. È la tecnica nota come RAG (Retrieval-Augmented Generation). Il risultato: il modello “vede” sempre la parte giusta del documento, senza mai sforare il budget.
Spostare il lavoro dal modello al codice. Volevamo che Crystal disegnasse grafici. Il modo ingenuo è chiedere al modello di produrre il grafico completo, in un formato tecnico e rigido. Ma un modello da 4B sbaglia spesso quel formato, e il grafico non si visualizza. La soluzione elegante è ribaltare il problema: chiediamo al modello solo i dati – pochi numeri – e lasciamo che sia il nostro codice a costruire il grafico vero e proprio, valido per costruzione. Lo stesso principio vale per i diagrammi: vincoliamo il modello a usare solo i formati che sa gestire, anziché lasciarlo inventare sintassi inesistenti. In pratica: togliamo dalle spalle del modello tutto ciò che non deve necessariamente fare.
I limiti. Un modello piccolo, a volte, sbaglia. Invece di fingere che sia infallibile, progettiamo intorno a questo: ancoriamo le risposte ai documenti che l’utente fornisce – così Crystal cita ciò che c’è, non ciò che immagina – ed etichettiamo come “illustrativi” i valori che il modello propone quando un dato non è disponibile. La fiducia si costruisce così, non nascondendo i limiti ma gestendoli.
C’è poi un equilibrio più sottile, quasi filosofico. Ogni istruzione che aggiungiamo al sistema per renderlo più capace occupa spazio nel contesto e tempo di calcolo, cioè toglie spazio e tempo alla risposta vera e propria. A volte la mossa giusta non è aggiungere, ma togliere: una riga di prompt più sintetica, o una funzionalità spostata nel codice, valgono più di una pagina di istruzioni. È esattamente quel compromesso prestazioni-funzionalità che chiunque progetti sistemi reali conosce bene.
“Installare un LLM locale” non è scaricare un modello
Vorrei a questo punto sfatare un equivoco. Mettere in piedi un assistente AI locale e utile non è “scaricare un modello e premere invio”. Quello è il punto di partenza, non il traguardo. Il lavoro vero sta tutto intorno:
- scegliere il modello giusto per l’hardware disponibile, bilanciando dimensioni, velocità e qualità;
- configurare il runtime (nel nostro caso Ollama) perché sfrutti al meglio la macchina;
- costruire la pipeline di recupero dei documenti, perché il modello veda sempre le informazioni rilevanti;
- calibrare il prompt, misurando di volta in volta il costo di ogni aggiunta;
- spostare nel codice tutto ciò che il modello non deve – e non può – fare in modo affidabile;
- rendere il risultato (formule, grafici, diagrammi) in modo robusto, gestendo anche i casi in cui il modello sbaglia.
È esattamente il genere di lavoro che facciamo in BoarDesign: prendere una tecnologia all’avanguardia e ingegnerizzarla attorno ai vincoli reali di un cliente – il suo hardware, i suoi documenti, le sue esigenze di riservatezza. Crystal è la nostra dimostrazione vivente; ma lo stesso approccio possiamo replicarlo presso di voi, sul vostro server, con i vostri dati che non escono mai dalla vostra rete.
Considerazioni finali
L’AI più utile non è necessariamente la più grande. È quella giusta per i vostri vincoli. Un modello gigantesco nel cloud è magnifico, finché non vi servono riservatezza, prevedibilità dei costi, “grounding” delle risposte sulle vostre informazioni o il semplice diritto di tenere i vostri dati in casa. In quel momento, un modello compatto che gira sulle vostre CPU – con tutto il lavoro di ingegneria che ho descritto – diventa non un ripiego, ma la scelta strategicamente migliore.
È un compromesso, certo. Ma senza un vostro datacenter e per compiti semplici, si tratta sicuramente di una valida soluzione. Crystal è operativa sul nostro sito, nel portale strumenti: potete testarla direttamente, dietro registrazione al sito stesso. Scoprirete anche altri tools che potrebbero esservi utili.