Le parole, quelle giuste.

Una pipeline RAG include tre stadi: (1) ingestion, che converte documenti in chunk vettoriali; (2) retrieval, che recupera i chunk piu' rilevanti rispetto alla query dell'utente; (3) generation, in cui l'LLM riceve i chunk come contesto e produce una risposta. Il RAG riduce drasticamente le allucinazioni e permette di aggiornare la conoscenza senza retraining del modello.

Gli LLM moderni (Qwen, Llama, Mistral, GPT, Claude) variano da pochi miliardi a centinaia di miliardi di parametri. Modelli da 7-14B parametri quantizzati possono girare su hardware consumer (RTX 4090, Mac Studio) con prestazioni adeguate a casi d'uso enterprise.

Formati comuni: GGUF (per llama.cpp, ottimizzato CPU/GPU mista), AWQ (Activation-aware Weight Quantization, ottimo per GPU), GPTQ. Un modello 14B in FP16 richiede ~28 GB VRAM; quantizzato a 4-bit scende a ~9 GB. La perdita di qualita' tipica e' inferiore al 2% su benchmark standard.

Gli embedding sono il cuore del retrieval semantico: modelli come BGE-M3 (multilingua), E5, Cohere embed-v3 convertono frasi e documenti in vettori che possono essere indicizzati in un vector database e cercati per similarita' cosenica. Embedding multilingua specifici (es. BGE-M3) performano molto meglio su corpus italiani rispetto a embedding inglesi.

Soluzioni mature: Qdrant (open source, scritto in Rust, ottimo per on-premise), pgvector (estensione PostgreSQL, perfetto se hai gia' Postgres), Weaviate, Milvus. Per knowledge base sotto i 10M vettori pgvector e' spesso sufficiente; oltre, Qdrant offre prestazioni e funzionalita' superiori (filtering pre-search, hybrid search).

Il pattern tipico e' retrieve-top-k=20 → re-rank → top-5 finale al contesto. Costa 100-300ms per query ma migliora la precisione del retrieval del 15-25% nei nostri benchmark interni. Modelli consigliati: BGE-reranker-large (open, italiano supportato), Cohere Rerank.

Engine di inferenza moderni: vLLM (ottimo throughput su GPU, supporto continuous batching), Ollama (developer experience eccellente, leggero), llama.cpp (CPU/GPU misto, supporto Apple Silicon), TensorRT-LLM (massima performance NVIDIA, complessita' setup elevata).

MCP definisce un'interfaccia client-server in cui un LLM (client) puo' scoprire e invocare tool esposti da server MCP (database, API, file system). Sta diventando lo standard de facto per agenti AI affidabili: permette di disaccoppiare il modello dai tool e di applicare guardrail centralizzati.

Local-first non significa solo 'offline': significa che il perimetro del dato coincide con il perimetro fisico/giuridico del cliente. Vantaggi: sovranita' dato, conformita' GDPR semplificata, zero costi marginali per query, latenza prevedibile. Costo: investimento iniziale hardware e maggiore complessita' di gestione.

Per l'AI, edge computing si traduce in dispositivi come NVIDIA Jetson, Mac Studio in armadio rete, mini-PC con NPU. Permette latenze sotto i 100ms e operativita' anche con connettivita' degradata. Tipicamente abbinato a un modello quantizzato 4-bit.

Per progetti AI, il GDPR impone: base giuridica del trattamento, minimizzazione, diritto di accesso/cancellazione, DPIA per trattamenti ad alto rischio. L'AI locale semplifica la conformita' perche' evita trasferimenti extra-UE e riduce la superficie di attacco. Per dati di categoria particolare (art. 9, es. dati sanitari) e' quasi sempre obbligatoria una DPIA.

L'AI Act distingue: rischio inaccettabile (vietato), alto rischio (obblighi stringenti: documentazione tecnica, valutazione conformita', supervisione umana), rischio limitato (trasparenza), minimo. I modelli generativi general-purpose (GPAI) hanno obblighi specifici di documentazione e copyright. Entrata in vigore scaglionata 2025-2027.

AgID emette: Linee Guida AI per la PA, Modello di Interoperabilita', Linee Guida design servizi digitali, Misure minime di sicurezza ICT. Per fornire servizi alla PA e' quasi sempre necessario essere conformi al CAD (Codice dell'Amministrazione Digitale) e iscritti al MePA.

Per le organizzazioni italiane e' particolarmente rilevante rispetto al CLOUD Act statunitense, che obbliga i provider USA a fornire dati alle autorita' americane anche se ospitati in UE. La sovranita' del dato si ottiene con infrastrutture on-premise, edge, o cloud sovrani certificati (es. polo strategico nazionale).

Obbligatorio per la PA italiana (Stanca Act, legge 4/2004) e per la maggior parte dei siti pubblici europei (European Accessibility Act). Copre contrasto colori, navigazione da tastiera, screen reader, struttura semantica. Stiamo seguendo l'adeguamento a WCAG 2.2 AA per i progetti dal 2026 in poi.

Linguaggi principali: Solidity (Ethereum e EVM-compatible), Rust (Solana, NEAR), Move (Aptos, Sui). Casi d'uso istituzionali: notarizzazione documentale, registri pubblici trasparenti, certificazione provenienza. Limite: una volta deployati sono difficilmente modificabili — bug = exploit permanente.