Deepseek, usarlo in azienda: la guida completa

Le performance dichiarate risultano paragonabili, e in alcuni casi superiori, a quelle di modelli proprietari di punta, come OpenAI o1 e o1-mini.

Modalità di utilizzo

DeepSeek offre il proprio modello tramite API, ma, a differenza di OpenAI, lo ha reso open source, permettendone l’implementazione sia su un’infrastruttura proprietaria che su un cloud in affitto. La scelta tra queste opzioni dipende da fattori come il livello di controllo sui dati (privacy), il numero di richieste previste (scalabilità) e il budget disponibile (costi di gestione).

Oltre all’uso tramite API e self-hosting, DeepSeek mette a disposizione un’interfaccia web che permette di utilizzare direttamente il modello, in modo simile a ChatGPT. Questa soluzione consente agli utenti di interagire con l’LLM senza necessità di integrazione tecnica, risultando ideale per testare le capacità del modello prima di un’eventuale implementazione personalizzata.

Chiamate API

La soluzione più rapida da implementare e quella che presenta maggiori affinità con l’utilizzo dei modelli di OpenAI consiste nel chiamare i modelli tramite API. Inoltre, l’interfaccia API è completamente compatibile con l’implementazione di OpenAI.
I costi dichiarati al 3 febbraio 2025 sono nettamente inferiori alle alternative allo stato dell’arte presenti sul mercato come riassunto nella seguente tabella.

Privacy e sicurezza

Dal punto di vista della privacy e della gestione dei dati la versione gestita autonomamente, ovvero scaricando i modelli e utilizzandoli su infrastrutture proprietarie, costituisce un’ovvia soluzione per evitare incertezze legate alla conformità al GDPR nell’Unione Europea. Essendo i modelli open-source, possono essere scaricati e installati su infrastrutture completamente controllate dall’azienda (self-hosting), oppure su server di fornitori cloud come Amazon o Google, mantenendo comunque il pieno controllo sulla conservazione e trattamento dei dati, riducendo i rischi legati alla condivisione con terze parti.

Tuttavia, l’emergere di nuovi modelli di intelligenza artificiale, come DeepSeek, solleva preoccupazioni significative riguardo alla privacy e alla sicurezza. Analisi recenti hanno evidenziato vulnerabilità nella sicurezza di DeepSeek, con la possibilità di generare contenuti pericolosi con poca o nessuna conoscenza specialistica.

Inoltre, il Garante Privacy italiano ha avviato un’indagine su DeepSeek per valutare i rischi legati alla raccolta e all’uso dei dati personali degli utenti, con particolare attenzione alla possibile violazione del GDPR e al trasferimento delle informazioni verso la Cina, dove potrebbero essere soggette a sorveglianza governativa. Al contrario, OpenAI garantisce che i dati inviati tramite API non vengano utilizzati per successivi addestramenti e abbiano una retention di 30 giorni. DeepSeek, invece, non ha ancora fornito dettagli chiari su come gestisce i dati delle API, rendendo incerta la conformità al GDPR.

Questo scenario evidenzia proprio alcuni dei rischi associati all’adozione di modelli di intelligenza che le aziende dovrebbero prendere in considerazione, soprattutto se decidono di affidarsi a modelli sviluppati da entità con legami governativi, dove l’AI può essere utilizzata come strumento di potere e controllo da parte di pochi soggetti, con conseguenti rischi per la privacy e la sicurezza degli utenti. Inoltre, la rapida evoluzione tecnologica e l’adozione diffusa possono portare a vulnerabilità e fallimenti sistemici se non gestiti adeguatamente.

Self Hosting e Cloud

DeepSeek offre una gamma di modelli con dimensioni che variano da 1.5 miliardi a 671 miliardi di parametri, permettendo di bilanciare performance, costi e requisiti hardware.

Scelta del modello DeepSeek: performance, costi e requisiti

Le versioni disponibili includono:

• Full: modelli originali, massima precisione e prestazioni, ma richiede elevate risorse hardware.
• Quantized: riduce la precisione numerica del modello per velocizzare l’inferenza e abbassare i costi.
• Distilled: versione alleggerita del modello, riduce la complessità e il consumo di memoria per abbassare i costi.

La scelta dipende dalle risorse disponibili: i modelli full sono ideali per chi necessita della massima precisione avendo accesso a risorse elevate, mentre le versioni quantized e distilled sono più indicati per scenari in cui un compromesso in precisione è accettabile a fronte di risparmi nei costi di esecuzione.

Requisiti hardware e costi

I costi variano in base ai requisiti di VRAM e GPU:

• DeepSeek-R1 (671B parametri)
  • Full: Richiede 16 NVIDIA A100 80GB (costo stimato di circa $10.000 per singola GPU) → costo stimato $160.000
  • Quantized: Richiede 6 GPU → costo stimato $60.000
• DeepSeek-R1-Distill-Qwen-32B
  • Full: Compatibile con 2 NVIDIA RTX 4090 (costo stimato di $1.500-$2.000 per GPU) → costo stimato $4.000-$5.000
  • Quantized: Può funzionare con una sola GPU, dimezzando i costi.
• DeepSeek-R1-Distill-Qwen-1.5B
  • Full: Può girare su una RTX 3060 12GB → costo $350-$400
  • Quantized: Richiede solo una RTX 3050 8GB → costo $250.
    Ideale per progetti sperimentali e applicazioni leggere.

Anche se i costi diminuiscono, bisogna considerare che l’efficienza di calcolo potrebbe ridursi a causa della quantizzazione. Il calcolo di questi prezzi si basa esclusivamente sui requisiti delle GPU. Vanno aggiunti ulteriori costi operativi, come il consumo energetico mensile, i costi di raffreddamento e la manutenzione dell’infrastruttura.

Cloud vs. self-hosting

Le piattaforme cloud, un’alternativa scalabile, offrono diverse istanze compatibili con questi requisiti, con prezzi variabili anche in base alla regione. Facendo una stima approssimativa, nella piattaforma AWS, i costi sarebbero i seguenti:

• DeepSeek-R1 (671B): circa $40.000/mese per la versione full, circa $8.000/mese per la versione quantized.
• DeepSeek-R1-Distill-Qwen-32B: la versione full circa $4.000/mese mentre quella quantized circa $2.000/mese.
• DeepSeek-R1-Distill-Qwen-1.5B: il modello più piccolo, circa $70-$300/mese.

Il self-hosting garantisce il pieno controllo sui dati e aiuta a evitare costi ricorrenti. Tuttavia, comporta un investimento iniziale elevato, oltre a spese continue per energia, manutenzione e aggiornamenti hardware. Il cloud, invece, offre flessibilità senza gestione infrastrutturale. La scelta tra modelli full, quantized o distilled e tra cloud o self-hosting dipende dalle esigenze specifiche. Chi dispone di risorse elevate può optare per modelli full su infrastrutture locali, mentre chi ha vincoli di budget può preferire versioni ottimizzate su cloud o hardware più economico, si deve determinare il compromesso più adatto a ciascun caso d’implementazione.

Confronto performance

I modelli distillati offrono prestazioni inferiori rispetto ai modelli full. Tuttavia, per valutare il miglior compromesso tra costi e benefici, è utile confrontare i risultati ottenuti dai modelli di diverse dimensioni con quelli full e con le principali alternative sul mercato. In particolare, il grafico riporta la media dei punteggi ottenuti su tre benchmark diversi, volti a valutare il modello su tre tipologie di task differenti:

• AIME → Matematica avanzata e ragionamento simbolico.
• GPQA → Cultura generale e conoscenze enciclopediche.
• LiveCode Bench → Programmazione e scrittura di codice.

Le performance dipendono fortemente dal numero di parametri, ma alcuni modelli distillati riescono comunque a offrire buone prestazioni, superando OpenAI-o1-mini, che rappresenta il modello di riferimento tra le soluzioni più leggere.

Guida pratica per l’adozione di LLM in azienda

L’adozione di modelli linguistici generativi richiede un approccio strategico che consideri obiettivi aziendali, rischi, costi e performance. Ecco alcuni passaggi chiave per guidare le aziende in questo processo:

Identificare i processi aziendali adatti all’integrazione di LLM

Iniziare valutando quali processi possono beneficiare dell’automazione o del miglioramento tramite LLM. Ad esempio, l’assistenza clienti può essere potenziata con chatbot avanzati, mentre la generazione di documenti può essere automatizzata per aumentare l’efficienza.

Valutare i requisiti di sicurezza e conformità

Analizzare l’uso di dati sensibili o personali e assicurarsi che l’implementazione sia conforme alle normative vigenti, come il GDPR. È fondamentale determinare il livello di controllo necessario sui dati e valutare se optare per una soluzione self-hosted o basata su cloud.
DeepSeek-R1, come altri modelli open-source (es. Llama 2, Mistral, Falcon), offre la possibilità di self-hosting, al contrario delle soluzioni offerte da OpenAI e Google, che richiedono l’utilizzo delle loro infrastrutture senza possibilità di esecuzione locale.

Selezionare il modello LLM più adatto alle esigenze

Confrontare diversi modelli LLM in base alle specifiche necessità aziendali. Ad esempio, per attività di programmazione e debugging, modelli come DeepSeek-R1 possono essere particolarmente efficaci. È consigliabile condurre test interni per valutare le performance rispetto ai requisiti aziendali.

Analizzare i costi e le risorse necessarie

Considerare i costi associati all’implementazione, sia in termini di infrastruttura che di licenze. Modelli open-source come DeepSeek-R1 offrono vantaggi economici significativi, essendo gratuiti e personalizzabili, riducendo così le spese rispetto a soluzioni proprietarie. Inoltre, offrendo una gamma di soluzioni, consentono di gestire e controllare meglio i costi e le spese, adattando l’infrastruttura e le risorse in base alle specifiche esigenze aziendali.

Integrare il modello LLM nella soluzione

Dopo aver scelto il modello più adatto, il passo successivo è integrarlo nell’infrastruttura aziendale in modo efficiente. Le opzioni principali sono:

• API: permette un’implementazione rapida e scalabile, senza gestione diretta dell’infrastruttura. DeepSeek-R1, come OpenAI, offre API compatibili che semplificano l’integrazione. Tuttavia, implica costi variabili e una dipendenza dal provider.
• Self-hosting: ideale per chi richiede pieno controllo su dati e prestazioni. Richiede risorse hardware adeguate e competenze interne, ma garantisce maggiore sicurezza e conformità normativa.
• Soluzione ibrida: un compromesso tra scalabilità e controllo. I dati più sensibili possono essere gestiti in locale, mentre il cloud viene utilizzato per bilanciare carichi di lavoro elevati.

Pianificare l’evoluzione futura dell’infrastruttura AI

Prevedere una possibile evoluzione verso un’architettura multi-LLM, combinando diversi modelli per soddisfare varie esigenze aziendali. Questo approccio può offrire maggiore flessibilità e ottimizzazione delle risorse nel lungo termine.

Seguendo questi passaggi, le aziende possono adottare LLM in modo efficace, garantendo un equilibrio tra innovazione, sicurezza e sostenibilità economica.

Conclusioni

L’adozione di DeepSeek-R1 rappresenta un’opportunità interessante, ma la scelta della soluzione più adatta dipende da diversi fattori strategici e operativi. Prima di decidere, è essenziale valutare l’obiettivo principale: ridurre i costi, garantire privacy o integrare un modello open-source per maggiore flessibilità.

L’uso delle API di DeepSeek è la scelta più semplice per chi vuole ridurre i costi rispetto a OpenAI senza preoccuparsi della gestione dell’infrastruttura, ma resta il tema della conformità al GDPR. Il self-hosting, invece, offre il massimo controllo sui dati ma comporta investimenti elevati in hardware e competenze tecniche. Un’alternativa intermedia è rappresentata dai modelli distillati o quantizzati, che riducono i requisiti computazionali e i costi di esecuzione, rendendoli accessibili anche a realtà con budget limitato. Questa opzione, eventualmente avvalendosi di provider cloud per il noleggio delle GPU, sembra preferibile per la maggior parte delle realtà aziendali, garantendo delle buone performance a dei costi contenuti.

DeepSeek-R1 rappresenta una soluzione potente ed economica, consentendo alle aziende di essere più competitive e di rispondere rapidamente alle esigenze del mercato, ma è essenziale bilanciare la velocità di introduzione sul mercato con la gestione dei rischi associati all’adozione di nuove tecnologie, garantendo al contempo il contenimento dei costi, le prestazioni, la sicurezza, la privacy e la sostenibilità a lungo termine.