L'infrastruttura AI: le TPU di Google e le GPU NVIDIA per training e inferenza su scala — la potenza dietro Gemini, a noleggio.
Google addestra Gemini sulle proprie TPU — le stesse (Trillium, Ironwood) sono affittabili a ore, in pod da migliaia di chip interconnessi. Accanto, le GPU NVIDIA (H100, H200, B200) per l'ecosistema CUDA. Per un'azienda il tema non è il chip: è dimensionare, schedulare e pagare il giusto.
Fine-tuning ≠ pretraining: quasi sempre servono ore di GPU, non un pod TPU — il conto ringrazia.
DWS e spot per i job pazienti: la stessa GPU a frazione di prezzo.
Quantizzazione, batching e autoscaling: il costo per richiesta è la metrica che conta.
Il dataset vicino al calcolo (Cloud Storage regionale): la GPU non deve aspettare il disco.
I modelli aperti specializzati sui tuoi dati.
Il servizio AI con SLA e costi per richiesta.
HPC e training quando il progetto lo chiede.