Google Cloud · Infrastruttura · scheda YoctoIT

TPU & GPU

L'infrastruttura AI: le TPU di Google e le GPU NVIDIA per training e inferenza su scala — la potenza dietro Gemini, a noleggio.

FOCUS · LA POTENZA DELL'AITPU per i transformer, GPU per tutto: il calcolo AI dimensionato e pagato giusto
Richiedi il Free Assessment Scopri di più
Materiale YoctoIT per clienti e partner · Google Cloud, BigQuery, Gemini e gli altri prodotti citati sono marchi di Google LLC.
01 · Cos'è

Cloud TPU & GPU, in chiaro.

Google addestra Gemini sulle proprie TPU — le stesse (Trillium, Ironwood) sono affittabili a ore, in pod da migliaia di chip interconnessi. Accanto, le GPU NVIDIA (H100, H200, B200) per l'ecosistema CUDA. Per un'azienda il tema non è il chip: è dimensionare, schedulare e pagare il giusto.

TPU
i chip di Google per i transformer: il rapporto prezzo/prestazioni per l'AI seria
Pod
migliaia di chip interconnessi: il training distribuito senza costruire nulla
DWS
Dynamic Workload Scheduler: la GPU prenotata quando serve, non posseduta
Cloud TPU & GPU
VESTE UFFICIALE GOOGLE CLOUD · TPU & GPU
FOTO UFFICIALE GOOGLE · TPU IRONWOOD · FONTE: GOOGLE
FOTO UFFICIALE GOOGLE · TPU IRONWOOD · FONTE: GOOGLE
02 · Come lo si usa bene

Le cose che fanno la differenza.

Lo stack AI

Training & inferenzai tuoi modelli e fine-tuning
TPU pods
GPU NVIDIA
Spot & DWS
scala · ecosistema · economia
GKE / Vertex AI sopral'orchestrazione del calcolo
I data center AI di Googlela fabbrica dietro Gemini
Il supercalcolo a consumo

Il dimensionamento onesto

Fine-tuning ≠ pretraining: quasi sempre servono ore di GPU, non un pod TPU — il conto ringrazia.

Scheduling intelligente

DWS e spot per i job pazienti: la stessa GPU a frazione di prezzo.

Inferenza ottimizzata

Quantizzazione, batching e autoscaling: il costo per richiesta è la metrica che conta.

Uscita dai dati

Il dataset vicino al calcolo (Cloud Storage regionale): la GPU non deve aspettare il disco.

03 · In profondità

TPU, GPU e l'AI Hypercomputer

Per l'AI su GCP si sceglie il silicio: le TPU (Trillium/v5) accelerano training e inferenza dei modelli grandi con il pod come unità di scala (interconnessione ICI dedicata), le GPU NVIDIA (H100/H200/B200 su A3/A4) coprono l'ecosistema CUDA; l'AI Hypercomputer combina silicio, storage (Hyperdisk ML, Parallelstore) e scheduling (DWS: calendar e flex start) per la capacità quando serve; il multislice scala il training oltre il singolo pod.

  • TPU pod — migliaia di chip su interconnect dedicato: il training dei foundation model
  • GPU A3/A4 — H100→B200: l'ecosistema CUDA alla scala di Google
  • DWS — Dynamic Workload Scheduler: la capacità prenotata quando serve, non sempre
  • Hyperdisk ML — lo storage che nutre gli acceleratori: niente GPU affamate
  • Multislice — il training oltre il pod: la scala senza riscrivere il codice
  • Inferenza — TPU anche per il serving: il costo per token che scende
04 · Numeri e ciclo di vita

I numeri che contano.

~2x
perf/watt di Trillium sulla generazione precedente
k
chip per pod: la scala del training serio
flex
DWS: lo sconto per chi può aspettare la capacità
$/token
la metrica vera dell'inferenza: si progetta
Il calcolo AI si compra col progetto: sizing, scheduling e costi per token — la potenza giusta, quando serve, da noi.
05 · Use case

Dove rende davvero.

Fine-tuning aziendale

I modelli aperti specializzati sui tuoi dati.

Inferenza di produzione

Il servizio AI con SLA e costi per richiesta.

Ricerca e simulazione

HPC e training quando il progetto lo chiede.

Il calcolo AI si affitta, la competenza no: dimensioniamo e governiamo la potenza che serve.