Google Cloud · Software · ficha YoctoIT

Dataflow & Pub/Sub

Streaming y mensajería serverless: los eventos recogidos, transformados y entregados en tiempo real — sin clústeres que cuidar.

FOCUS · EL DATO EN TIEMPO REALDel batch nocturno al streaming continuo: las pipelines que no duermen
Solicita el Free Assessment Descubre más
Material YoctoIT para clientes y partners · Google Cloud, BigQuery, Gemini y los demás productos citados son marcas de Google LLC.
01 · Qué es

Dataflow & Pub/Sub, en claro.

Pub/Sub es el sistema nervioso: mensajería global serverless, millones de eventos por segundo, sin brokers que gestionar. Dataflow los procesa en vuelo (Apache Beam): transformaciones, ventanas temporales, enriquecimientos — mismo código para streaming y batch, autoescalado incluido. El tiempo real como servicio.

Serverless
ni brokers ni clústeres: se publica y se procesa, el resto es de Google
Beam
un solo código para streaming y batch: la pipeline escrita una vez
Exactly-once
el procesamiento sin duplicados ni huecos: las cuentas cuadran
Dataflow & Pub/Sub
IMAGEN OFICIAL GOOGLE CLOUD · DATAFLOW & PUB/SUB
CONSOLE REALE · DATAFLOW JOB GRAPH · FONTE: GOOGLE CLOUD DOCS
CONSOLA REAL · DATAFLOW JOB GRAPH · FUENTE: GOOGLE CLOUD DOCS
02 · Cómo usarlo bien

Las cosas que marcan la diferencia.

Il flusso

Fuentes: apps, IoT, bases de datos (CDC)los eventos nacen en todas partes
Pub/Sub
Dataflow
BigQuery & sinks
transporte · procesamiento · destino
Autoescalado & monitorizaciónla pipeline que respira con la carga
Datastream para el CDCel ERP en streaming
Del evento a la decisión, en segundos

Arquitectura de eventos

Topics y esquemas bien diseñados: el desacoplamiento que hace evolucionables los sistemas.

CDC desde el ERP

Datastream desde Oracle/MySQL/Postgres hacia BigQuery: el warehouse actualizado al minuto, sin batches.

Ventanas y retrasos

Watermarks y late data: el streaming serio gestiona el tiempo, no lo ignora.

Costes elásticos

Autoescalado con límites y streaming engine: el tiempo real a tarifa razonable.

03 · En profundidad

Streaming: Beam, windowing y exactly-once

Pub/Sub desacopla a los productores de los consumidores (at-least-once por defecto, exactly-once y ordering keys cuando hacen falta, 31 días de retención); Dataflow ejecuta pipelines Apache Beam batch+streaming con autoescalado horizontal y vertical, windowing (fixed/sliding/session) y watermarks para el dato tardío, el Streaming Engine que separa estado y cálculo. La pareja sostiene la ingestión IoT, el CDC (con Datastream) y las vistas en tiempo real sobre BigQuery.

  • Exactly-once — la semántica fuerte cuando los duplicados no se admiten
  • Ordering key — el orden por clave donde cuenta (por entidad, no global)
  • Windowing — ventanas y watermarks: el tiempo del evento, no de la llegada
  • Autoscaling — los workers que siguen el flujo: el pico absorbido solo
  • Streaming Engine — el estado fuera de los workers: escalado y actualizaciones más fluidos
  • Template — pipelines listas (Pub/Sub→BigQuery, CDC): el streaming sin código
04 · Números y ciclo de vida

Los números que cuentan.

ms
las latencias Pub/Sub end-to-end
31 gg
la retención de mensajes configurable
1
modelo (Beam) para batch y streaming
0
clústeres que gestionar: ambos serverless
El streaming fiable es proyecto: semánticas, ventanas y costes los diseñamos nosotros — el real-time que no pierde piezas.
05 · Casos de uso

Dónde rinde de verdad.

Dashboards operativos

Ventas, logística y producción vistas al minuto.

IoT y telemetría

Millones de sensores recogidos y agregados en vuelo.

Fraud & alerting

La anomalía vista cuando sucede, no mañana por la mañana.

El batch nocturno es una costumbre, no un destino: el streaming gestionado, diseñado por nosotros.