Streambed replica Postgres a Iceberg en S3 sin tocar tu app

Streambed replica datos de Postgres directamente a tablas Apache Iceberg en S3, usando el protocolo wire de Postgres. No necesita agentes, cambios en la aplicación ni pipelines ETL.

Por qué importa

Apache Iceberg se ha convertido en el estándar de facto para data lakes transaccionales. Pero mover datos desde Postgres a Iceberg solía implicar herramientas complejas como Kafka, Debezium o scripts ETL. Streambed elimina esa complejidad: cualquier cliente Postgres (psql, tu app, ORM) puede escribir directamente en Iceberg.

Esto cambia las reglas para equipos que quieren analítica en tiempo real sobre datos operacionales sin duplicar infraestructura. Si ya tienes Postgres, ahora puedes tener un data lake sin cambiar tu stack.

Qué dice el contexto

• Streambed se conecta como un servidor Postgres compatible con el protocolo wire (puerto 5432). Tu app no nota la diferencia.
• Los datos se escriben en formato Apache Iceberg sobre S3. Iceberg soporta ACID, time travel y evolución de esquemas.
• No requiere Debezium, Kafka ni ningún middleware de streaming. Es una conexión directa.
• El proyecto es open source (Apache 2.0) y está en fase temprana (alpha). Actualmente soporta solo inserts, no updates/deletes.
• Ideal para cargas de trabajo analíticas donde los datos de Postgres se consultan con engines como Spark, Trino o Flink.

Lo que puedes hacer

1. Prueba Streambed en un entorno no productivo. Clona el repo, configura tus credenciales S3 y apunta tu app al puerto 5432 de Streambed. Verifica que los inserts lleguen a Iceberg.
2. Evalúa si tu caso de uso tolera solo inserts. Streambed aún no maneja updates ni deletes. Si necesitas sincronización bidireccional o cambios en filas existentes, espera a futuras versiones.
3. Las escrituras síncronas a S3 pueden ser más lentas que Postgres nativo. Mide latencia antes de usarlo en producción.