#68: CI/CD für Daten: Datenversionierung für stabile & nachvollziehbare Systeme

Daten(banken) versionieren – klingt maximal unsexy, spart aber Stress im Deployment. Warum ohne Schema-Versionierung selbst kleine Änderungen große Probleme verursachen und was ORMs, Flyway oder Liquibase damit zu tun haben, erfahrt ihr hier. Daten historisieren ist ein Must-have für Compliance, Reproduzierbarkeit und Modellierung. Aber Achtung: Nicht jede Lösung passt für jede Datenbank und den Live-Betrieb. Wir geben Tipps, wie ihr eure Datenprodukte systematisch und effizient im Griff behaltet.

**Zusammenfassung**

• Schema-Versionierung ist essenziell, um Änderungen an Datenbanken nachvollziehbar und reibungslos ins Deployment einzubinden

• Fehlende Versionierung kann zu kaputten Prozessen führen, wenn Schema-Änderungen nicht dokumentiert und automatisiert umgesetzt werden

• Werkzeuge wie ORMs, Flyway oder Liquibase helfen dabei, Änderungen an Datenbankschemata strukturiert zu verwalten

• Historisierung von Daten ist für Compliance, Reproduzierbarkeit und Modellierung entscheidend

• Ansätze zur Datenhistorisierung: Append-only-Strategien vs. System-Versionierung

• Herausforderungen: Performance-Engpässe, hohe Pflegekosten und Kompatibilitätsprobleme je nach Datenbank und Migrationstool

• Best Practices: Versionierung systematisch einführen, Automatisierung priorisieren und sicherstellen, dass Downgrades funktionieren.

**Links**

• #58: Arm, aber sexy: Data Warehousing at Scale ohne Budget podbean.com/ew/pb-gywt4-1719aef

• #52: In-process Datenbanken und das Ende von Big Data podbean.com/ew/pb-tekgi-16896e4

• #36: Der Data Mesh Hype und was davon bleibt podbean.com/ew/pb-7er7v-15080c1

• Flyway: red-gate.com/products/flyway

• Liquibase: liquibase.com

• Alembic (für SQLAlchemy): alembic.sqlalchemy.org/en/latest

• MariaDB: mariadb.org

• ClickHouse: clickhouse.com

• Fragen, Feedback und Themenwünsche gern an podcast@inwt-statistics.de