Speziell wenn Unternehmen Data Warehouses nach einem standardisierten Muster wie z. B. Data Vault 2.0 umsetzen, müssen Entwickler viel Programmcode redundant schreiben. Um die Entwicklung zu vereinfachen, nutzen Unternehmen Data Warehouse Automatisierungstools. Wie eine solche Automatisierung mit WhereScape funktioniert, zeigt dieser Beitrag.
Data Warehouse Automatisierungstools kann man in drei Kategorien unterteilen:
- Bestehende Data Warehouse Automatisierungstools wie z. B. WhereScape (ein solvistas-Partner)
- Eigens entwickelte Data Warehouse Automatisierungstools
- Erweiterung bestehender Data Integration Tools
In Die Krux mit der DWH Automatisierung – Manuelle Versus Automatisierte Entwicklung hat Stefan Endl letzteren Fall erklärt. Konkret, wie mit Pentaho Data Integration (PDI) DWH-Entwicklung automatisiert werden kann. Diese Art der Automatisierung hat jedoch Nachteile. Darunter, dass Entwickler viel Metadaten verwalten müssen oder, dass die Datenbeladung nur bedingt parallelisiert werden kann. Zusätzlich zu diesen technischen Nachteilen gibt es Einbüße beim Funktionsumfang. Die „PDI-Lösung“ automatisiert nur einen Teil der DWH-Entwicklung, nämlich die Erstellung der Tabellen. DWH-Entwicklung bzw. -Automatisierung umfasst jedoch mehr. So beginnt für WhereScape die Automatisierung bei der Planung endet und mit der Impact Analyse. Für DWH-Automatisierung bietet WhereScape zwei Tools: 3D und RED. Eine DWH-Entwicklung mit 3D und RED könnte wie folgt aussehen:
- Automatisierte Quelldatenanalyse in 3D
- Manuelle Modellierung des Modells in 3D
- Automatisierte Erstellung der DWH-Tabellen durch 3D
- Manuelle Definition der Beladungslogik inkl. Daten-Transformationen in RED
- Automatische Erstellung der Beladungsprozeduren durch RED
- Automatische Beladung der Tabellen durch RED
Durch diese End-to-end Automatisierung ergeben sich folgende Vorteile:
- Größere Flexibilität beim Modellierungsansatz: 3D und RED unterstützen mehrere Modellierungsarten (Data Vault 2.0, Data Mart Modellierung etc.). Weitere Pattern können über Templates ergänzt werden
- Geringe Abhängigkeit von Datenbanktechnologien: 3D und RED unterstützen Out-of-the-box unterschiedliche Datenbank für bspw. automatisches Mapping von Spaltenattributen
- Integrierte Versionierung: Die in WhereScape erstellten Modelle und Tabellen werden automatisch versioniert
- Automatische Dokumentation und Impact Analyse: Da WhereScape die gesamte Automatisierung abgedeckt ist jederzeit (und automatisiert) eine umfangreiche Dokumentation und Impact Analysis vorhanden
Für mehr Informationen zur WhereScape: