Um die Exaktheit eines DWHs zu garantieren, muss regelmäßig überprüft werden, ob der Aufbau und alle Berechnungen fehlerfrei stattgefunden haben. Aufgrund der großen Datenmengen und der vielen unterschiedlichen Tabellen, Attribute und Berechnungen in den verschiedenen Schichten kann dies bei manueller Überprüfung schnell zu einer mühsamen (und fehleranfälligen) Prozedur werden.
Daher haben wir ein DWH-Test-Package entwickelt, welches dies vereinfacht und automatisiert. Damit können SQL-Templates zum Testen unkompliziert auf viele Tabellen angewendet werden. Ein automatisch generierter Report gibt eine Übersicht, wo und wie viele Fehler aufgetreten sind.
Stimmt der Umsatz? – ein Beispiel
Eine Firma möchte ihren Umsatz wissen. Dafür müssen die Daten aus der Stage verarbeitet, der Umsatz verschiedener Filialen berechnet und in die Präsentationsschicht eingelesen werden.
Bei vielen verschiedenen Daten und Tabellen kann es dabei leicht zu Fehlern kommen. So kommt es vor, dass der Umsatz einer Filiale aufgrund eines Daten- oder Abfragefehlers falsch berechnet wird. Um Fehler wie diese möglichst schnell zu erkennen, muss man deren Korrektheit regelmäßig überprüfen.
Überprüfung mittels DWH-Test-Package
In das DWH-Test-Package kann man nun ein SQL-Template, welches die Berechnung des Umsatzes mit Parametern beschreibt, einlesen. Dieses kann mit verschiedenen Parametern (welche Filialen, welcher Zeitraum) verknüpft werden. Das DWH-Test-Package Input-Tool erstellt nun automatisch die fertigen SQL Statements. Diese werden danach vom Main-Tool abgerufen und ausgeführt. Die Ergebnisse, bei welcher Beladung und in welcher Tabelle Unregelmäßigkeiten aufgetreten sind, werden abgespeichert und können als individuell gestaltbarer Report ausgegeben werden.
Einfache Lokalisierung von Fehlern
Im vorliegenden Fall würde die Differenz des Umsatzes zwischen der Stage und der Präsentationsschicht in Kombination mit der Filiale und dem Datum berechnet und ausgegeben werden. Tritt ein Fehler auf, ist dieser im Report ersichtlich und kann einfach lokalisiert und in Folge ausgebessert werden.
Historisierung hilft, Zusammenhänge zu erkennen
Aufgrund der Möglichkeit der Historisierung können weitere Zusammenhänge erschlossen werden. Unter anderem kann die Entwicklung der Fehlerquote ausgegeben werden, um eine Übersicht zu bieten, wie sich die Zuverlässigkeit des DWHs verbessert.
Fazit
Mit einem einmaligen Aufwand für das Entwickeln des DWH-Test-Packages bleibt in zukünftigen Projekten viel Aufwand erspart. Es bietet eine schöne und strukturierte Fehlerübersicht, die ohne DWH-Test-Package nur mühselig erstellt werden kann.