Data Warehouse Automatisierung

Die Datenflut wird immer größer – das ist ein Faktum. Wie soll sie beherrschbar bleiben?

Zahlreiche Business Intelligence Tools bereiten die Daten für die BenutzerInnen anschaulich auf und machen sie so interpretierbar. Doch diese Tools haben Probleme damit, die vielen unterschiedlichen Datenquellen schnell anzubinden. Besonders schwierig wird es, wenn sich die Daten ändern und somit öfter neu geladen werden müssen. Dies erzeugt hohe Aufwände, beansprucht viel Zeit und verursacht somit hohe Kosten. Was wäre, wenn man all dies durch weitestgehend automatisierte Prozesse in den Griff bekommen könnte?

Die meisten Data Warehouse Abteilungen kämpfen mit zu vielen Projekten, zu wenig Ressourcen und einem zu engen Zeitrahmen. Dazu kommt, dass die Businessprozesse einem ständigen Wandel unterliegen und bereits in Produktion befindliche Projekte laufend adaptiert werden müssen.

Was ist Data Warehouse Automatisierung und warum ist sie sinnvoll?

Data Warehouse Automatisierung ist der Einsatz von Technologie, um an Effizienz der Data Warehouseprozesse zu gewinnen. Data Warehouse Automatisierung ist viel mehr als nur die Automatisierung des Entwicklungsprozesses. Sie umfasst alle Kernprozesse des Data Warehousing einschließlich Design, Entwicklung, Test, Implementierung, Betrieb, Wirkungsanalyse und Change-Management.

Es geht nicht darum, alles blind zu automatisieren, sondern darum, Data Warehouse Projekte schnell und uneingeschränkt fertig zu stellen. Die Daten müssen sauber und konsistent sein, das Data Warehouse muss agil und flexibel werden und leben. Vorhandenes soll genutzt und mit dem Einsatz von Automatisierungstools Lücken geschlossen und Hindernisse beseitigt werden.

Die Data Warehouse Automatisierung wird bei sich wiederholenden, zeitraubenden Prozessen eingesetzt und schafft Raum, um andere Dinge besser und schneller zu erledigen.

Welche Schritte im Data Warehouse Entwicklungsprozess können automatisiert werden? 

Es liegt auf der Hand, Dinge zu automatisieren, die sich ständig wiederholen und weder menschliche Intelligenz noch Kreativität erfordern. Dazu gehören Dinge wie Datenmapping, Jobsteuerungen und das Erzeugen von Dokumentationen.

Ein weiterer Punkt ist die automatisierte Codierung. Bis zu 80% der Programme lassen sich so gestalten, dass sie generiert werden können. Nur bei ca. 20% der Programme ist es notwendig, dass EntwicklerInnen tätig werden und einen Code entwickeln, der aufgrund seiner erforderlichen Logik nicht automatisiert werden kann.

Durch den Einsatz von Automatisierungssoftware wird somit ein erheblicher Teil von Entwicklungskosten eingespart.

Mittels Automatisierung kann schnell auf geänderte Geschäftsbedingungen reagiert werden und neue Anforderungen können so in Tagen anstatt in Wochen oder Monaten realisiert werden.

Automatisierung bringt verbesserte Verwaltbarkeit, Skalierbarkeit und Ausfallsicherheit sowie erhebliche Kosteneinsparungen. EntwicklerInnen verbringen einen Großteil ihrer Zeit nicht mehr mit der Fehlerbereinigung, sondern haben Zeit, ihre Kernaufgaben zu erfüllen.

Als Beispiel für Automatisierungssoftware sei an dieser Stelle Wherescape genannt.

Wherescape hat sich zum Ziel gesetzt, die Automatisierung für ein Enterprise Data Warehouse zu ermöglichen. Dazu werden zwei Tools zur Verfügung gestellt.

  • WhereScape 3D für Planung und Modellierung
  • WhereScape RED für die Erstellung des Data Warehouses

Sollten Sie Fragen zur Automatisierung eines Data Warehouses oder zu Wherescape haben, freuen wir uns darauf, Ihnen weiterhelfen zu können.

Autor: Johannes Hiebl, BI/DWH Architect