Data Warehouse vs. Big Data

n einem Data Warehouse werden Daten aus operativen Systemen eingespielt und für Reporting und Kennzahlensysteme aggregiert aufbereitet. Die Daten eines Data Warehouses sind nach fachlichen Anforderungen organisiert und qualitativ gesichert. Diese gewünschte Art der Datenaufbereitung hat aber die Konsequenz, dass die Beladungszeit (Latenzzeit) sehr hoch ist und meist nur Daten, die für die Abbildung der Anforderungen notwendig sind, beinhaltet. Die Abfrageperformance kann durch eine gute Datenmodellierung (3-Schichten Architektur) positiv beeinflusst werden und ist nicht ausschließlich von Hardwarekomponenten abhängig. Somit sind kostenintensive Hochleistungsrechner nicht zwingend notwendig.

Big Data stellt Ihre Daten sofort und in ihrer vollständigen Breite fachlich unstrukturiert zur Verfügung. Analysen können jederzeit auf diese Daten abgesetzt werden. Fachliche Zusammenhänge werden mittels statistischer Modelle zur Laufzeit ermittelt. Fachliche Sichtweisen können daher jederzeit geändert werden. Um eine ansprechende Abfrageperformance zu erreichen, sind Hochleistungsmaschinen zwingend notwendig. Es zeigt sich, dass Hersteller immer neue Big Data Server zur Verfügung stellen, welche Eigenschaften wie In-Memory Technologie, spaltenweise Speicherung von Daten oder massively parallel processing (MPP) haben.

Big Data will Trends erkennen und Beziehungen zwischen Parametern entdecken (z.B. bei der Betrugserkennung). Aufgrund der Aggregation der Daten in einem Data Warehouse ist eine Trenderkennung nur schwer möglich und bedingt eine weitere Transformation der Daten.

Die kurzen Latenzzeiten und feinkörnigen Daten bei Big Data ermöglichen eine Segmentierung der Daten in Echtzeit (z.B. bei Onlineeinkäufen). Eine Segmentierung ist auch in einem DWH möglich, allerdings ist hier zu beachten, dass man wesentlich längere Latenzzeiten hat.

Ist nun Ihr Data Warehouse ein Big Data System?

Auf Basis der oben getroffenen Aussagen kann dies klar verneint werden. DWH’s haben eine lange Latenzzeit, qualitativ hoch gesicherte Daten und sind fachlich für definierte Anforderungen strukturiert. Die Anwender eines Data Warehouse sind ReportempfängerInnen mit geringen analytischen Anforderungen, aber mit einem hohen Anspruch an qualitativ gesicherten Daten. Die aktuell empfohlenen Big Data Server sind nur sehr beschränkt tauglich, um damit ein Data Warehouse System zu bauen.

Benötigen Sie überhaupt ein Big Data System?

Wenn Sie Bedarf an Prognosen, spontanen Analysen, Trends oder Mustern haben und zugleich über AnwenderInnen mit sehr gutem statistischen und fachlichen Know-How verfügen, macht ein Big Data System Sinn. Unschärfen werden dabei bewusst in Kauf genommen, da nur Trends ermittelt werden. Datenqualität spielt dabei eine untergeordnete Rolle.

Die am Markt üblichen Data Warehouse Server sind allerdings nur beschränkt für den Einsatz eines Big Data Systems geeignet.

Big Data bietet eine Ergänzung und Erweiterung zum klassischen Data Warehouse. Die beiden Systeme stehen nicht in unmittelbarer Konkurrenz. Ein Data Warehouse zu betreiben ist Grundvoraussetzung für ein Unternehmen, ein Big Data System setzt dort an, wo klassische Informationssysteme heute an ihre Grenzen stoßen.

Wenn Sie mehr über das Thema Big Data erfahren wollen, wenden Sie sich gerne an unsere ExpertInnen.