Datenmanagement Data Lakehouse: Warum Governance und Compliance so wichtig sind

Anbieter zum Thema

d.velop AG

xSuite Group GmbH

Esker Software Entwicklungs-und Vertrieb

Eine Hybrid-Cloud-Umgebung ist fast schon Standard für Einzelhändler, Gesundheitsdienstleister, Banken oder Versorger. Um nicht im Datensumpf unterzugehen, entscheiden sich immer mehr Unternehmen für die neue und offene Architektur des Data Lakehouse.

Bei einer aktuellen Umfrage von Cloudera gaben 70 Prozent der deutschen Unternehmen an, eigene Rechenzentren und Public- oder Private-Cloud-Umgebungen zu nutzen. Dadurch steigt die Komplexität und Unternehmen laufen Gefahr, sich im Datensumpf zu verlieren. Spürbar wird das, sobald Unternehmen nicht mehr in der Lage sind, ihre strukturierten und unstrukturierten Daten auszuwerten, die On-Premises, in der Cloud oder beim Edge Computing im gesamten Netzwerk verteilt sind, wie zum Beispiel in der Produktion. Außerdem entstehen in Bezug auf Governance und Compliance neue Risiken. Mit einem Data Lakehouse lassen sich diese Anforderungen erfüllen.

Effektive Steuerung von Governance und Compliance

Aktuelle Prognosen gehen davon aus, dass bereits dieses Jahr weltweit 154 Zettabyte an Daten erstellt, erfasst, kopiert und verarbeitet werden – eine Erhöhung um fast 50 Prozent gegenüber 2022. Die Fähigkeit eines Unternehmens, sämtliche Daten als Grundlage für Entscheidungen sinnvoll zu nutzen, kann den Unterschied zwischen Erfolg und Misserfolg ausmachen. Dabei ist der erste Schritt, Daten effizient über den gesamten Lebenszyklus zu verwalten: Von der Aufnahme zur Aufbereitung über Analyse und Vorhersage sowie Veröffentlichung.

Nicht weniger wichtig ist neben vorausschauender Planung und Strategie eine effektive Governance. Auch hier ist ein Lebenszyklusmanagement erforderlich, vor allem in der Analysephase, und insbesondere für Unternehmen in stark regulierten Branchen wie Telekommunikation und Finanzdienstleistungen. Denn schlecht verwaltete Daten können Unternehmen schnell in einem Sumpf aus Compliance-Risiken und Entscheidungen auf unzureichender, unpassender oder gar falscher Datenbasis versinken lassen.

Ebenso entscheidend beim Datenmanagement ist eine gewisse Flexibilität, wie sie ein Data Lakehouse biete. Nicht nur wegen der wachsenden Menge an Daten und dezentralen Infrastrukturen, sondern auch aufgrund der komplexen und sich ändernden Compliance-Anforderungen. Die Marktanalysten von Gartner prognostizieren, dass bis Ende dieses Jahres die Daten und Privatsphäre von drei Viertel der Weltbevölkerung von modernen Bestimmungen wie der Datenschutz-Grundverordnung (DSGVO) geschützt werden.

Data Lakehouse: Vielfalt und Veränderungen der Gesetzeslage

Um Vertrauen zu gewinnen und langfristige sowie nachhaltige Beziehungen aufzubauen, ist Datenschutz essenziell. Doch die neuen Gesetze zum Schutz von Daten und Privatsphäre können sich von Land zu Land und Fall zu Fall unterscheiden und einige sehen bei schweren Verstößen sogar strafrechtliche Konsequenzen vor. Neue Gerichtsurteile sorgen dafür, dass sich die digitalen Grenzen ständig verschieben, was die Sache noch komplizierter macht.

In der Geschichte der Datenübermittlung zwischen Europa und USA wurden mehrere neue Richtlinien angewandt, später aber von Richtern wieder verworfen. Zusätzlich existieren branchenspezifische Datenschutz- und Geheimhaltungsvorschriften wie zum Beispiel im Gesundheitswesen das Patientendaten-Schutz-Gesetz (PDSG) in Deutschland. Kurzum, Unternehmen müssen sicherstellen, dass sie diesem Flickenteppich an Vorschriften und Gesetzen gerecht werden und flexibel auf Änderungen reagieren können.

Dies stellt vor allem viele große Unternehmen vor Herausforderungen, die in eine heterogene Dateninfrastruktur verschiedener Anbieter mit jeweils unterschiedlichen Sicherheitsvorkehrungen und Governance investiert haben. Vor dem Hintergrund verschiedener Datenschutzgesetze weltweit, die Unternehmen einhalten müssen, ist allerdings eine Zentralisierung nicht zwangsläufig die bessere Lösung.

Wie Unternehmen einen Datensumpf vermeiden

Abhilfe schaffen kann eine Data Fabric, also eine Datenservice-Architektur, die die Daten aller Endpunkte in On-Premises- und Cloud-Umgebungen verbindet. Diese unterstützt die globalen Sicherheitsrichtlinien, Policy Management und Governance über einen Open Data Lakehouse hinweg. So können Assets wie Dokumente, Webseiten, Anwendungen oder Datenbanken weiterhin in mehreren Clouds gespeichert werden. Durch den einheitlichen Plattformansatz werden Sicherheit und Governance konsistent gehandhabt. Es besteht jedoch genügend Flexibilität, um Governance-Regeln und Sicherheitskontrollen individuell auf jede Cloud individuell anzuwenden, je nach den lokalen Anforderungen der Branche, der Rechtslage und der Kunden. Denn Governance und Sicherheit, die für eine Public-Cloud-Instanz in den USA gelten, können sich deutlich von denen unterscheiden, die im Gesundheitswesen oder der Finanzbranche in Deutschland gelten.

Die Architektur des Data Lakehouse kann sensible Daten im gesamten Unternehmen automatisch erkennen sowie katalogisieren, unabhängig davon, wo sie sich befinden, und je nach Richtlinien die entsprechenden Kontrollen anwenden. Dazu gehören Zugangskontrollen für Benutzer, Verschlüsselung für gespeicherte Daten und bei der Übertragung dieser, sowie Datenklassifizierung, Herkunft, Modellierung und Prüfung. Das System kann dynamisch aktualisiert werden, wenn sich Anforderungen ändern, zum Beispiel durch Replikation oder Zugriff auf vorhandene Daten und Arbeitslasten in verschiedenen Clouds beziehungsweise Standorten.

Am wichtigsten ist, dass all dies nahtlos und ohne Beeinträchtigung kritischer Geschäftsprozesse erfolgen kann, so dass Unternehmen weiterhin wichtige Erkenntnisse gewinnen und gleichzeitig das Compliance-Risiko minimieren. Dieselben Funktionen für Maschinelles Lernen, die für diese Erkenntnisse genutzt werden, können auch für die Erstellung von Compliance-Berichten eingesetzt werden – unabhängig vom Speicherort oder dem Format.

Data Lakehouse: Konsistenz über Clouds hinweg

Eine effektive Governance trägt dazu bei, einen Mehrwert zu erzielen und Vorschriften einzuhalten. Aber nur, wenn sie von vornherein und nicht nachträglich angegangen werden. Da Unternehmen heute riesige Datenmengen generieren und einer sich ständig ändernden, wachsenden Anzahl neuer Datenschutzbestimmungen unterworfen sind, ist Konsistenz der Schlüssel zum Erfolg.

Der Weg zur Vermeidung eines isolierten Ansatzes für Sicherheit und Governance führt über eine einheitliche Datenarchitektur. Auf diese Weise können sich Unternehmen aus dem Datensumpf befreien und ihr Potenzial voll ausschöpfen.

Datenkompetenz: Cloudera bringt Buch für die digitale Medienerziehung