Data Lakehouse Dell bringt Warp-Geschwindigkeit in Storage-Systeme

Anbieter zum Thema

Dell GmbH

d.velop AG

xSuite Group GmbH

Esker Software Entwicklungs-und Vertrieb

Im März 2024 kündigte Dell Technologies eine neue, vollständig integrierte Datenplattform an. Nach vier Monaten Entwicklungszeit erweitert das Unternehmen nun sein Dell Data Lakehouse um „Warp Speed“. Das neue Feature soll Abfragen von Daten auf S3-kompatiblen Storage-Systemen erheblich beschleunigen.

Das neue Feature Warp Speed erlernt autonom Abfragemuster und identifiziert häufig verwendete Daten. So ist es in der Lage, optimierte Indizes und Caches mit oft abgefragten Daten zu erstellen. Selten genutzte Daten verbleiben dabei in herkömmlichen Indizes. Auf diese Weise steigert Warp Speed die Abfrageleistung, ohne die Kosten in exorbitante Höhen zu treiben. Das Feature ermöglicht Clustern, Abfragen im Data Lakehouse drei- bis fünfmal schneller auszuführen, ohne dass Endnutzer die initiale Abfrage in irgendeiner Weise verändern müssen. Zudem eduziert Warp Speed die Clustergröße um bis zu 40 Prozent. Unternehmen können so mehr Abfragen auf großen Clustern oder das gleiche Volumen auf kleineren Clustern durchführen – je nachdem was sich besser für den jeweiligen Anwendungsfall eignet. 

Was sich hinter Warp Speed verbirgt

Unter der Haube des neuen Features für das Dell Data Lakehouse, das auf S3-kompatiblen Storage-Systemen basiert, arbeitet eine Kombination verschiedener Beschleunigungstechnologien. Auf diese Weise erreicht es eine derart hohe Leistungssteigerung. Die autonome Indizierung erstellt auf sinnvolle Weise Indexarten wie Bitmap, Dictionary oder Tree, die auf jeden Datenblock zugeschnitten sind. Auf diese Weise beschleunigt Warp Speed Datenbankprozesse wie Join-Vorgänge, das Filtern oder Suchen. Die jeweiligen Indizes speichert das Feature auf einem SSD-Laufwerk in den Rechenknoten, um einen schnellen Zugriff zu ermöglichen.

Außerdem nutzt Warp Speed sogenanntes Smart Caching. Dabei handelt es sich um eine bestimmte Art der SSD-Zwischenspeicherung, bei der Daten aus Split-Vorgängen und zugehörige Metadaten als Zeilengruppe gespeichert werden. Das Speichern findet in einem proprietären Spaltenblock-Caching-Format statt. Diese Art der Zwischenspeicherung optimiert die Leistung auf Basis der Häufigkeit der Datennutzung. Smart Caching verhindert unnötige Tabellenscans und ermöglicht die Wiederverwendung von Daten unterschiedlicher Abfragen, was die Kosten für eine neuerliche Verarbeitung spart.

Data Lakehouse mit Warp: Innovation für die KI-Ära

Das Dell Data Lakehouse mit Warp Speed setzt neue Maßstäbe in der Data-Lake-Analytik und versetzt Unternehmen in die Lage, schneller und effizienter als je zuvor Erkenntnisse aus ihren Daten zu gewinnen. Warp Speed schöpft das volle Potenzial von Dell Data Lakehouse aus und ebnet den Weg für beschleunigte und budgetfreundliche Innovation und entsprechendes Wachstum im Zeitalter der künstlichen Intelligenz
  

Warp Speed ist ab sofort für alle Nutzer des Dell Data Lakehouse verfügbar. Es wird zudem auf allen Data-Lake-Systemen unterstützt, die einen S3-kompatiblen Storage von Dell Technologies nutzen. Eine Änderung der Softwarelizenz ist nicht nötig – das neue Feature ist Teil des Portfolios, und das ohne zusätzliche Kosten. Einzig die Konfiguration der Rechenknoten wird geändert, um SSD-Laufwerke einzubinden, die Dell Technologies auf ihre Kompatibilität zur Unterstützung des Warp Speed Index und Caches getestet hat.

Edge-Umgebungen

Dell vereinfacht den Betrieb mit NativeEdge 2.0