Bevor Unternehmen mit der Entwicklung und dem Training von KI-Modellen starten, müssen sie ihre Storage-Infrastrukturen für die enormen Datenmengen fit machen.
Generative KI stellt hohe Anforderungen an die Datenspeicher – viele Legacy-Systeme stoßen da an ihre Grenzen.
BlackJack3D / Getty Images / iStock
Spätestens mit ChatGPT ist vielen Unternehmen klar geworden, wie leistungsstark und vielseitig generative Künstliche Intelligenz (KI) inzwischen ist. Sie beantwortet Fragen, fasst Besprechungen zusammen und erstellt oder optimiert Präsentationen, E-Mails und Quellcode – in Sekunden und beeindruckender Qualität. Kein Wunder, dass Unternehmen darauf brennen, die Technologie möglichst schnell einzusetzen. Die Erwartungshaltung ist riesig: Einer Umfrage von Dell Technologies zufolge gehen 76 Prozent der IT-Entscheider davon aus, dass GenAI ihr Unternehmen signifikant verändern oder transformieren wird. Die Berater von McKinsey prognostizieren einen jährlichen Produktivitätszuwachs der Weltwirtschaft zwischen 2,6 und 4,4 Billionen US-Dollar durch die Technologie – das liegt in der Größenordnung des Bruttoinlandsprodukts von Großbritannien (3,1 Billionen US-Dollar).
Wachsende Herausforderungen
Ein Selbstläufer ist der GenAI-Einsatz indes nicht, denn er ist mit einigen Herausforderungen verbunden, u.a. im Bereich der Datenspeicherung. Die Entwicklung und das Training der KI-Modelle erfordern enorme Datenmengen, die Unternehmen dauerhaft aufbewahren sollten – beispielsweise, um mögliche Fragen zur Herkunft von generierten Inhalten zu beantworten oder um künftige Modelle mit der gleichen Datenbasis zu trainieren. Darüber hinaus liefern die Modelle selbst ebenfalls große Datenmengen, die zuverlässig gespeichert und effizient verwaltet werden müssen.
Damit stehen Unternehmen vor der Frage, ob ihre bestehenden Storage-Infrastrukturen diesen Anforderungen gewachsen sind. Schon heute haben sie oft Probleme mit der Menge an unstrukturierten Daten, die Menschen, Maschinen, Sensoren, Internet-of-Things-Geräte (IoT) und smarte Anwendungen mehr oder weniger ununterbrochen generieren. Mit dem Einsatz generativer KI und der schnellen Weiterentwicklung der Technologie werden sich diese Probleme noch verschärfen. Zumal es nicht nur um die zuverlässige Speicherung der Daten geht, sondern auch darum, sie für einfache und schnelle Zugriffe verfügbar zu halten und zu schützen. Schließlich sind die Datenschätze bei Cyberkriminellen begehrt, wobei die Verschlüsselung oder der Diebstahl nur ein Bedrohungsszenario ist. Durch den Einsatz von KI in unzähligen Bereichen wird es für Angreifer zunehmend attraktiv, die Datenbasis zu manipulieren, um KI-Modelle zu schwächen.
Cloud-Chaos vermeiden
Unternehmen benötigen daher skalierbare, sichere und wirtschaftliche Speicherlösungen, um generative KI erfolgreich einzusetzen. Viele Legacy-Systeme bremsen die GenAI-Nutzung allerdings aus, sodass sich die erhofften Vorteile nicht oder nur mit großen Anstrengungen erzielen lassen. Als schnelle und vermeintlich einfache Lösung haben viele Unternehmen "Cloud First"-Strategien gestartet und speichern oder verarbeiten Daten relativ unkoordiniert in verschiedenen Clouds. Kurzfristig mag das funktionieren, doch langfristig verursacht die Verwaltung dieser heterogenen Landschaften einen erheblichen Aufwand. Zudem fallen nicht selten hohe Kosten an, wenn sich Cloud-Anbieter nicht nur den Speicherplatz, sondern auch den Traffic beim Transfer der Daten bezahlen lassen.
Einen Ausweg bieten "Multicloud by Design"-Ansätze, die sicherstellen, dass Daten nicht in Silos feststecken und sich unabhängig von Speicherort einheitlich und zentral verwalten lassen. Der Schlüssel dafür sind offene Schnittstellen und Standards sowie Cloud- und systemübergreifende Management-Plattformen. Dass sich die Multicloud bis in lokale Rechenzentren erstreckt, ist wichtig, damit die Daten bei Bedarf einfach zwischen Infrastrukturen in der Cloud und On Premises verlagert werden können. Setzen Unternehmen zudem in ihren Rechenzentren ebenfalls auf Pay-per-Use- und As-a-Service-Modell, können sie die Skalierung vereinfachen und eine teure Überprovisionierung von Storage-Ressourcen vermeiden.
Modernisierung lokaler Infrastrukturen
Auch wenn die Cloud hilfreich ist, sind die meisten GenAI-Daten besser in eigenen Rechenzentren aufgehoben – u.a., weil Storage- und Compute-Ressourcen dort nah beieinander liegen und die enormen Datenmengen für das Training der KI-Modelle nicht umständlich und womöglich teuer zu den verarbeitenden Systemen transferiert werden müssen. Häufig ist jedoch eine Modernisierung oder Optimierung der bestehenden Storage-Infrastrukturen notwendig. Schlüsseltechnologien dabei sind Distributed Storage, Komprimierung und Indexierung. Distributed Storage erlaubt es, Daten in großen Pools über mehrere Speichersysteme hinweg effizient zu verwalten. Wird mehr Kapazität benötigt, lassen sich einfach neue Knoten hinzufügen, um die Gesamtinfrastruktur zu erweitern. Zudem können die Daten gut zwischen verschiedenen Standorten repliziert werden, um eine hohe Verfügbarkeit sicherzustellen.
Deduplizierung und Kompression helfen, eine Kostenexplosion durch schnell wachsende Datenmengen zu verhindern und den wertvollen Speicherplatz optimal zu nutzen. Mit smarten Analysemethoden lassen sich zudem unnötige Daten aufspüren und entfernen oder schlanke Versionen erstellen, die von Ballast befreit sind und nur die benötigten Informationen enthalten. Das reduziert den Speicherplatzbedarf und die Kosten weiter. Eine Indexierung schließlich erleichtert es, Daten bei Bedarf schnell zu identifizieren und abzurufen – etwa, wenn sie für das Training oder die Überprüfung von KI-Modellen gebraucht werden. Verteilte Datenbestände lassen sich indexiert viel effizienter verwalten und nutzen.
Solche Technologien verbessern die Performance, Effizienz und Kostenbilanz von Storage-Lösungen für generative KI deutlich. Oft mag es für Unternehmen verlockend sein, gleich mit der Einführung von GenAI zu starten, also mit der Entwicklung und dem Training der Modelle, und sich erst später Gedanken um die Datenspeicherung zu machen. Doch damit überspringen sie den ersten Schritt und gefährden den Erfolg ihrer Initiativen, denn GenAI benötigt eine solide Storage-Basis, um ihr Potenzial voll zu entfalten.