Large Scale Data Facility (LSDF)

Online-Speicher im Multi-Petabyte-Bereich für Forschungsdaten – betrieben vom KIT SCC für Forschende am KIT, an staatlich geförderten Universitäten in Baden-Württemberg und in der Helmholtz-Gemeinschaft.

Was ist die LSDF?

Die Large Scale Data Facility (LSDF) ist eine zentrale, leistungsstarke Online-Speicherinfrastruktur für große Mengen wissenschaftlicher Forschungsdaten. Sie bietet eine zuverlässige, professionell betriebene Speicherressource für datenintensive Disziplinen – von der Teilchenphysik und Klimaforschung bis hin zur Materialwissenschaft und Werkstofftechnik –, in denen die Anforderungen an Umfang, Geschwindigkeit und Zuverlässigkeit die Kapazitäten einzelner Institute übersteigen.

Die LSDF ist eng mit der Hochleistungsrechenumgebung des KIT, einschließlich des Supercomputers HoreKa, verknüpft und eignet sich daher ideal für Forschungsworkflows, die großflächige Speicherung mit umfangreicher Datenverarbeitung kombinieren.

Die LSDF dient zudem als Speicher-Backbone für verschiedene föderierte Forschungsdateninitiativen, darunter die NFDI4Ing Data Transfer Federation (DTF), die einen sicheren institutionsübergreifenden Datentransfer zwischen Mitgliedsorganisationen in ganz Deutschland ermöglicht.

Weitere technische Details finden Sie auf der LSDF-Serviceseite.

Wichtigste Fakten

  • Hochleistungsfähiger Online-Speicher im Multi-Petabyte-Bereich für aktuelle und weniger häufig genutzte Forschungsdaten (derzeit 22 PB)
  • Mehrere Zugriffsprotokolle: WebDAV (OAuth2/OIDC und Basic Auth), SCP/SFTP, NFS, CIFS
  • Direkte Integration mit KIT-HPC-Systemen (HoreKa, bwUniCluster) für kombinierte Speicher- und Rechenworkflows
  • Teil der NFDI4Ing Data Transfer Federation (DTF): sicherer, automatisierter institutionsübergreifender Datentransfer über den LSDF-WebDAV-Endpunkt
  • Zugriffskontrolle über Gruppenmitgliedschaften und Zugriffskontrolllisten (ACLs)
  • Kostenlos für Standardzuweisungen; Kostenmodell für sehr große Projekte vorhanden
  • Datenschutz: Modernste Datensicherung und Notfallschutz

Verwandte Dienste

  • bwDataArchive – Langzeitarchivierung abgeschlossener Forschungsdaten über die aktive Speicherphase hinaus
  • HoreKa – der Flaggschiff-Supercomputer des KIT, eng mit dem LSDF für datenintensive Rechenlasten gekoppelt
  • Data Transfer Federation (DTF) – institutionenübergreifender Forschungsdatentransfer für NFDI4Ing-Mitglieder über den LSDF-WebDAV-Endpunkt und FTS3

Danksagung

Nutzer des LSDF werden gebeten, dies in ihren wissenschaftlichen Publikationen wie folgt zu erwähnen: „Diese Arbeit wurde mit Unterstützung der Large Scale Data Facility am Karlsruher Institut für Technologie durchgeführt und vom Ministerium für Wissenschaft, Forschung und Kunst Baden-Württemberg und vom Bundesministerium für Bildung und Forschung gefördert.“

Dienste basierend auf der LSDF SCC
Die Dienste basierend auf der LSDF-Infrastruktur