HPC.NRW setzt neue Impulse in Forschung und HPC-Infrastruktur
Förderphase 2023/24: Die wichtigsten Meilensteine im Überblick
Im Rahmen der Förderphase 2023/24 konnte das Kompetenznetzwerk HPC.NRW durch die Arbeit seiner engagierten Arbeitsgruppen bedeutende Fortschritte erzielen, die sowohl die technologische Weiterentwicklung als auch die Benutzungsfreundlichkeit von Hochleistungsrechenzentren in Nordrhein-Westfalen maßgeblich vorangebracht haben. Der Fokus lag auf innovativen Lösungen, energieeffizientem Betrieb und der Stärkung der wissenschaftlichen Exzellenz in der Region. Im Folgenden wird ein Überblick über die zentralen Entwicklungen und erreichten Meilensteine gegeben.
Interaktive Notebooks im HPC-Bereich: Effizienz und Innovation vereint
Die Einführung von JupyterHub-Instanzen an verschiedenen HPC-Standorten in NRW ermöglicht eine intuitive und effiziente Nutzung der Hochleistungsrechenressourcen. Ein detaillierter Leitfaden erleichtert Administrator:innen die Implementierung und langfristige Verwaltung dieser Systeme.
Effizientes Datenmanagement für optimale Nutzung
Eine standortspezifische Übersicht zu Forschungsdatenmanagement-Tools unterstützt Nutzende dabei, passende Werkzeuge für ihre Anforderungen zu finden. Ergänzend dazu wurde ein regelmäßiges Seminarangebot zu Themen des Forschungsdatenmanagements eingeführt, das den fachlichen Austausch fördert und die effektive Nutzung der Tools erleichtert.
Energieeffizienz und Nachhaltigkeit im Fokus
Zur Förderung eines umweltfreundlicheren Betriebs von HPC-Infrastrukturen wurden praxisnahe Leitfäden entwickelt. Diese beinhalten Empfehlungen für energieeffiziente Beschaffungen und den Betrieb von Serverräumen unter Berücksichtigung rechtlicher Vorgaben. Ziel ist es, den Energieverbrauch zu senken, ohne die Leistungsfähigkeit der Systeme zu beeinträchtigen.
Landesweites Tier-3-System: hpcBasisCluster.nrw
An der Universität zu Köln entsteht derzeit ein gemeinschaftlich genutztes Tier-3-System (hpcBasisCluster.nrw), das insbesondere Hochschulen ohne eigene HPC-Infrastruktur Zugang zu leistungsfähigen Rechenressourcen ermöglichen soll. Dazu soll es bestehende lokale Kapazitäten ergänzen und eine Alternative für Standorte bieten, die den Betrieb eigener Tier-3-Systeme einstellen möchten. Durch die Anbindung an ein übergeordnetes Tier-2-System wird zudem eine nahtlose Integration in die HPC-Versorgungspyramide von HPC.NRW sichergestellt.
Optimierung von Job- und Ressourceneffizienz
Ein Leitfaden zur Optimierung der Job-Effizienz unterstützt Forschende dabei, Rechenressourcen effizienter zu nutzen und den Energieverbrauch ihrer HPC-Jobs zu reduzieren. Für Administrator:innen wurde zudem ein Leitfaden zur Überwachung und Verwaltung eines Job-Monitoring-Systems erstellt, der eine bessere Ressourcenauslastung ermöglicht.
Präzises Reporting der HPC-Nutzung
Ein Framework zur automatisierten Erfassung von Nutzungsmetriken wurde eingeführt. Dieses ermöglicht die Erstellung detaillierter Berichte, die einen umfassenden Überblick über die Auslastung der HPC-Infrastruktur bieten und Grundlage für gezielte Optimierungen sind.
Best Practices für Künstliche Intelligenz
Für die Integration von KI-Frameworks wie TensorFlow und PyTorch in Hochleistungsrechenzentren wurden Best-Practice-Leitfäden entwickelt. Diese unterstützen Forschende und Administrator:innen bei der effizienten Nutzung und Implementierung von Machine-Learning-Tools und fördern innovative Anwendungen in der Forschung. Zudem wurde eine wöchentliche KI-Sprechstunde in Zusammenarbeit mit dem GCS und NHR etabliert.
Sichere Datenmigration und Systemtransformation
Um die verfügbaren HPC-Ressourcen optimal zu nutzen, wird die vertikale und horizontale Migration von HPC-Jobs durch ein neues Verfahren auf Basis von Nextcloud unterstützt. Dieses Verfahren ermöglicht eine sichere und effiziente Übertragung von Daten zwischen HPC-Systemen. Ein Leitfaden zur Migration beschreibt die Schritte für eine reibungslose Umsetzung von Systemtransformationen.
Unterstützung durch HPC-Beratung
Ein Beratungsleitfaden sowie eine Kompetenzliste der HPC.NRW-Mitglieder bieten gezielte Unterstützung bei der Nutzung von Hochleistungsrechnern. Im Rahmen einer Beratung wurde die Software-Architektur eines Fortran MPI CFD-Codes erfolgreich optimiert, um die Effizienz zu steigern.
Stärkung der HPC-Kompetenzen durch Schulungen
Ein breites Schulungsangebot zu Themen wie MATLAB, C++ und Julia sowie ein „Train-the-Trainer“-Programm mit The Carpentries und der Digital Research Academy fördern die HPC-Kompetenzen der Teilnehmenden. Diese Maßnahmen sichern den Wissenstransfer und stärken die Forschungsgemeinschaft in NRW.
Fokus auf Sicherheit und Prävention
Die Einrichtung eines Kommunikationskanals für den Austausch über Sicherheitsrisiken und Gegenmaßnahmen verbessert den Schutz der HPC-Infrastrukturen. Der Dialog über Best Practices und Sicherheitsrichtlinien trägt dazu bei, die Systeme vor potenziellen Bedrohungen zu bewahren.
Zentrale Softwarelösungen für ganz NRW
Durch den erfolgreichen Abschluss von Landeslizenzvereinbarungen – unter anderem für TotalView, Linaro Forge und Vampir Professional – wurde der Zugang zu essenziellen Entwicklungs- und Analysewerkzeugen für HPC-Anwendungen landesweit vereinfacht. Zusätzlich konnten Premium-Support-Verträge für Intel und den Workload-Manager SLURM abgeschlossen werden. Diese Maßnahmen entlasten einzelne Standorte finanziell und organisatorisch und sorgen für eine höhere Verfügbarkeit und Qualität bei der Nutzung zentraler Softwarelösungen im gesamten Netzwerk.
Stärkere Sichtbarkeit und nutzerorientierte Kommunikation
Die Website von HPC.NRW wurde mit einem klaren Fokus auf die Bedürfnisse der Nutzenden neu strukturiert und gestaltet. Ergänzend wurde eine öffentliche Informations-Mailingliste etabliert, über die sich mittlerweile rund 140 Interessierte regelmäßig über aktuelle Entwicklungen, Veranstaltungen und Angebote informieren – ein wichtiger Schritt hin zu mehr Sichtbarkeit des Netzwerks.
Fortschritt mit Blick auf die Zukunft
HPC.NRW hat in der Förderphase 2023/24 wichtige Impulse gesetzt, um die HPC-Landschaft in Nordrhein-Westfalen nachhaltig zu stärken. Der Fokus auf Innovation, Nachhaltigkeit und Benutzungsfreundlichkeit bietet eine solide Grundlage, um auch zukünftigen Herausforderungen in der Forschung und Entwicklung erfolgreich zu begegnen.