Der Markt entwickelt sich aktuell so, dass Double Precision Berechnungen von den Anbietern zunehmend nachrangig betrachtet werden. Grundsätzlich werden diese GPGPUs aber immer noch effiziente DP64 Operationen unterstützen. Geben Sie bei der Bedarfsabfrage diese Anforderung mit an, so dass diese berücksichtigt werden kann.

In Phase 1 des HPC-BasisClusters werden GPU-Knoten mit 8× B200 GPUs pro Knoten bereitgestellt. Dies entspricht dem Bedarf großer Modelle und Workflows, bei denen die Limitierungen durch Speicherbandbreiten eine Rolle spielen, weshalb größere Server mit 8 GPUs je Knoten gegenüber 4 GPUs bevorzugt werden.

Die Knoten sind hochpreisig, da sie eine „DGX-like“-Architektur nutzen, bei der die GPUs eng gekoppelt sind und gemeinsam auf den Arbeitsspeicher zugreifen können. Dies ermöglicht eine effiziente Verarbeitung großer Modelle, wie sie beispielsweise auf den aktuell vorhandenen 5 Servern mit je 8× A100 (40 GB) GPUs erforderlich ist.

Der Ausschreibung kann derzeit nicht vorgegriffen werden. Voraussichtlich wird der Fokus auf NVIDIA liegen, jedoch wird auch AMD berücksichtigt, da deren Karten über mehr Arbeitsspeicher verfügen, was häufig den Engpass bei der Ausführung großer Netzwerke darstellt. Auch im Software-Stack hat AMD in den letzten 6 bis 9 Monaten deutliche Fortschritte gemacht.

Die Knoten sind inzwischen so leistungsfähig, dass viele Jobs mit bis zu 192 Rechenkernen auf einem einzelnen Knoten ausgeführt werden und dadurch non-blocking laufen. Beim aktuellen Basiscluster der Phase 1 wird von einer non-blocking Architektur ausgegangen. Für die anstehende Erweiterung wird bei großen Workloads, die über die Inselgrößen hinausgehen, mit einem Pruning-Faktor von höchstens 1:3 gerechnet. Solange die Ausführung innerhalb einer Insel erfolgt, sollte auch hier non-blocking erreicht werden.

CPU- und GPU-Knoten sind über einen gemeinsamen Interconnect angebunden. InfiniBand ist dabei eine mögliche Option, daneben bestehen jedoch gleichwertige Alternativen wie OmniPath sowie verschiedene Lösungen auf Basis von Data Centre Ethernet, die vergleichbare Leistungsmerkmale bieten. Ziel ist ein Interconnect mit niedriger Latenz und homogener Kommunikation.

Derzeit beträgt die Anbindung 40 Gbps. Angestrebt wird eine Erhöhung auf 100 Gbps.

Die Ausschreibung erfolgt offen. Aktuell kommt SpectrumScale/GPFS zum Einsatz, alternativ kommen aber auch Lustre, PanFS/Vdura sowie Weka und VAST in Betracht. Das System soll für „warme Daten“ zudem an die Objektspeicher DataStorage.NRW und DataArchive.NRW (in Umsetzung) angebunden werden. Der insgesamt zur Verfügung stehende Speicher des Systems wird auf etwa 2 bis 4 PB geschätzt. Eine genauere Bedarfsabschätzung ermöglicht eine bessere Planung der erforderlichen Mittel für das Speichersystem sowie für die vorgesehenen Szenarien.

In Nordrhein-Westfalen wird dies über DataStorage.NRW (bereits verfügbar) und DataArchive.NRW (in Umsetzung) unterstützt. Dies ist jedoch nicht Ziel des hpcBasisClusters.nrw.

Grundsätzlich ist im hpcBasisCluster.nrw kein Kauf von Software vorgesehen. Über die Möglichkeiten, eigene Software einzubringen, muss im Einzelfall gesprochen werden. Eine Umsetzung sollte darstellbar sein.

Die genaue technische Umsetzung ist noch nicht festgelegt, grundsätzlich ist das Vorgehen jedoch wie geplant: Jede Hochschule wird einen Anteil des Clusters entsprechend ihrer Investition verwalten können. Die Account-Validierung erfolgt voraussichtlich über eine Regapp-Instanz (z. B. https://www.scc.kit.edu/dienste/regapp.php), während die Zuweisung der Rechenzeit an die einzelnen Nutzenden durch die jeweilige Hochschule selbst durchgeführt wird.

Ziel ist es, die Anteile möglichst flexibel zu gestalten, sodass möglichst wenig Rechenzeit ungenutzt bleibt. Wenn einzelne Standorte ihre Anteile zeitweise nicht nutzen, können andere Standorte in dieser Zeit zusätzliche Ressourcen verwenden.