Zur Hauptnavigation

Zur Sekundärnavigation

Zum Inhalt dieser Seite

Inhaltsbereich

Effiziente Nutzung des Hochleistungsrechners 'Elwetritsch'

Auf dieser Seite stellen wir für Sie wichtige Informationen zusammen, die eine kooperative und effiziente Nutzung des Hochleistungsrechners 'Elwetritsch' ermöglichen.

Interaktive Nutzung kommerzieller Software verursacht Kosten

Kommerzielle Software wie ANSYS, Abaqus, Matlab usw. können Sie nicht nur im Batchbetrieb, sondern auf den interaktiven Knoten des Clusters auch mit der grafischen Oberfläche nutzen. Im Gegensatz zum Batchbetrieb werden die verwendeten Lizenzen aber nicht automatisch freigegeben, wenn das Programm untätig oder die Berechnung beendet ist. Die meisten Programme buchen eine Lizenz aus, wenn die grafische Oberfläche geöffnet wurde, auch wenn Sie nichts weiter damit machen. Und diese Lizenznutzung verursacht i.d.R. Kosten für Sie bzw. Ihre Arbeitsgruppe / Ihren Lehrstuhl. Zudem blockieren Sie so ggf. Lizenzen, die andere gerne nutzen würden. Diese durch unnötig geöffnete Programme anfallenden Kosten können vermieden werden, wenn Sie daran denken, die Programme immer zu schließen, wenn Sie sie nicht mehr benötigen.

Erstellen eines geeigneten Testjobs zur Abschätzung

Prinzipiell ist es eine gute Idee, vor dem Absetzen einer Menge gleichartiger Jobs einen oder mehrere Testjobs mit typischen Eingabeparametern zu erstellen, der als Grundlage für die Abschätzung der notwendigen Ressourcen (Laufzeit, Hauptspeichern, CPU-Kerne usw.) dient. Ist Ihr Job erfolgreich abgearbeitet worden, erhalten Sie eine Ergebnis-E-Mail, aus der Sie wichtige Angaben wie die Laufzeit und den Speicherverbrauch ablesen können.

Sollten Sie MPI in Ihren Jobs verwenden, so ist es eine gute Idee, Skalierungsmessungen durchzuführen. Variieren Sie dazu die Anzahl der Jobslots und prüfen Sie, wie sich dadurch die Laufzeit verkürzt. Denn es ist üblicherweise nicht so, dass eine Rechnung durch eine Verdopplung der Kerne in der halben Zeit fertig ist.

Kontaktieren Sie uns, wenn Sie beim Austarieren der besten Parameter Hilfe benötigen.

Auswahl der richtigen Warteschlange

Die Jobs werden durch das Batchsystem in unterschiedliche Warteschlangen einsortiert und dann nach und nach "abgearbeitet". Um den unterschiedlichen Anforderungen an die Laufzeit von Jobs gerecht zu werden, bietet das Batchsystem Warteschlangen mit unterschiedlicher maximaler Laufzeit an. Diese lassen sich grob in normal, long und extralong einteilen. In den Warteschlangen, die den Begriff "normal" enthalten, können Sie maximal 2 Tage rechnen, in "long" maximal 10 Tage und in "extralong" maximal 30 Tage. Steuern können Sie die Auswahl der Warteschlange mit den bsub-Parametern "-q", "-W" oder "-We". Die schnellste Lösung, einfach alle Jobs nach "long" oder gar "extralong" zu submittieren, ist aber nicht die beste. Denn es gilt verschiedene Dinge zu berücksichtigen:

  • Die Warteschlangen haben unterschiedliche Prioritäten. Wenn zwei Jobs verschiedener Nutzer aus unterschiedlichen Warteschlangen auf den gleichen Ressourcen starten könnten, so wird der Job aus der Warteschlange mit der kürzeren Laufzeit bevorzugt.
  • Die Warteschlangen haben unterschiedlich viele Ressourcen zur Verfügung. Die Warteschlangen "normal" haben den gesamten Cluster zur Verfügung, "long" nur die Hälfte und "extralong" wiederum davon die Hälfte. Jobs in einer "normal"-Warteschlange haben also i.d.R. bessere Chancen zu starten, da mehr Ressourcen zur Verfügung stehen.
  • Je länger die Laufzeit Ihrer Jobs, desto weniger Jobs können Sie parallel starten. Informationen über die maximale Anzahl von Jobslots in den unterschiedlichen Warteschlangen finden Sie auf https://elwe.rhrk.uni-kl.de/elwetritsch/ressourcen.shtml.

Sofern Ihre Anwendung es zulässt, empfehlen wir die Aufteilung in mehrere Jobs, die maximal 2 Tage laufen.

Angabe des notwendigen Hauptspeichers

Nicht nur die Anzahl der Prozessorkerne ist eine für das Batchsystem notwendige Ressourcenanforderung, sondern auch die Menge des für Ihren Job notwendigen Hauptspeichers (RAM). Diesen sollten Sie vorab abschätzen und beim Submittieren mit bsub durch den Parameter -R "rusage[mem=4096]" angeben (4096 entspricht hier 4 GB Hauptspeicher pro Rechenknoten). Nur so ist sichergestellt, dass die angegebene Menge Hauptspeicher durch das Batchsystem reserviert wird und für die gesamte Dauer des Jobs auch zur Verfügung steht. Geben Sie hier lieber 10% mehr an als zu wenig. Sollten Sie unschlüssig sein, wie viel Hauptspeicher Ihr Job benötigt, so machen Sie eine großzügige Angabe mit einem Testjob (siehe oben) )und schauen Sie anschließend in Ihre Ergebnis-E-Mail, denn dort steht der tatsächliche Hauptspeicher-Verbrauch ("Max Memory").

AHRP-Projekte

Der Cluster ist aufgeteilt in einen kleinen, aber frei zugänglichen Bereich sowie einen großen, nur durch Beantragung eines AHRP-Projekts erreichbaren Teil. Wenn Sie regelmäßig auf dem Cluster arbeiten und dauerhaft mehr als 16 Kerne für Ihre Berechnungen benötigen, so beantragen Sie bitte ein AHRP-Projekt. So reduzieren Sie die Wartezeit Ihrer Jobs und entlasten den freien Teil des Clusters. Weitere Infos erhalten Sie auf https://www.ahrp.info/ressourcen.shtml.