Skip to main content

Cray bringt Hadoop zum Supercomputing

Wissenschaftliches Supercomputing hilft dabei, Vorteile zu nutzen Big-Data-Technologien veröffentlicht der High-Performance-Computing-Hersteller Cray eine Reihe von Paketen, die den Prozess der Ausführung von Hadoop auf den XC30-Maschinen des Unternehmens optimieren.

Das Cray Framework für Hadoop bietet zusammen mit dem Cray Performance Pack für Hadoop Eine Reihe von Tools und Best Practices für die Konfiguration und Optimierung eines XC30 für die Ausführung von Hadoop für wissenschaftliche Big Data-Projekte, so das Unternehmen.

Das Java-basierte MapReduce-Modell der Datenanalyse von Hadoop könnte dem Supercomputing eine Reihe von Vorteilen bringen , obwohl es in dieser Gemeinschaft noch keine breite Akzeptanz gefunden hat, obwohl beide eine parallele Verarbeitung und extrem große Datenmengen einsetzen.

[Weiterführende Literatur: Die besten TV-Streaming-Dienste]

Cra "Hadoop hat von seinen Nutzern ein gewisses Interesse an Hadoop geweckt, obwohl die Open-Source-Datenverarbeitungsplattform nicht für die meisten wissenschaftlichen Supercomputing-Anwendungsfälle ausgelegt war", erklärt Bill Blake, Chief Technical Architect von Cray Die Berechnung der Daten unterscheidet sich vom traditionellen Supercomputing-Ansatz, bei dem die Daten an die Prozessoren übertragen werden.

Herkömmliche wissenschaftliche Hochleistungsrechnungen basieren auf großen hierarchischen Dateiformaten und Bibliotheken zur Erhöhung der I / O-Raten (Eingabe / Ausgabe), von denen Hadoop nicht für die Handhabung geeignet war. Scientific Computing stützt sich auf parallele Dateisysteme und schnelle Verbindungen, die in Hadoop-Bereitstellungen normalerweise nicht zu finden sind.

Wissenschaftliche Workloads weisen außerdem tendenziell komplexere Workflows auf, die sowohl wissenschaftliche Rechen- als auch Analyse-Workloads enthalten. Datenmodelle werden auch mit mathematischen Modellen in der wissenschaftlichen Datenverarbeitung kombiniert, die ebenfalls nicht die Norm für Hadoop darstellen.

Das Cray-Framework für Hadoop und das Cray-Performance-Pack für Hadoop werden diese Probleme lösen und den Benutzern die meiste Rechenleistung geben der XC30s für Hadoop-Jobs, so das Unternehmen.

Ein Update für das Performance Pack, das Anfang 2014 verfügbar sein wird, wird zusätzlichen Systemcode enthalten, um die Verwendung der Lustre-Dateisystembibliothek und des Aries zu optimieren Systemverbindung für Cray-Maschinen.

Der XC30 ist Cray's führender Supercomputer mit integrierten Servern und Switches, dem Lustre-Parallel-Dateisystem, schnellen Aries-Verbindungen, einem innovativen Kühlsystem und der Dragonfly-Netzwerktopologie zur Minimierung von Standortbeschränkungen.

Cray kündigte die Pakete auf der SC2013 Supercomputing-Konferenz an, die diese Woche in Denver stattfindet.

Cray gab auch bekannt, dass er die Universität von Stuttgart XC30, Nicknam, aufrüstet "Hornet", so wird es mehr als sieben Petaflops (Billiarden mathematische Berechnungen pro Sekunde) Rechenleistung bieten.

Joab Jackson deckt Unternehmenssoftware und allgemeine Technologie Brechen Nachrichten für

The IDG News Service . Folge Joab auf Twitter unter @Joab_Jackson. Joabs E-Mail-Adresse lautet [email protected]