Logo Oracle Deutschland   Exadata Community  -  Oktober 2012
Oracle Exadata Database Machine X3-8 Hardware
von Frank Schneede, ORACLE Deutschland B.V. & Co. KG

Die Produktfamilie der Engineered Systems umfasst verschiedene Exadata Modelle, die für die unterschiedlichsten Kundenszenarien geeignet sind. Das zuerst vorgestellte und von der Prozessorleistung kleinere Modell Exadata Database Machine X3-2 wurde bereits in einem Community Tipp ausführlich beschrieben. Zur Oracle Open World 2010 wurde das aktuelle Top-Modell, die Exadata Database Machine X3-8 vorgestellt, das im Dezember 2011 eine Aktualisierung der in den Datenbank Servern verbauten Prozessoren erfahren hat. Auch das Top-Modell wurde im Zuge der Ankündigung im Rahmen der OOW 2012 aktualisert.

Wie bereits der letzte Community Tipp zur Exadata Database Machine X3-2 soll auch dieser Tipp als Nachschlagewerk dienen, das den aktuellen Stand der Hardware der Exadata Database Machine X3-8 beschreibt.

Exadata Systeme zeichnen sich dadurch aus, dass mit dieser Technologie ein bedarfsgerechtes Wachstum der Systeme möglich ist. Das bedeutet, dass ein Kunde mit der kleinsten Ausbaustufe, der neuen Exadata Database Machine X3-2 Eighth Rack, beginnen kann und die Maschine entsprechend dem Wachstum des Datenvolumens bzw. der Abfragelast mit Hilfe von Upgrade Kits erweitert. Natürlich gibt es auch Kundensituationen, in denen von Anfang an ein leistungsstärkeres Modell eingesetzt werden muss. Wenn zum Beispiel bei hohen Anforderungen an CPU und Hauptspeicher das Datenvolumen von vornherein so hoch ist, dass das Top-Modell der X3-2 Baureihe nicht ausreicht, kann man zur Exadata Database Machine X3-8 greifen. Wie der Modellname ausdrückt, handelt es sich hierbei um ein 8 Socket System, das pro Datenbank Server über insgesamt 8 Intel x86 Prozessoren verfügt. Dieser Tipp befasst sich mit der Exadata Database Machine X3-8 und gliedert sich in folgende Abschnitte:

  1. Exadata Storage Server X3-2
  2. Datenbank Server
  3. Netzwerk Komponenten
  4. Sonstige Hardware
  5. Technische Daten

1. Exadata Storage Server X3-2

Der Exadata Storage Server X3-2 ist der entscheidende Baustein der Exadata Storage Technologie und wird daher baugleich in allen Modellen der Exadata Database Machine, dem Oracle SPARC SuperCluster und im Exadata Storage Expansion Rack verwendet. Auf dem Exadata Storage Server X3-2 läuft die Exadata Storage Server Software, ohne die die I/O Leistung der Engineered Systems nicht möglich wäre.

Der aktuelle Aufbau des Exadata Storage Server X3-2 ist in diesem Community Tipp ausführlich beschrieben worden.

2. Datenbank Server

Die Modelle der Exadata Database Machine unterscheiden sich im Wesentlichen durch den Typ des Datenbank Servers, der in dem jeweiligen Modell zum Einsatz kommt. In der Exadata Database Machine X3-8 werden 8 Sockel Datenbank Server mit Intel x86 Architektur verwendet. Der hierfür eingesetzte Standard Server ist der Sun Server X2-8 (ehem. Sun Fire X4800 M2). Die folgende Tabelle zeigt die Komponenten des Servers.

Komponente Beschreibung
Prozessor 8 * Ten-Core Intel® Xeon® E7 8870 Processors (2.40 GHz)
Hauptspeicher 2 TB (128 * 16GB DDR3 DIMM 1066MHz)
lokale Festplatten 8 * 300GB 10K RPM SAS Disks (hot-swappable)
Festplatten Controller Disk Controller HBA with 512MB Battery Backed Cache
Netzwerkanschlüsse 8 * InfiniBand 4X QDR (40Gb/s) Ports (4 Dual-port PCIe 2.0 Express Modules)
2 * Network Express Modules (NEM) mit insgesamt

  • 8 * 1GbE Ethernet Ports
  • 8 * 10GbE Ethernet SFP+ Ports (via 4 Fabric Express Modules (FEM) based on the Intel 82599 10GbE Controller Technology)

Remote Management 1 Ethernet port (ILOM)
Stromversorgung Redundant Hot-Swappable power supplies and fans


An Vorder- und Rückseite des Servers befinden sich Statusanzeigen, die über den Zustand des Systems Auskunft geben. Der Aufbau des Systems ist modular, das bedeutet, dass jeweils eine CPU und 16 DDR3 Speicherbausteine in einem CPU Module (CMOD) zusammengefasst sind. Jedes der insgesamt 8 CMODs verfügt über eigene Statusanzeigen. Wie bereits beim Exadata Storage Server sind auch im Datenbankserver der Exadata Database Machine X3-8 Festplatten, Stromversorgungen und Lüfter während des laufenden Betriebes austauschbar. Die folgenden Bilder zeigen die Vorder- und die Rückseite des Sun Server X2-8 (ehem. Sun Fire X4800 M2).

Vorderseite: Rückseite:

Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!

Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!


Die Datenbank Server der Exadata Database Machine X3-8 werden ausschließlich unter dem BetriebssystemOracle Enterprise Linux 5.8 betrieben. Die auf der X2-8 verwendete Linux-Variante verwendet den Unbreakable Kernel. Der Unbreakable Kernel verfügt gegenüber dem Red Hat Kompatiblen Kernel über einige Verbesserungen. Insbesondere die Performance in den Bereichen Memory, Netzwerk, I/O und für große NUMA (Non-Uniform Memory Access) Systeme wurde verbessert:
  • Unterstützung des aktuellen InfiniBand Software Stacks (OFED 1.5.1). Die wesentliche Erweiterung ist hier die Unterstützung von RDMA (Remote Direct Memory Access), das eine besonders effiziente Inter-Prozesskommunikation ermöglicht, da keine Buffer-Kopien erstellt werden müssen.
  • Verbesserungen im RDS (Reliable Datagram Socket) Stack. RDS bildet die Basis für das iDB Protokoll, das zur Kommunikation zwischen Datenbank Servern und Storage Servern eingesetzt wird. Hohe Geschwindigkeit bei geringer Latenz zeichnen das Protokoll aus und bildet so die Basis für die Systemperformance der Exadata Produkte.
  • Verbesserungen der Netzwerkperformance durch RPS (Receive Packet Steering) und RFS (Receive Flow Steering). RPS bringt insbesondere bei hoher Last Vorteile, da die Last für die Verarbeitung von Netzwerk-Paketen zwischen mehreren CPUs verteilt werden kann. Auf diese Weise wird sichergestellt, dass kein Bottleneck entsteht, indem nur eine einzelne dedizierte CPU Netzwerk Interrupts verabeiten muss.
    RFS ist eine Erweiterung von RPS und dient dazu, dass die Verabeitung von Netzwerk Paketen koordiniert und parallel geschieht. Das bedeutet, dass anstelle einer reinen IP/Port Zuordnung eine Zuodnung zur Anwendung geschieht, von der die Netzwerkpakete kommen. Gesendete und empfangene Pakete, die durch Systembefehle einer Anwendung angefordert werden, werden von derselben CPU verarbeitet. Die sogenannte CPU Lokalität optimiert den Kommunikationsaufwand und vermeidet so eine negative Auswirkung auf die Performance.
  • Die Performance von NUMA Systemen mit vielen CPUs bzw. CPU Kernen wurde durch Verbesserungen in der internen Behandlung von Interrupts und Semaphoren gesteigert. Durch das Feature I/O Affinität werden Bestätigungsmeldungen für I/O Requests zu der CPU geleitet, die den Request zursprünglich gesendet hat.
  • Die Performance von Asynchronous Writebacks wurde verbessert. Asynchronous Writebacks sind Schreibprozesse, die geänderte Blöcke aus dem Linux Kernel Page Cache auf die Festplatte übertragen.
Der Unbreakable Kernel wurde bislang ausschließlich auf den Datenbank Servern der Exadata Database Machine X3-8 verwendet, da die darin verwendeten Server besonders von den Verbesserungen im Unbreakable Kernel profitieren. In der neuen X3- Exadata Generation wird auf allen Servern nur noch der Unbreakable Kernel eingesetzt. Details zum Unbreakable Kernel beschreibt ein Technisches Whitepaper im Oracle Technology Network.

Im Sun Server X2-8 (ehem. Sun Fire X4800 M2) befinden sich 8 lokale 300GB SAS Festplatten, die für das Betriebssystem und Anwendungssoftware (Oracle, Monitoring Agents, Backup Agents) genutzt werden. Zum Einsatz kommt standardmäßig Oracle Database 11g Release 2 Enterprise Edition (11.2.0.2 oder 11.2.0.3), Oracle Real Application Clusters und Oracle Partitioning. Andere Oracle Datenbank Optionen (z. B. Advanced Compression, Active DataGuard, ...) können nach Bedarf ebenfalls genutzt werden. Sinnvollerweise wird im Rahmen der Installation auch der Oracle Enterprise Manager Cloud Control Agent aufgesetzt, um eine einheitliche Adminstration über Enterprise Manager Cloud Control zu ermöglichen. Die Installation weiterer Software (Backup Agents o. ä.) liegt in der Zuständigkeit und Verantwortung des Kunden. Es ist nicht erlaubt, weitere Anwendungssoftware auf den Datenbank Servern zu installieren. Für diesen Zweck sollten separate Applikationsserver eingerichtet werden, das kann zum Beispiel auch die Oracle Exalogic Elastic Cloud sein.

3. Netzwerk Komponenten

In der Exadata Database Machine X3-8 werden die gleichen Netzwerkkomponenten eingesetzt wie in der Exadata Database Machine X3-2. Die aktuell verwendeten Netzwerk Komponenten können Sie diesem Community Tipp entnehmen.

4. Sonstige Hardware

Die einzige zusätzliche Komponente der Exadata Database Machine X3-8 ist ein Cisco Catalyst 4948 (48) Port Management Switch, der alle verbauten Server und InfiniBand Switches an ein internes 1GbE Administrations- und Management-Netzwerk anschließt. Vom Switch sind 35 Ports belegt, 16 werden für ILOM Verbindungen verwendet, 16 für die NET0 Verbindungen und 3 Ports werden für die ILOM Verbindung zu den InfiniBand Switches benötigt. Der Cisco Switch kann über die verbleibenden freien Ports in das kundeneigene Administrations-Netzwerk eingebunden werden.

KVM Komponenten sind in der Exadata Database Machine X3-8 nicht vorhanden, da die beiden eingebauten Datenbank Server so hoch sind, dass keine freien Höheneinheiten zur Verfügung stehen. Aus diesem Grunde muss die Einrichtung des Systems über eine Remote Console erfolgen. Gleiches gilt natürlich auch für Wartungsarbeiten am System, die einen direkten Zugriff auf die Hardware erforderlich machen.

Die einzige Hardware Modifikation, die der Kunde an der Exadata Database Machine durchführen darf, ist der Austausch des Cisco Switches. Das kann sinnvoll sein, falls der Kunde standardmäßig auf Produkte eines anderen Herstellers setzt.

5. Technische Daten

Die Exadata Database Machine X3-8 gibt es im Gegensatz zur Exadata Database Machine X3-2 nur als Full Rack, bestehend aus 2 Datenbank Servern, 14 Storage Servern und 3 InfiniBand Switches. Erweiterungen können nur durch Hinzufügen weiterer Full Racks vorgenommen werden, bis zu 8 Full Racks könne ohne zusätzliche Hardware zu einem Cluster zusammengefasst werden.

Zum Abschluss sind in der folgenden Tabelle die Kenndaten der Exadata Database Machine X3-8 in Bezug auf Kapazität und Durchsatz aufgelistet. Die Exadata Database Machine X3-2 im Vollausbau dient dem Vergleich.

X2-8 Full X3-2 Full
Abbildung
Für eine größere Ansicht
auf das Bild klicken,
zurück zum Artikel mit dem
Back-Button des Browser!

Für eine größere Ansicht
auf das Bild klicken,
zurück zum Artikel mit dem
Back-Button des Browser!
Database Server 2 8
Database Grid CPU CoresNeu! 160 128
Database Grid MemoryNeu! 4TB 1024GB (max. 2048GB)
InfiniBand Switches 3 3
Ethernet Switch 1 1
Storage Server 14 14
Storage Grid CPU Cores 168 168
Flash KapazitätNeu! 22,4TB 22,4TB
Gesamt Storage
Kapazität
High Performance
High Capacity
100TB
504TB
100TB
504TB
Nutzbare Kapazität
gespiegelt
High Performance
High Capacity
45TB
224TB
45TB
224TB
Nutzbare Kapazität
dreifach gespiegelt
High Performance
High Capacity
30TB
150TB
30TB
150TB
Bandbreite
Festplatten
High Performance
High Capacity
25GB/s
18GB/s
25GB/s
18GB/s
Bandbreite
Flash
High Performance
High Capacity
100GB/s
93GB/s
100GB/s
93GB/s
Disk
IOPS
High Performance
High Capacity
50.000
28.000
50.000
28.000
Flash read IOPS 1.500.000 1.500.000
Flash write IOPSNeu! 1.000.000 1.000.000
Daten Laderate 16TB/Std 16TB/Std


Die Leistungsdaten in Hinblick auf I/O Bandbreite (GB/sec) und I/O Durchsatz (IOPS) sind für die beiden dargestellten Modelle der Exadata Database Machine identisch. Der Unterschied liegt im Wesentlichen in der Anzahl der Datenbank Server und deren Aufbau bzw. Leistungsklasse. Damit wird auch der Unterschied im Einsatz beider Modelle klar. Während die Exadata Database Machine X3-2 sich für nahezu jede Art von I/O intensiven Anwendungen eignet, bietet die Exadata Database Machine X3-8 eine Plattform für besonders große und ressourcenintensive Datawarehouse- oder OLTP-Anwendungen sowie Konsolidierungsprojekte. Besonders für einen Betrieb in mehreren Racks ist die Exadata Database Machine X3-8 gut geeignet.

Weitere Details finden Sie unter: Erfahren Sie mehr zu diesem und anderen Themen in den folgenden Ausgaben der Exadata Community!

Zurück zur Community-Seite