Logo Oracle Deutschland   Exadata Community  -  Oktober 2012
Oracle Exadata Database Machine X3-2 Hardware
von Frank Schneede, ORACLE Deutschland B.V. & Co. KG

Die Exadata Database Machine ist als erstes Modell einer Produktfamilie von sogenannten Engineered Systems bereits vor geraumer Zeit vorgestellt worden. Unter Engineered Systems versteht man Rechnersysteme aus vorkonfigurierten Standard Hardwarekomponenten, auf denen in einem standardisierten Prozess speziell abgestimmte Software installiert und konfiguriert wird. Durch den hohen Grad der Standardisierung in Bezug auf Hardware, Software und Konfiguration wird eine extrem kurze Zeit bis zur betriebsbereiten Übergabe des Systems erreicht.

Während der OOW 2012 wurde nun die neueste Version, die Modellreihe X3-2 der Öffentlichkeit präsentiert. Dieser Tipp wurde daher überarbeitet, um den aktuellen Stand der Hardware der Exadata Database Machine X3-2 zu beschreiben. Künftige Änderungen der Exadata Hardware werden auch weiterhin zeitnah in den Tipp eingearbeitet, der so als Nachschlagewerk eingesetzt werden kann.

Der zentrale Bestandteil der Exadata Storage Technologie ist der Exadata Storage Server X3-2, der baugleich in allen Modellen der Exadata verwendet wird. Die Exadata Database Machine gibt es in zwei unterschiedlichen Modellen, der Exadata Database Machine X3-2 und der Exadata Database Machine X3-8. Zusätzlich wird ein Exadata Storage Expansion Rack angeboten. Alle Komponenten der Exadata Database Machine basieren auf einer Intel x86 Architektur, die Namensgebung des Produktes (X3, die 3 steht hier für die dritte Generation) drückt diesen Umstand aus. Der zweite Teil des Namens (-2 oder -8) drückt aus, wieviele Sockets in den Datenbankservern belegt werden können. Bei der Exadata Database Machine X3-8 handelt es sich demnach um ein 8 Socket System, das also über 8 Intel x86 Prozessoren mit jeweils mehreren Kernen verfügt; in der Exadata Database Machine X3-2 sind 2 Sockets, also 2 Intel x86 Prozessoren, verbaut. Dieser Tipp befasst sich mit der Exadata Database Machine X3-2 und gliedert sich in folgende Abschnitte:

  1. Exadata Storage Server X3-2
  2. Datenbank Server
  3. Netzwerk Komponenten
  4. Sonstige Hardware
  5. Technische Daten

1. Exadata Storage Server X3-2

Der Exadata Storage Server X3-2 ist der entscheidende Baustein der Exadata Storage Technologie. Er wird baugleich nicht nur in der Exadata Database Machine, sondern auch im Oracle SPARC SuperCluster und im Exadata Storage Expansion Rack verwendet. Auf dem Exadata Storage Server X3-2 läuft die Exadata Storage Server Software, ohne die die I/O Leistung der Engineered Systems nicht möglich wäre.

Die Basis des Exadata Storage Server X3-2 bildet der Sun Server X3-2L (ehem. Sun Fire X4270 M3). Die folgende Tabelle zeigt die Komponenten des Servers in der Konfiguration, in der er in der Exadata Database Machine verbaut wird.

Komponente Beschreibung
Prozessor 2 * Six-Core Intel® Xeon® E5-2630L Processors (2 GHz)
Hauptspeicher 64GB (8 * 8GB DDR3 DIMM 1600MHz)
Festplatten 12 * 600GB 15K RPM High Performance SAS (hot-swappable)

oder

12 * 3TB 7,2K RPM High Capacity SAS (hot-swappable)
Flash 4 * 400 GB Sun Flash Accelerator F40 PCIe Cards
Festplatten Controller Disk Controller HBA with 512MB Battery Backed Cache
Netzwerkanschlüsse 2 * InfiniBand 4X QDR (40Gb/s) Ports (1 Dual-port PCIe 2.0 HCA)
4 * Embedded Gigabit Ethernet Ports
Remote Management 1 Ethernet port (ILOM)
Stromversorgung Redundant Hot-Swappable power supplies and fans


Die korrekte Funktion des Storage Servers wird durch entsprechende LEDs an der Vorderseite angezeigt. Über USB Ports, die von außen zugänglich sind, erfolgt das Aufspielen der Installation durch den Advanced Customer Support. Verschiedene Komponenten sind "Hot-Swappable", das heisst, sie können während des Betriebes ohne Downtime ausgetauscht werden. Zu diesem Komponenten gehören die Festplatten, Stromversorgungen und Lüfter. Die folgenden Bilder zeigen die Vorder- und die Rückseite des Sun Server X3-2L (ehem. Sun Fire X4270 M3) sowie in der Draufsicht die Anordnung der Komponenten innerhalb des Servers.

Vorderseite: In der Draufsicht:

Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!

Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!
Rückseite: In der Draufsicht:

Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!

Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!


Der Exadata Storage Server kann wahlweise mit 12 600GB oder 3TB SAS Festplatten ausgerüstet werden. Hierbei ist zu beachten, dass stets alle Festplatten in einem Storage Server den gleichen Typ haben müssen. Ein Mischbetrieb ist nicht möglich! Ebenso muss stets ein kompletter Storage Server mit der Exadata Storage Server Software lizenziert werden, das Abschalten einzelner Festplatten ist nicht möglich. Die Lizenzierung erfolgt unabhängig von deren Typ nach Anzahl der Festplatten, das bedeutet, dass für einen Storage Server 12 Lizenzen der Exadata Software benötigt werden.

Auf den ersten beiden Festplatten des Storage Servers befinden sich Partitionen für das Betriebssystem. Diese sind gespiegelt, so dass ein rolling Upgrade durchgeführt werden kann, also ein Upgrade, ohne den Betrieb unterbrechen zu müssen. Die Aufteilung der Festplatten erfolgt grundsätzlich so, dass die Bereiche, die dem ASM als Grid Disk zur Verfügung gestellt werden, gleich groß sind.

Eine Besonderheit im Exadata Storage Server ist die Bestückung mit vier speziell für den Einsatz in der Exadata neu entwickelten Sun Flash Accelerator F40 PCIe Cards. Jede dieser Flash Karten verfügt über einen Speicher von 400GB, so dass ein Exadata Storage Server insgesamt über 1600GB Flash Speicher enthält. Die Flash Karten sind nicht über einen zusätzlichen Controller angeschlossen, sondern direkt über den PCIe Bus. Dadurch gibt es keinen Controller Engpass und ein Storage Server kann bei Verwendung des Flash Speichers einen Durchsatz von >7,25GB/sek bzw. von 125.000 IOPS erreichen. Das folgende Bild zeigt eine Sun Flash Accelerator F40 PCIe Card, auf der 4 eMLC (enterprise Muli-Level Cell) NAND Module verbaut worden sind.


Für eine größere Ansicht auf das Bild klicken,
zurück zum Artikel mit dem Back-Button des Browser!


Exadata Storage Server werden in den verschiedenen Exadata Modellen, dem Expansion Rack und dem SuperCluster verbaut. Zusätzlich können Kunden auch einzelne Storage Server erwerben, jedoch können diese nur in ein vom Kunden bereitgestelltes Rack eingebaut werden. Die Erweiterung eines existierenden Exadata Racks um einzelne Storage Server ist nicht erlaubt. Wenn eine Exadata Database Machine im gleichen Rack erweitert werden soll, werden hierzu entsprechende Upgrades (Quarter auf Half Rack bzw. Half auf Full Rack) angeboten. Eine Erweiterung mittels Expansion Racks ist immer möglich, Details hierzu werden in einem späteren Community Tipp beschrieben.

Als Betriebssystem wird auf dem Exadata Storage Server Oracle Enterprise Linux 5.8 (mit dem Unbreakable Enterprise Kernel) eingesetzt. Neben der aktuell gültigen Version der Exadata Storage Server Software befindet sich keine weitere Software auf dem Server. Es ist strikt untersagt, zusätzliche Software auf dem Exadata Storage Server zu installieren. Das betrifft zusätzliche Linux Bibliotheken ebenso wie Monitoring oder Backup Agenten.

2. Datenbank Server

Die Modelle der Exadata Database Machine unterscheiden sich im Wesentlichen durch den Typ des Datenbank Servers, der in dem jeweiligen Modell zum Einsatz kommt. In der Exadata Database Machine X3-2 werden 2 Sockel Datenbank Server mit Intel x86 Architektur verwendet. Der hierfür eingesetzte Standard Server ist der Sun Server X3-2 (ehem. Sun Fire X4170 M3). Die Neuerungen des Servers betreffen den Prozessor, der über mehr Prozessorkerne (8 statt bisher 6 Kerne) in der aktuellen Sandy Bridge Archtektur verfügt, mehr Hauptspeicher (128GB/256GB statt bisher 96GB/144GB) und flexibler nutzbare Netzwerkanschlüsse. Die folgende Tabelle zeigt die Komponenten des Servers.

Komponente Beschreibung
Prozessor 2 * Hex-Core Intel® Xeon® E5-2690 Processors (2.9 GHz)
Hauptspeicher 128 GB (8 * 16GB DDR3 DIMM 1600MHz)

erweiterbar auf


256 GB (16 * 16GB DDR3 DIMM 1600MHz)
lokale Festplatten 4 * 300GB 10K RPM SAS Disks (hot-swappable)
Festplatten Controller Disk Controller HBA with 512MB Battery Backed Cache
Netzwerkanschlüsse 2 * InfiniBand 4X QDR (40Gb/s) Ports (1 Dual-port PCIe 2.0 HCA)
4 * 1GbE/10GbE Ethernet Ports
2 * 10GbE Ethernet SFP+ Ports (1 Dual-port 10GbE PCIe 2.0 network card based on the Intel 82599 10GbE Controller Technology)
Remote Management 1 Ethernet port (ILOM)
Stromversorgung Redundant Hot-Swappable power supplies and fans


An Vorder- und Rückseite des Servers befinden sich Statusanzeigen, die über den Zustand des Systems Auskunft geben. Wie bereits beim Exadata Storage Server sind auch in dem Datenbankserver der Exadata Database Machine X3-2 Festplatten, Stromversorgungen und Lüfter während des laufenden Betriebes austauschbar. Die folgenden Bilder zeigen die Vorder- und die Rückseite des Sun Server X3-2 (ehem. Sun Fire X4170 M3) sowie in der Draufsicht die Anordnung der Komponenten innerhalb des Servers.

Vorderseite: In der Draufsicht:

Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!

Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!
Rückseite: In der Draufsicht:

Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!

Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!


Auf den Datenbank Servern der Exadata Database Machine X3-2 stehen zwei Betriebssystemalternativen zur Verfügung. Es können Solaris 11 for x86 oder Oracle Enterprise Linux 5.8 (Unbreakable Enterprise Kernel) genutzt werden. Die Festlegung erfolgt während der Implementierung der Exadata. Danach kann das Betriebssystem nur durch ein Re-Imaging, also ein vollständiges Neuaufsetzen der Server, geändert werden!

Im Sun Server X3-2 (ehem. Sun Fire X4170 M3) befinden sich 4 lokale 300GB SAS Festplatten, die für das Betriebssystem und Anwendungssoftware (Oracle, Monitoring Agents, Backup Agents) genutzt werden. Zum Einsatz kommt standardmäßig Oracle Database 11g Release 2 Enterprise Edition (11.2.0.2 oder höher), Oracle Real Application Clusters und Oracle Partitioning. Andere Oracle Datenbank Optionen (z. B. Advanced Compression, Active DataGuard, ...) können nach Bedarf ebenfalls genutzt werden. Sinnvollerweise wird im Rahmen der Installation auch der Oracle Enterprise Manager Cloud Control Agent aufgesetzt, um eine einheitliche Adminstration über Enterprise Manager Cloud Control zu ermöglichen. Die Installation weiterer Software (Backup Agents o. ä.) liegt in der Zuständigkeit und Verantwortung des Kunden. Es ist nicht erlaubt, weitere Anwendungssoftware auf den Datenbank Servern zu installieren. Für diesen Zweck sollten separate Applikationsserver eingerichtet werden, das kann zum Beispiel auch die Oracle Exalogic Elastic Cloud sein.

3. Netzwerk Komponenten

Die Datenbank Server und die Storage Server innerhalb der Exadata werden über InfiniBand Switches miteinander verbunden. Eingesetzt wird hierzu der Sun Datacenter Switch 36, dessen Ansichten unten dargestellt sind.

Vorderseite: Rückseite:

Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!

Für eine größere Ansicht auf das Bild klicken, zurück zum Artikel mit dem Back-Button des Browser!


Kunden können in den Switches Stromversorgung und Lüfter während des laufenden Betriebs austauschen, da diese Komponenten redundant ausgelegt sind. In der Exadata Database Machine X3-2 werden je nach Model 2 bzw. 3 InfiniBand Switches verbaut. Die Topologie des InfiniBand Netzes innerhalb der Exadata ist so aufgebaut, dass 2 Switches als sogenannte Leaf Switches fungieren, die die verschiedenen Server ausfallsicher miteinander verbinden. Ein dritter Spine Switch dient dazu, die Skalierbarkeit bei Half oder Full Racks zu realisieren. Für die Einbindung in ein kundeneigenes InfiniBand Netzwerk stehen 12 freie Ports zur Verfügung.

Innerhalb der Exadata Database Machine kommunizieren die unterschiedlichen Komponenten über 40GB/sek QDR InfiniBand. Für diese Aufgabe befinden sich in den Datenbank und Storage Servern der Sun IB-HCA Dual port 4x QDR PCI-E Low Profile Adapter M2.


Für eine größere Ansicht auf das Bild klicken,
zurück zum Artikel mit dem Back-Button des Browser!


Der InfiniBand HCA unterstützt RDMA (Remote Direct Memory Access), das bedeutet, dass die Prozesse im Storage und in den Datenbankknoten über InfiniBand direkt miteinander kommunizieren, ohne Bufferkopien erstellen zu müssen. Diese Art der Interprozesskommunikation und die geringe Latenz der InfiniBand Technologie trägt maßgeblich dazu bei, dass die Exadata Database Machine so überzeugende Performancekennzahlen hat.

Das InfiniBand Netzwerk wird meistens nur innerhalb der Exadata Database Machine verwendet, da viele Kunden kein InfiniBand Netzwerk im Unternehmen betreiben. Dennoch besteht grundsätzlich die Möglichkeit, InfiniBand für die Einbindung der Exadata ins Kundennetzwerk zu verwenden. Zusätzlich steht seit der Version 2 der Exadata 10GbE als Anschlussalternative zur Verfügung:
  • 10GbE Anschluss über die in den Datenbank Servern eingebaute Netzwerkkarte
  • 40Gb InfiniBand Anschluss über freie Ports des eingebauten InfiniBand Switches
Falls also der Kunde über kein InfiniBand Netzwerk verfügt, so ist es möglich, die Exadata mittels der in den Datanbank Servern verbauten Sun Dual 10 GigE SFP+ PCIe 2.0 Low Profile Adapter in ein 10GbE Netzwerk einzubinden. Es stehen 2 freie Ports je Datenbank Server zur Verfügung.


Für eine größere Ansicht auf das Bild klicken,
zurück zum Artikel mit dem Back-Button des Browser!


4. Sonstige Hardware

Eine weitere Komponente der Exadata Database Machine X3-2 ist
  • ein Cisco Catalyst 4948 (48) Port Management Switch, der alle verbauten Server und InfiniBand Switches an ein internes 1GbE Administrations- und Management-Netzwerk anschließt. Vom Switch sind im Vollausbau der Exadata 47 Ports belegt, 22 werden für ILOM Verbindungen verwendet, 22 für die NET0 Verbindungen und 3 Ports werden für die ILOM Verbindung zu den InfiniBand Switches benötigt. Der Cisco Switch kann über den verbleibenden freien Port in das kundeneigene Administrations-Netzwerk eingebunden werden.
Die einzige Hardware Modifikation, die der Kunde an der Exadata Database Machine durchführen darf, ist der Austausch des Cisco Switches. Das kann sinnvoll sein, falls der Kunde standardmäßig auf Produkte eines anderen Herstellers setzt.

In der neuen Exadata Database Machine X3-2 wurden die KVM (Keyboard, Video, Mouse) Komponenten zur lokalen Administration entfernt. Die Einrichtung und lokale Administration erfolgt künftig ausschließlich über ILOM. Der im Rack freigewordene Platz kann verwendet werden, um einen kundeneigenen Ethernet Switch zur Einbindung der Maschine in das Kundennetzwerk einzubauen.

5. Technische Daten

Von der Exadata Database Machine X3-2 gibt es vier verschiedene Ausbaustufen, die sich in der Zusammenstellung der oben beschriebenen Komponenten unterscheiden:
  • Eighth Rack, bestehend aus 2 Datenbank Servern, 3 Storage Servern und 2 InfiniBand Switches. Die neu hinzugekommene Variante der Exadata stellt das Einstiegsmodell dar. Die Ausstattung der Maschine ist mit dem Quarter Rack identisch, lediglich die Hälfte der Ressourcen (Cores, Flash Karten, Festplatten) sind abgeschaltet. Bei Bedarf können die freien Ressourcen über eine Programm freigeschaltet werden.
  • Quarter Rack, bestehend aus 2 Datenbank Servern, 3 Storage Servern und 2 InfiniBand Switches
  • Half Rack, bestehend aus 4 Datenbank Servern, 7 Storage Servern und 3 InfiniBand Switches
  • Full Rack, bestehend aus 8 Datenbank Servern, 14 Storage Servern und 3 InfiniBand Switches
Die Exadata Database Machine X3-2 unterstützt bedarfsgerechtes Wachstum, das heisst, ein Kunde braucht nicht mit dem Maximalausbau der Maschine zu beginnen. Es werden Upgrades angeboten, mit denen eine Maschine auf die nächste Größe aufgerüstet werden kann. Zudem ist es möglich, eine Exadata nur teilweise zu lizenzieren, also zum Beispiel bei einem Half Rack lediglich 5 Storage Server und 3 Datenbank Server zu betreiben und die restlichen Server erst bei entsprechendem Wachstum zu aktivieren.

Zum Abschluss sind in der folgenden Tabelle die Kenndaten der verschiedenen Modelle der Exadata Database Machine X3-2 in Bezug auf Kapazität und Durchsatz aufgelistet.

X3-2 Full X3-2 Half X3-2 Quarter X3-2 EighthNeu!
Abbildung
Für eine größere Ansicht
auf das Bild klicken,
zurück zum Artikel mit dem
Back-Button des Browser!

Für eine größere Ansicht
auf das Bild klicken,
zurück zum Artikel mit dem
Back-Button des Browser!

Für eine größere Ansicht
auf das Bild klicken,
zurück zum Artikel mit dem
Back-Button des Browser!

Für eine größere Ansicht
auf das Bild klicken,
zurück zum Artikel mit dem
Back-Button des Browser!
Database Server 8 4 2 2
Database Grid CPU CoresNeu! 128 64 32 16
Database Grid MemoryNeu! 1024GB (max. 2048GB) 512GB (max. 1024GB) 256GB (max. 512GB) 256GB (max. 512GB)
InfiniBand Switches 3 2 2 2
Ethernet Switch 1 1 1 1
Storage Server 14 7 3 3
Storage Grid CPU Cores 168 84 36 36
Flash KapazitätNeu! 22,4TB 11,2TB 4,8TB 2,4TB
Gesamt Storage
Kapazität
High Performance
High Capacity
100TB
504TB
50TB
252TB
21,6TB
108TB
10,8TB
54TB
Nutzbare Kapazität
gespiegelt
High Performance
High Capacity
45TB
224TB
22,5TB
112TB
9,5TB
48TB
4,5TB
23TB
Nutzbare Kapazität
dreifach gespiegelt
High Performance
High Capacity
30TB
150TB
15TB
75TB
6,5TB
32TB
3TB
16TB
Bandbreite
Festplatten
High Performance
High Capacity
25GB/s
18GB/s
12,5GB/s
9GB/s
5,4GB/s
4GB/s
2,7GB/s
2GB/s
Bandbreite
Flash
High Performance
High Capacity
100GB/s
93GB/s
50GB/s
46,5GB/s
21,5GB/s
20GB/s
10,7GB/s
10GB/s
Disk
IOPS
High Performance
High Capacity
50.000
28.000
25.000
14.000
10.800
6.000
5.400
3.000
Flash read IOPS 1.500.000 750.000 375.000 187.000
Flash write IOPSNeu! 1.000.000 500.000 250.000 125.000
Daten Laderate 16TB/Std 8TB/Std 4TB/Std 2TB/Std


Weitere Details finden Sie unter: Erfahren Sie mehr zu diesem und anderen Themen in den folgenden Ausgaben der Exadata Community!

Zurück zur Community-Seite