Archive for the 'OpenSolaris' Category

Veränderungen !

So,

hat sich ein bisschen was getan in der letzten Zeit. ;)

Black is beautyfull. :D

Mein DL320s wurde nun endlich durch einen HP DL185 G5 Server ersetzt. Neben dem das dieser Server Solaris und OpenSolaris supported, ist er auch schwarz. ;) So wie alle neuen Systeme von HP. Macht sich meiner Meinung sehr gut zu meinem BladeSystem. ;)

hp_black_1

Silver is nice, too ! :D :D

Tja, was soll ich sagen, mein neuer “Desktop” ist silber und sehr leise. ;) Nach langen Tests hab ich mich nun dazu durchgerungen eine VDI Umgebung zu meinem Arbeitsplatz zu Hause zu machen. :) Ich bin restlos begeistert. Neben Oracle VDI und VirtualBox arbeite ich derzeit auch in einer VMware vCenter und View Umgebung und geniese voll und ganz den Komfort einer sehr flexiblen Desktop Umgebung. ;) Meinen PC werde ich nach der Datensicherung an meine Freundin übergeben. ;) Sowas brauche ich nicht mehr. :D

sun_ray_1

ADMIN Magazin 03/2010

Im aktuellen ADMIN Magazin 03/2010 (www.admin-magazin.de) gibt es einen Artikel zu OpenSolaris COMSTAR von mir. Viel Spaß beim lesen. :)

admin-magazin

NetApp clonen? ;)

Was tun wenn man 3 Stück Sun StorEdge 6020 Arrays (eigentlich 6 Stück. :D ) mit je 14 Stück 146 GB Fibre Channel Festplatten hat? Eigentlich klar, die Arrays konfigurieren und an das SAN klemmen. Tja, was ist aber wenn die installierten RAID Controller einfach nur grausam in der Bedienung sind, man maximal 2 Volumes pro Disk Array erstellen kann und die Geschwindigkeit mit ZFS einfach nur lausig ist?

Dumm in die Wäsche schauen? ;)

Ich habe versucht 4 Volumes (entspricht 2 Disk Arrays und 28 Platten) in diversen Konfigurationen (verschiedene Kombinationen aus Block Size, RAID-Level, etc.) passend für ZFS zu konfigurieren. Alle Ergebnisse waren ziemlich ernüchternd und der Weg dahin langwierig und schwierig.

Keine Lust mehr….

Die neue Idee war fix geboren. Ein StorEdge 6020/6120 kann auch zum Expansion Disk Array umgebaut werden, d.h. Controller ausbauen. Das riecht doch offensichtlich nach FC-AL. Für viel Geld hab ich mir also spezielle Kabel für die HSSDC2 Anschlüsse besorgt. Doch alle Versuche das 6020 als JBOD zu nutzen sind kläglich gescheitert.

Frust macht sich breit. :-/

Lange Zeit passierte nichts mehr und es schwirrte lediglich die Idee in meinem Kopf, die 42 Platten irgendwie in ein EMC CLARiiON CXx00 zu stecken. Nur ohne aktuelle Flares schwierige Sache. Hinzu kommt die Unsicherheit ob eine EMC CLARiiON die Platten überhaupt erkennt. Meine HP EVA tut es jedenfalls nicht so recht. Sie erkennte zwar die Platten, aber verweigert dessen Nutzung! Wieder einmal keimte der Gedanke JBOD auf. Aber woher ein JBOD nehmen? Fibre Channel JBODs sind halt alles andere als gängig. Was tun?

Ins kalte Wasser springen? ;)

Nach einigen Überlegungen und Recherchen sagte mir mein Bauch, NetApp macht doch eigentlich auch nichts anderes, als das was ich im Sinn habe? Die haben schlaue Software in ihren Filer Köpfen und brauchen doch eigentlich nur dumme JBODs mit vielen schnellen Platten, oder? Nachdem ich auch noch Verkabelungspläne für einen NetApp FAS3050 entdeckte, war ich mir immer sicherer, dass das NetApp DS14 mk2 Disk Enclosure ein dummes FC-AL JBOD sein muss. Lediglich die IO Module auf der Rückseite bereiteten mir kurzfristig Bauchschmerzen. Nach einigem hin und her entschloß ich mich für das sog. ESH2 Modul. Wie ich finde, eine gute Entscheidung. ;)

DSC03277

Aus UK habe ich mir dann für einen fairen Preis ein NetApp DS14 mk2 Disk Enclosure mit 2 Stück ESH2 Modulen besorgt. Frisch angekommen, habe ich das Enclosure mit 14 Platten aus einer meiner 6020 Arrays bestückt. In die Sun Fire X4100 hab ich einen Emulex FC HBA installiert und diesen direkt mit dem IO Modul verbunden. Das Ergebnis sieht so aus:

locadm@ius002:~$ pfexec luxadm probe
Found Fibre Channel device(s):
Node WWN:500000e010731c30  Device Type:Disk device
Logical Path:/dev/rdsk/c0t500000E010731C30d0s2
Node WWN:2000000087014896  Device Type:Disk device
Logical Path:/dev/rdsk/c0t2000000087014896d0s2
Node WWN:500000e010730550  Device Type:Disk device
Logical Path:/dev/rdsk/c0t500000E010730550d0s2
Node WWN:2000000c509a551e  Device Type:Disk device
Logical Path:/dev/rdsk/c0t2000000C509A551Ed0s2
Node WWN:2000000c509a5621  Device Type:Disk device
Logical Path:/dev/rdsk/c0t2000000C509A5621d0s2
Node WWN:500000e0107325c0  Device Type:Disk device
Logical Path:/dev/rdsk/c0t500000E0107325C0d0s2
Node WWN:20000000871a4524  Device Type:Disk device
Logical Path:/dev/rdsk/c0t20000000871A4524d0s2
Node WWN:2000000c509a553f  Device Type:Disk device
Logical Path:/dev/rdsk/c0t2000000C509A553Fd0s2
Node WWN:500000e0107323e0  Device Type:Disk device
Logical Path:/dev/rdsk/c0t500000E0107323E0d0s2
Node WWN:2000000c509a4f64  Device Type:Disk device
Logical Path:/dev/rdsk/c0t2000000C509A4F64d0s2
Node WWN:500000e010730b90  Device Type:Disk device
Logical Path:/dev/rdsk/c0t500000E010730B90d0s2
Node WWN:20000000871ae23b  Device Type:Disk device
Logical Path:/dev/rdsk/c0t20000000871AE23Bd0s2
Node WWN:2000000c50860c5d  Device Type:Disk device
Logical Path:/dev/rdsk/c0t2000000C50860C5Dd0s2
Node WWN:500000e0107311b0  Device Type:Disk device
Logical Path:/dev/rdsk/c0t500000E0107311B0d0s2

Ein paar Tests belegen mir eine Schreibgeschwindigkeit von durchschnittlich 140 MByte/Sek. und eine Lesegeschwindigkeit von 210 MByte/Sek. Cool ! Es wird Zeit für 3 weitere NetApp DS14 mk2 Disk Enclosures. ;) Die neue Idee ist geboren und schimpft sich:

“NoNapp Data ONZFS”

:D :D :D

Alles weitere demnächst hier in diesem Kino. ;)

Sun Fire X4100 wiederbelebt

Nachdem ich ja gestern einen Tag voller Pleiten, Pech und Pannen durchlitten habe, sieht es heute schon wieder deutlich sonniger aus. ;) Ein Highlight des Tages ist, dass ich das Problem der Sun Fire X4100 lokalisieren und beheben könnte. Nachdem ich die Batterie und alle DIMM Bausteine aus- und wieder eingebaut hatte, leuchtete doch endlich mal die Warn LED an der Front auf. Hurra, ein Lebenszeichen!!! Dem ILOM Log nach handelt es sich um zwei defekte DIMM Riegel, die ich unverzüglich ausgewechselt habe. Danach sprang Kiste auch an, als wäre nichts gewesen. :)

OpenSolaris ist natürlich installiert, ein rpool Mirror zur Sicherheit und der Local Repository Server eingerichtet. Endlich kann es weiter gehen. ;)

locadm@ius002:~# uname -a
SunOS ius002 5.11 snv_111b i86pc i386 i86pc
locadm@ius002:~# prtdiag -v
System Configuration: Sun Microsystems Sun Fire X4100 Server
BIOS Configuration: American Megatrends Inc. 080010  08/01/2006
BMC Configuration: IPMI 2.0 (KCS: Keyboard Controller Style)

==== Processor Sockets ====================================

Version                          Location Tag
-------------------------------- --------------------------
Dual Core AMD Opteron(tm) Processor 285 H0
Dual Core AMD Opteron(tm) Processor 285 H1
Dual Core AMD Opteron(tm) Processor 285 H2
Dual Core AMD Opteron(tm) Processor 285 H3

==== Memory Device Sockets ================================

Type        Status Set Device Locator      Bank Locator
----------- ------ --- ------------------- ----------------
DDR         in use 0   H0_DIMM0            BANK0
DDR         in use 0   H0_DIMM1            BANK1
DDR         in use 0   H0_DIMM2            BANK2
DDR         in use 0   H0_DIMM3            BANK3
DDR         in use 0   H1_DIMM0            BANK4
DDR         in use 0   H1_DIMM1            BANK5
unknown     empty  0   H1_DIMM2            BANK6
unknown     empty  0   H1_DIMM3            BANK7

==== On-Board Devices =====================================
 LSI serial-ATA #1
 Gigabit Ethernet #1
 Gigabit Ethernet #2
 ATI Rage XL VGA

==== Upgradeable Slots ====================================

ID  Status    Type             Description
--- --------- ---------------- ----------------------------
0   in use    PCI-X            PCIX SLOT0
1   available PCI-X            PCIX SLOT1
2   available PCI-X            PCIX SLOT2
3   available PCI-X            PCIX SLOT3
4   available PCI-X            PCIX SLOT4
locadm@ius002:~#

HP ProLiant BL20p G3 + OpenSolaris 2009.06

… oder soll ich schreiben OpenSolaris 2009.06 + Broadcom NetXtreme 57xx ? ;)

Einige Zeit bevor ich hier einen BL20p G3 Blade Server mit OpenSolaris betankte, hatte ich schon so meine Schwierigkeiten mit einem Asus P5MT-MX/C Mainboard und dessen on board Broadcom 5753 GBit LAN Adapter. Ich hatte das Problem allerdings gelöst und die Vorgehensweise erstmal aus meinem Kopf gestrichen. Ein schwerer Fehler wie sich heute herausstellte. ;)

Diese Woche beschloss ich auf meinen Blade Server OpenSolaris 2009.06 zu installieren. Gesagt getan. Nach erfolgreicher Installation habe ich ordnungsgemäß auf eine feste IP Adresse umgestellt (demnächst nachzulesen auf meinem Wiki) und meinen DNS Server entsprechend konfiguriert. Zeit für einen Reboot. In Vorfreude auf die OpenSolaris Installation, denn mit Linux und Windows hab ich es nicht so, wollte ich mich mit SSH verbinden.

Ergebnis: “connection refused”

Fuck !

Nach einiger Zeit war dann doch eine SSH Verbindung möglich, aber für gerade mal 10 Sekunden. Danach wieder “connection refused”… Ich hatte keinen Bock mehr, war ja auch schon halb eins Nacht. ;)

*PAUSE*

Heute habe ich mich dem Problem “connection refused” wieder angenommen. Nach einigen Versuchen und Umbauten wurde ich dann in meiner Vermutung, dass es eigentlich nur noch ein Treiber Problem sein kann, immer mehr bestätigt. Im Gespräch mit ein paar Leuten schoß mir dann aus dem Nichts heraus der Gedanke “Mensch war da nicht was mit dem Asus Board und dem bge Treiber?” durch denn Kopf. Die Lösung war zum greifen nah. ;)

# pkg uninstall SUNWbge
# cd /tmp
# wget http://www.tschokko.de/sol86-11.7.2.zip
# unzip sol86<TAB>
# cd sol86<TAB>
# pkgadd -d ./BRCMbcme.pkg
# mv /etc/hostname.bge0 /etc/hostname.bcme0
# reboot

Das war’s… ;)

Offensichtlich hat der OpenSolaris bge Treiber ein paar Probleme mit Broadcom Adaptern. Darum hab ich diesen Treiber deinstalliert und den Solaris 10 x86/x64 Treiber von Broadcom installiert. Nun rennt OpenSolaris ohne Probleme auf meinem BL20p G3 Server… :) Wie man den HP/Compaq SmartArray Raid Treiber  (cpgary3) zum Installationszeitpunkt unter OpenSolaris einbindet, erzähle ich euch demnächst. ;)

Solaris Jumpstart Server auf OpenSolaris 2009.06

Da im Moment OpenSolaris 2009 auf meiner Sun Fire 3800 nicht booten will, hab ich mich dazu entschlossen fix Solaris 10 U7 aufzuspielen. Logischerweise macht man das über einen Jumpstart Server, sofern kein DVD-ROM vorhanden ist. Leider ist der Jumpstart Server nicht so ohne weiteres auf einer OpenSolaris 2009.06 Maschine eingerichtet. Also musste wie so oft Freund Google herhalten und die zwei wesentlichen Probleme möchte ich hier natürlich verewiegen.

Problem 1: Kein Bootparams Daemon (RARP)

Entgegen der Empfehlung die Pakete SUNWbsu und SUNWbsr zu installieren, genügt ein:

# pkg install SUNWbs

Problem 2: Timed out waiting for TFTP reply

Der TFTP Daemon unter OpenSolaris 2009.06 muss wie folgt angepasst werden:

# echo tftp dgram udp6 wait root /usr/sbin/in.tftpd in.tftpd -s /tftpboot >> /etc/inetd.conf
# inetconv

ggf. noch ein:

# svcadm restart svc:/network/tftp/udp6:default

Joa und das wars eigentlich schon. Der Rest ist wie gehabt. ;) Im Schnelldurchlauf heißt das:

./setup_install_server /export/installserver/sol-10-xx
echo 08:00:20:e9:3a:fc ius0013 >> /etc/ethers
echo 192.168.209.13 ius0013 >> /etc/hosts
./add_install_client ius0013 sun4u

OpenSolaris Local Repository Mirror

Quelle: http://blogs.sun.com/observatory/entry/local_repository_mirror

In my previous entry I wrote about creating a portable version of the repository using a USB stick. That option is great for taking the repository on the road and even sharing it with folks at conferences where the Internet connection usually sucks.

However, a more practical use of this repository image to many of you may be setting up a local mirror. In this situation, you get the best of both words – fast access to the repository with continued access to updates as they become available.

Setting Up the Local Repository

If you haven’t already, download the ISO image of the repository (about 7 GB). After the download completes, mount the ISO:

pfexec mount -F hsfs `pfexec lofiadm -a ~/Download/osol-repo-0906-full.iso` /mnt

In order for the mount to persist across reboots, we’ll move it to a new file system, which we first need to create:

pfexec zfs create -o compression=on rpool/repo

Then copy the repository to the file system (this will take a little over an hour to complete):

bleonard@opensolaris:~$ pfexec rsync -aP /mnt/repo /rpool/repo
...
repo/updatelog/2009071315
       67506 100%  150.17kB/s    0:00:00 (xfer#304859, to-check=1/609926)
repo/updatelog/2009071316
       24956 100%   55.26kB/s    0:00:00 (xfer#304860, to-check=0/609926)

sent 6669164656 bytes  received 8537336 bytes  1368521.77 bytes/sec
total size is 6630966532  speedup is 0.99

Configure the package server to use the local repository:

svccfg -s application/pkg/server pkg/inst_rool=/rpool/repo/repo
(Korrektur: svccfg -s application/pkg/server setprop pkg/inst_root=/rpool/repo/repo )
svccfg -s application/pkg/server setprop pkg/readonly=true

Edit the repo/cfg_cache file, changing the origins property from http://pkg.opensolaris.org/release to http://<domainname>, where <domainname> is network accessible. For example:

origins = http://opensolaris

You can also choose a port number different from the default of 80, which I did because I’m running apache on port 80:

svccfg -s application/pkg/server setprop pkg/port=81

Then refresh the package server service to pick up the configuration changes and start it:

svcadm refresh application/pkg/server
svcadm enable application/pkg/server

Accessing the Local Repository

Now all those wishing to use the local package server simply need to make the following change:

pfexec pkg set-publisher -m http://opensolaris:81 opensolaris.org

Which will result in the following:

bleonard@opensolaris:~$ pkg publisher
PUBLISHER                             TYPE     STATUS   URI
opensolaris.org          (preferred)  origin   online   http://pkg.opensolaris.org/release/
opensolaris.org          (preferred)  mirror   online   http://opensolaris:81/

If you only want to use the local repository, first remove the mirror:

pfexec pkg set-publisher -M opensolaris.org http://opensolaris:81

Then:

pfexec pkg set-publisher -O http://opensolaris:81 opensolaris.org

For more information see the README.

Sun Fire 3800 und StorEdge 6120

Nach langem Warten endlich wieder ein neuer Blog Eintrag. Heute war mir danach meine Sun Fire 3800 mal anzuwerfen um die kürzlich erworbenen Speicherriegel zu testen. In diesem Zug hab ich gleich ein Sun StorEdge 6120 dazu geklemmt. Von dem hübschen Ding soll unter anderem die Maschine booten. Ärgerlich ist lediglich das ich nur 1GBit/s FC HBAs in der Fire stecken habe, und das Array eigentlich 2GBit/s unterstützt. Na ja, irgendwann schnapp ich mir schon den 2GBit/s Compact PCI Emulex FC HBA. ;)

Beim Starten der Domain A ist beim Testen der Systemboards prompt ein defekter DIMM entdeckt worden (/N0/SB0/P3/B0/D1). Den habe ich natürlich gewechselt und die Tests sind erfolgreich durchgelaufen. Blöd ist nur das trotzdem die Reparatur LEDs leuchten. Hmmm…

In wenigen Minuten sollte meine OpenSolaris 2009.06 Repository DVD geladen sein, danach werde ich einen Local Repository Server einrichten und meine Sun Fire 3800 mit OpenSolaris betanken. :) Mal schauen ob ich das heute noch schaffe. ;)

Der Banner darf natürlich nicht fehlen:

Sun Fire 3800
OpenFirmware version 5.20.12 (01/16/09 07:08)
Copyright 2009 Sun Microsystems, Inc.  All rights reserved.
Use is subject to license terms.
SmartFirmware, Copyright (C) 1996-2001.  All rights reserved.
9216 MB memory installed, Serial #15284988.
Ethernet address 8:0:20:e9:3a:fc, Host ID: 80e93afc.

Sun Fire 3800 und StorEdge 6210 Array

Neues von der Storage Zicke

Vor einiger Zeit hab ich schon im Twitter von meiner Storage Zicke berichtet. Heute nun die ersten Informationen dazu in meinem Blog.

Bei der Storage Zicke handelt es sich um eine Sun StorEgde 6120 Array, auch bekannt unter dem Synonym T4 und damit dem Nachfolger der Sun StorEgde T3/T3+ Systeme. Seit einiger Zeit tummeln sich 3 von 6 Arrays, ausgestattet mit je 14 Stücke 146 GB 10k FC Festplatten, in meinem Keller. Verglichen zu meiner HP EVA 5000 sind die Geräte alles andere als intuitiv und flexibel, aber die riesige Menge an Platten macht den Einsatz in meinem Keller dennoch attraktiv.

Aktuell habe ich zwei Arrays zu einer Partner Group zusammengefasst, d.h. Master und Alternate Master Controller. Die Firmware ist auf den letzten Stand 3.2.7 geflashed und die zwei LWL Kabel klemmen direkt an einem Dual Port Fibre Channel HBA in einem HP ProLiant DL380 G4. Auf dem 6120 System hab ich ingesamt 4 LUNs gebildet. Jede LUN entspricht einem RAID-5 Volume bestehend aus 6 Platten + Hotspare. Alle 4 LUNs sind auf dem HP Server unter OpenSolaris 2009.06 zu einem ZFS RAID-Z zusammengefasst. Ergibt recht ausfallsichere 2,64 TB Kapazität.  Mit aktiviertierter Komprimierung erreiche ich z.B. mit Bonnie++ recht imposante Ergebnisse. :)

locadm@ius0009:~# zpool status -v
 pool: pool0
 state: ONLINE
 scrub: none requested
config:

 NAME                                       STATE     READ WRITE CKSUM
 pool0                                      ONLINE       0     0     0
   raidz1                                   ONLINE       0     0     0
     c0t60003BA4E89880004A6C598500010163d0  ONLINE       0     0     0
     c0t60003BA4E89880004A68C2B70007FB7Bd0  ONLINE       0     0     0
     c0t60003BA4E89880004A67867D000100CDd0  ONLINE       0     0     0
     c0t60003BA4E89880004A678660000F380Fd0  ONLINE       0     0     0

locadm@ius0009:~# zpool list
NAME    SIZE   USED  AVAIL    CAP  HEALTH  ALTROOT
pool0  2.64T   554K  2.64T     0%  ONLINE  -
rpool  33.8G  5.47G  28.3G    16%  ONLINE  -

locadm@ius0009:~/src/bonnie++-1.03d# ./bonnie++ -d /scratch/ -s 8192m -u root
Using uid:0, gid:0.
Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version 1.03d       ------Sequential Output------ --Sequential Input- --Random-
 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
ius0009          8G 123144  75 218942  61 134630  54 99725  84 299677  46  8059  44
 ------Sequential Create------ --------Random Create--------
 -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
 files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
 16 13398  99 +++++ +++ 22955  99 14016  99 +++++ +++ 23678  99

Als nächstes Schritt werde ich mittels OpenSolaris COMSTAR über einen zweiten FC HBA bedarfsgerecht LUNs in meiner Fabric präsentieren. ;) Daneben hole ich rasch die drei verbleibenden Arrays und vor allem ausreichend HSSDC2 Kabel ab, damit ich die Partner Group um zwei sog. Expansion Arrays erweitern kann. Danach sollte ich doch hier und da über 500 MB/s. sehen. :)

Zum Abschluß noch ein kleines Bildchen:

DSC02759_sun6120