Category Archives: Xen

Ubuntu 12.04 auf GPT “debootstrappen”

Ein neuer Hetzner-Server – der wieder dank Xen fast 30 Linux-Instanzen aufnehmen wird – machte es erstmalig erforderlich, ein Linux remote auf einer großen Platte (größer als 2TB) zu installieren. Statt dem im Büronetz eingesetzten PXE-Netinstaller musste hier “debootstrap” zum Einsatz kommen – und es klappte fast auf Anhieb. Grund für die Neuinstallation war – mal wieder – der Wunsch, ein eigenes Partitionslayout vergeben zu können, eine Flexbilität, die Hetzner natürlich für das Standardimage nicht bieten kann. Ich entschied mich daher dafür, den Server mit aktiviertem Rettungssystem zu übernehmen. Das ist bei Hetzner Debian basiert, so dass “debootstrap” in Ubuntus Version mit wenigen Handgriffen installiert werden kann. Der einzige Haken: Festplatten über zwei Terabyte erfordern entweder eine GUID Partition Table (“GPT”) oder eben, dass man damit lebt, dass rund ein Drittel der Plattenkapazität nicht erhältlich ist. Ich entschied mich für ersteres. Continue reading →

USB-Geräte im Netz durchreichen

Für einen Kunden arbeite ich gerade an einem Thin-Client-Netzwerk: Dünne, unter Linux laufende Clients sollen per RDP-Client auf Windows-7-Pro-Instanzen zugreifen, die gesammelt auf einem Xen-Host ausgeführt werden. Für die Nicht-Verwendung von Windows Server 2008 mit Terminaldiensten gibt es den simplen Grund, dass einige der eingesetzten Anwendungen nicht in Terminalserverumgebungen lauffähig sind. Der Haken an der Geschichte: Es muss ein komfortabler Zugriff auf lokale USB-Geräte – Speichersticks, Chipkartenleser und ähnliches – möglich sein.

Wir haben daher zunächst mit USB-Servern fürs Netz experimentiert, derartige Geräte gibt es für netto 30 Euro (Ein-Port-Versionen mit unbekanntem chinesischen Hersteller, z.B. bei Conrad) bis 300 Euro (zwei oder vier Ports, Hutschienenmontage, Industriequalität, PoE, z.B. bei WuT). Mir gefiel aber nicht, neben dem Thinclient ein weiteres Gerät mit eigenem Netzteil (günstige Geräte können kein PoE) am Arbeitsplatz zu haben und habe daher nach Softwarelösungen für Linux gesucht. Gestoßen bin ich zunächst auf die kommerzielle Software USB Redirector, die jedoch für unser Szenario mit 75 oder 89US$ je Arbeitsplatz zu Buche schlagen würde. Gelandet bin ich schließlich beim freien Projekt USBIP, das jedoch nicht ganz trivial zur Zusammenarbeit zu bewegen ist. Geschafft habe ich es dennoch, Testsystem ist ein Ubuntu 12.04, die im nachfolgenden Text beschriebenen Schritte dürften so auch auf andere Systeme mit Kernel 3.1 oder höher anzuwenden sein. Als Client habe ich bislang nur Windows probiert über meine Erfahrungen mit Linux werde ich ggf. später berichten.
Continue reading →

Windows 7 oder Server 2008 als Xen domU (HVM)

Mit der besseren Integration von Xen in die aktuelle LTS Version von Ubuntu bietet es sich an, als Virtualisierungslösung auf den freien Xen zu setzen, wenn es darum geht, einen Windows TS (Terminal Services) oder RDS (Remote Desktop Services) Server im kleinen SOHO Netzwerk zu virtualisieren. Dieser Workshop setzt einen funktionierenden Xen-Host voraus, d.h. eine paravirtualisierte domU konnte bereits erfolgreich gestartet werden. Continue reading →

Ubuntu 12.04 LTS als Xen Dom0 einrichten

Bislang habe ich Ubuntu immer mit den Vanilla-Sourcen von Xen eingerichtet, einfach weil der Support für Dom0 (priviligierte Domain) teils fehlte, teils veraltet und instabil war. 12.04 ist die erste LTS-Version, die sich zufriedenstellend “out of the box” als Domain 0 einrichten lässt. Mit verantwortlich ist, dass sich Kernel ab Version 3.0 auf dem Hypervisor Xen starten lassen, gepatchte spezielle Kernel sind heute überflüssig. Die Einrichtung ist recht geradlinig, lediglich einige Kleinigkeiten sind zu beachten.

Weniger geradlinig ist noch immer der Betrieb: Der Einsatz von HVM-Gästen benötigt VME- bzw. SVM-Erweiterungen des Prozessors (in billigen PCs hart per BIOS deaktiviert) und einige Grafikkarten mit KMS bereiten Ärger, genauso wie die proprietären Grafiktreiber von AMD und nVidia. Um schnell ein Demo-Virtualisierungssystem einzurichten, taugt Xen nicht (dafür sind VMware Player oder VirtualBox viel besser geeignet). Wer dagegen extrem flexible Servervirtualisierung mit geringem Overhead und hoher Flexibilität sucht, wird mit Xen jedoch fündig. Continue reading →

Frischer LessLinux-Build zum Wochenende

So, in den letzten Tagen entstand wieder ein frischer LessLinux Development-Build. Neu sind vor allem die Funktion, dass das ISO-Image nicht nur dank ISOhybrid auch auf einem USB-Stick eingesetzt werden kann, sondern dieser beim Start gleich wieder mit einem FAT-Dateisystem versehen wird. Neu ist auch ein pvops-tauglicher Kernel und einige kleinere Änderungen an den Bootscripten, womit sich LessLinux nun als Xen domU booten lässt.

Einige weitere Modifikationen wie Bootsplash mit fbsplash, die demnächst in einem kommerziellen Derivat sichtbar sein werden, sind noch nicht aktiv. Hier geht’s lang zum Blogpost:

http://blog.lesslinux.org/fresh-development-build-isohybrid-conversion-and-boot-on-xen/

Ubuntu 10.04 als DomU (Xen) “debootstrappen”

Nach vier Jahren ist es mal wieder Zeit für ein kleines Tutorial zur Installation von Ubuntu-domUs via debootstrap. Dank Aufnahme der pvops-DomU in den Vanilla-Kernel bringt Ubuntu einen Kernel mit, der lediglich kleine Anpassungen am Initramfs benötigt, um sauber auf einem aktuellen Xen 4.0 zu starten.

Installation von Debootstrap

Zuerst muss debootstrap vorhanden sein, am einfachsten natürlich mit apt-get install debootstrap. Unter Ubuntu kann mit debootstrap auch die Folgeversion installiert werden. Debian-User können das Ubuntu-Debootstrap direkt von http://archive.ubuntu.com/ubuntu/pool/main/d/debootstrap/ herunterladen und mit dpkg -i installieren. Nutzer von RPM-Distributionen sollten ein Konvertierungstool installieren oder Debootstrap direkt aus dem .tar.gz installieren.

Vorbereitung eines Images

Für Xen DomUs haben Sie die Möglichkeit, physikalische Festplatten oder deren Partitionen zu nutzen oder Festplattenimages zu verwenden. Bei den Images wiederum gibt es zwei Möglichkeiten: Tap-Disks, die wachsen können und beispielsweise VMware VMDK-Format unterstützen oder “Plain-Images”, die als Loopback-Device gemountet werden können. Ich empfehle bei Testkonfigurationen grundsätzlich und bei Produktivsystemen für die Systempartitionen Images von Partitionen. Die Gründe: Continue reading →

Installation von Xen 4.0.1 mit pvops-Dom0 auf Ubuntu 10.04

Xen 4.0 hat einige interessante Features eingeführt. Am Auffälligsten dürfte die Umstellung des vom Xen-Projekt gepflegten Dom0-Kernels auf “pvops” sein. Es handelt sich dabei um eine Technologie, mithilfe derer ein Kernel erkennt, ob er auf “nacktem Metall” (“bare metal” = direkt auf Hardware) oder auf dem Xen-Hypervisor läuft. Für unpriviligierte Domains (domU) ist dieses Feature bereits seit geraumer Zeit im Linux-Kernel enthalten, für dom0s is es neu und muss über den Kernel des Xen-Projektes installiert werden.

Ich habe einmal testweise ein Setup auf einer AMD64-Maschine erstellt, auf 32-Bit-Systemen sind lediglich einige Kleinigkeiten anders: Der Kernel muss PAE-Support haben und es muss zwingend ein Prozessortyp ausgewählt werden, der über Virtualisierungserweiterungen verfügt. Da heutzutage kaum Rechner als Xen-Host zum Einsatz kommen dürften, die nicht 64-Bit-tauglich sind, sollte sich die Frage nach pvops-Dom0s auf 32-Bit-Hardware kaum stellen. Continue reading →

Randnotizen, 13. April 2010

Und mal wieder Randnotizen — Links der letzten acht Tage mit einigen Anmerkungen:

  • Wie stark suckt Flash? Es gibt eine Beta der 10.1 für Linux, Hardwarebeschleunigung inbegriffen, News bei LinuxForDevices.com.

    Ich konnte mich nie wirklich mit Flash unter Linux, BSD oder MacOS X anfreunden und werde es wahrscheinlich nie wirklich können. Auf meinem 64 Bit Desktop läuft Flash im Plugin-Wrapper und schmiert zweimal am Tag ab. Ich bin damit die meiste Zeit ohne Flash unterwegs und vermisse es nicht wirklich. Nur wenn ich gerade Flash für ein kleines Video brauche, ist es nicht da. Ich hoffe, dass HTML5-Video bald soweit verbreitet ist, dass man auch für die Freizeit kein Flash-Plugin mehr braucht.

  • Endlich kostenlose Navigation auf dem Nokia E71 Nokia reagiert auf protestierende Nutzer: News bei engadget.com.

    Dass Nokia seine kostenlose Navigation beim Start nur für eine Hand voll Geräte anbot, fand ich ärgerlich. Sollte ich ein ein Jahr altes E71 wegwerfen und ein mir ein E72 kaufen, um in den Genuß der Navigationslösung zu kommen? Der Protest der letzten Monate hat gewirkt: Nokia bietet die kostenlose Ovi Maps Version 3.0.3 nun auch für E66 und E71.

  • Mein YaCY-Host läuft wieder! Ich mache wieder bei der freien Suchmaschine mit und helfe, mich und andere von Google abzunabeln.

    Auf dem Büroserver läuft nun eine Xen-Instanz mit 1,25GB RAM und 30GB Platte. 25GB Plattenplatz und 1GB RAM darf sich Yacy nehmen, dafür habe ich die CPU-Zyklen etwas beschränkt und stelle nur einen Prozessorkern bereit. Cool: Wenn man die Proxy-Indexierungstiefe auf 1 setzt und hin und wieder doch zu Google greifen muss, indexiert Yacy die auf den gelesenen Google-Ergebnisseiten verlinkten Seiten.

    Nachtrag: Hier gibt es einen älteren Artikel von mir zu Einrichtung und Funktionsweise von YaCY.

  • Xen 4.0 erschienen: Neue Version des Hypervisors, News bei Golem.

    Wenn ich die Nachricht richtig deute, läuft Kernel 2.6.31 dann mit pv_ops auf Xen (der Kernel erkennt, ob er auf Xen oder direkt auf der Hardware läuft), wenn ein Prozessor mit Intels oder AMDs Virtualisierungserweiterungen gefunden wird. Damit ist der Einsatz neuer Xen-Versionen auf vielen Maschinen die älter als zwei Jahre sind, in weite Ferne gerückt. Immerhin: Da pv_ops ein fester Bestandteil des Kernels ist/wird, hat das manuelle Patchen des dom0-Kernels bald ein Ende. Ich hoffe, dass Xen damit eine Zukunft im SMB-Bereich und nicht nur im Rechenzentrum hat, denn KVM hat mit PCI Passthrough u.ä. in letzter Zeit mächtig aufgeholt.

  • Einsteiger-Smartphones von Nokia C3, C6 und E5, News bei Golem, News bei Engadget und News bei Infosync.

    Immer noch kein Symbian^3, stattdessen das neu gelabelte Symbian^1 (TOFKAS605TH = The OS Formerly Known As Series 60 5th Edition), nett und meine Erfahrungen mit E71 und 5230 zeigen, dass Nokia durchaus brauchbare Geräte mit langen Standby-Zeiten und schneller Navigation bauen kann, auch die Preise sind moderat und die Tastatur des E5 hoffentlich so gut wie beim E71, aaaaaber von einem Gerät wie dem C6 hätte ich langsam das neue Touchscreen-Symbian erwartet.

Xen-Nachtrag, Setup mit Routing

Mir ist aufgefallen, dass mein gestriges Setup mit Dummy-Adapter und Vergabe der ersten IP-Adresse des Netzes auf das Interface dummy0 nicht die optimale Konfiguration darstellt: Hier wird das alte Setup mit separatem Router 1:1 nachgebaut, was zur Folge hat, dass die drei Adressen für Broadcast, Netz und Gateway nicht für Produktivsysteme nutzbar sind. Das beschriebene Setup ist daher nur sinnvoll, wenn ein Server in zwei Stufen von bridged auf routed umgestellt werden soll.

Beim Neuaufsetzen eines Servers ist es besser, gleich eine PointToPoint-Lösung mit 255.255.255.255-Maske aufzusetzen. Damit können bei einer 29-Bit-Maske (255.255.255.248) acht statt fünf IP-Adressen genutzt werden — satte 60% mehr (bei vier, fünf, oder sechs Bit Masken fällt der Gewinn natürlich kleiner aus). Die Änderungen gegenüber dem Setup von gestern sind, dass dummy0 in der /etc/network/interfaces der dom0 entfällt. In der /etc/xen/xend-config.sxp wird das extern erreichbare Interface eingetragen (in der Regel eth0):

(network-script 'network-route netdev=eth0')
(vif-script     'vif-route netdev=eth0')

Die Netzwerkkonfiguration der domU bekommt nun die primäre IP-Adresse der dom0 als Gateway eingetragen, dazu das Schlüsselwort pointopoint (nur ein ‘t’!) und die “dichte” Netzmaske:

auto lo
iface lo inet loopback

auto eth0
iface eth0 inet static
        address 172.16.16.114
        netmask 255.255.255.255
        gateway 192.168.1.2
        pointopoint 192.168.1.2
        post-up ethtool -K eth0 tx off

Vielen Dank an…

  • Umstellung Debian Etch mit XEN 3 auf routed …die fleissigen Dokumentatoren im Hetzner-Wiki
  • …den Admin bei 1&1, dessen Default-Setup mit pointopoint auf der primären IP mich dazu anregte, hier nochmal nachzuforschen

Ein Tag mit Xen: Vanilla-Xen und -Kernel auf Ubuntu Karmic installieren

Bislang laufen alle unsere Dom0s entweder auf Ubuntu 8.04 oder openSUSE 11.1 oder 11.2. Für einen neuen alten Server wollte ich Ubuntu 9.10 als Basis nehmen, auch um im Mai leichter auf 10.04 wechseln zu können. Bei Ubuntu ist die Xen-Situation nicht besonders rosig: Laut halboffizieller Doku steht weder ein aktueller Xen, noch ein brauchbarer Kernel bereit. Immerhin ein Xend (der Verwaltungsdaemon) in Version 3.3. Erfahrungen seit 3.2 haben gezeigt, dass sich die Schnittstellen kaum noch ändern, so dass der 3.3er Daemon mit dem 3.4er Xen zusammen arbeiten sollte. Denkste.

Ziel waren zwei Server: Ein 64-Bit-System fürs Büro und ein 32-Bit-System für einen alten (AMD Athlon XP 2000, 512MB, 80GB) Hetzner Rootie (Presse-Testsystem). Beide Systeme wurden zunächst mit einem Ubuntu Minimalsystem ausgestattet. Bei Hetzner geschah dies aus dem Notfall-System per debootstrap (fertige OS-Images werden nur einmal am Tag aufgespielt, was stört, wenn man nach einer abgeschossenen Installation neu aufsetzen möchte) und der Server zuhause wurde per Debian-Installer per PXE-Netboot eingerichtet. Die zwei Möglichkeiten, einen Hetzner-Server mit Ubuntu oder Debian auszustatten — debootstrap und den Debian-Installer im SSH-Modus — erkläre ich bei Gelegenheit im Detail. Continue reading →

It just sucks: Xen und ein kaputter Rechner

Es kam wie es kommen musste: Kurz vor Ende des Urlaubs schmierte der Büroserver ab — ein alter Athlon XP 2000+ von ca. 2004, der in erster Linie als Datengrab dient, aber auch einige Xen-Domains für Testzwecke und den Festplattenvideorecorder beherbergt. Ein normales PC-System, das unter Ubuntu plus Xen lief, einzige Besonderheit eine Menge Xen-Domains für verschiedene Zwecke und ein paar durchgeschleifte PCI-Karten. An sich nichts Wildes, schließlich sind alle geschäftskritischen Daten mehrfach gesichert. Es sah also nach einer einfachen Sache aus: Hardware kaufen, auf der halblebigen alten Maschine einen frischen Kernel bauen, Mainboard (Sockel 775), Prozessor (billiger Zweikern-Pentium) und RAM tauschen, Reboot und gut.

Denkste…

Continue reading →

Durchgereicht: PCI passthrough bei Xen 3.2rc

Update, 17. Januar 2008: Xen 3.2 final wurde heute veröffentlicht. Golem berichtet darüber.

Ein großes Problem bei vielen Virtualisierungstechnologien ist die fehlende Möglichkeit, in einem Gastsystem “rohen” Zugriff auf einzelne Hardwarekomponenten zu erhalten. Zwar bieten VMware und andere das Durchreichen von USB-Geräten, doch das ist eine Lösung, die für physikalisch vom Netz des Wirts getrennte Firewalls oder RAID-Subsysteme nicht wirklich akzeptabel ist. Eine interessante Abhilfe bietet Xen, wo mit vertretbarem Aufwand Gäste direkten Zugriff auf PCI-Karten bekommen.

Continue reading →

Xen relabelled: Sun xVM

Nachdem Oracle bereits vor einigen Tagen seine Xen-Version vorgestellt hat, ist endlich Sun dran: Als xVM wird ein modifizierter (?) Xen-Hypervisor angeboten werden, der Solaris-Instanzen ausführen wird. Das Produkt passt hervorragend in Suns Angebotspalette: Wer Solaris virtualisieren wollte, musste bislang zur recht teuren Niagara-Architektur greifen — bei dieser gibt es einen massiv in Hardware unterstützten Hypervisor gratis dazu. Zu Einstiegspreisen ab ca. 3000€ netto bekommt man zwar gut auf I/O und Multithreading optimierte Hardware und die Möglichkeit dutzende Linux- und Solaris gleichzeitig zu starten, muss aber auf x86-Binärkompatibilität verzichten. Daneben bietet Sun mit den Solaris Zones eine Containerlösung, die ähnlich den BSD-Jails, Linux-VServer oder OpenVZ funktioniert — performant aber nicht ideal, es hilft auch nicht, dass man in eine Solaris-Zone dank Linux-ABI einen Linux-Container stecken kann: Es bleibt ein Solaris-Kernel mit allen Eigenheiten.

Bleibt zu hoffen, dass xVM nicht mit den langsam etablierten Xen-Schnittstellen bricht. Ich möchte in der Lage sein, auf einem normalen Xen eine openSOLARIS-Instanz auszuführen und umgekehrt unter xVM Linux-Instanzen mit xenifiziertem Distributionskernel. Dass ich viel Xen nutze, dürfte sich mittlerweile herumgesprochen haben. Ich durfte in der letzten Zeit so auch die Nachteile von Xen kennenlernen. Insbesondere Wünsche ich mir eine einfache Möglichkeit, leichtgewichtige Virtualisierung (aka Chroot-Erweiterungen) auf schwergewichtiger Virtualisierung (aka Xen) nutzen zu können — und so letztlich mehr aus der Hardware rauszuquetschen als mit Xen und dennoch deutlich flexibler zu sein als nur mit leichtgewichtiger Virtualisierung.

Scheint, dieser Traum könnte mit openSOLARIS-Zones auf Xen Wirklichkeit werden.

Xen-Unterstützung im Linux-Kernel 2.6.23

Endlich hat Xen Eingang in den Linux-Kernel gefunden. Bislang zwar nur als DomU, doch das ist schonmal ein guter Anfang: Dom0 ist bei den meisten Webservern, die Xen nutzen eh nur per SSH erreichbar, so dass das typische “Cracking-Szenario” — Shell-Exploit in einer Webanwendung und anschließender lokaler Root-Exploit kaum wahrscheinlich ist. Bei untervermieteten DomUs, deren Nutzer nicht gerade die sicherheitsbewußtesten sind, durfte man zwischen der Erkennung von Sicherheitslücken und der Verfügbarkeit gepatchter Kernel immer Tage bis Wochen bangen.

Noch habe ich 2.6.23 nicht getestet. Spannend bleibt insbesondere die Frage nach Aktualität und Xen-Kompatibilität: Zumindest in der Vergangenheit sind die Distributionskernel nicht immer durch 100%ige Kompatibilität zum Vanilla-Xen-Hypervisor aufgefallen. Bleibt zu hoffen, dass der Vanilla-Linux-Kernel zeitnah zum Original-Xen aktualisiert wird.

Siehe auch:

Und etwas Eigenwerbung:

Xen-Einführung online

Der WEKA-Verlag hat eine von mir für PC Magazin Linux  03/2006 geschriebene Einführung in die Xen zugrunde liegenden Konzepte online gestellt. Der Artikel behandelt neben der Theorie der mit unterschiedlichen Privilegien ausgestatteten Domains auch praktische Aspekte wie die Xenifizierung bereits auf Festplatte installierter Distributionen und zeigt Schritt für Schritt, mit welchen Anpassungen aus einem beliebigen Linux eine domU wird.

Ubuntu als DomU (Xen) “debootstrappen”

Hier geht es lang: Neue Version dieser Anleitung für Ubuntu 10.04 (Lucid Lynx) und folgende auf Xen 3.4 oder 4.0 (oder höher)

Dieser Text ist veraltet und dürfte nur noch für Softwarearchäologen sinnvoll sein:

Mit Version 6-06 LTS (Long Term Support) und der erstmals erhältlichen Variante für den Servereinsatz wird Ubuntu auch für Web- und Mailserver zu einer echten Alternative zu Debian, Suse und Redhat. Doch ein Feature fehlt: Unterstützung für Xen. Wie Sie schlanke Ubuntu-XenU-Domains einrichten, zeigt dieser Artikel. Continue reading →

Noch mehr Spaß mit Xen

Für alle, die Xen austesten wollen, habe ich zwei Demo-Images vorbereitet. Beim Ersten handelt es sich um ein frisch gebautes uClibc-Rootfilesystem, das nun mit GCC 4.0.3 und einer gegen die Header von Kernel 2.6.12 gebauten C-Bibliothek für den produktiven Einsatz taugt und trotzdem kompakt ist.

Das zweite ist openSUSE 10.1. Bei diesem ist SSH und XDMCP offen, es dient mehr zum Testen des Desktops und zum Angeben: wer einen schnellen Prozessor und genug RAM hat, kann auf jeder virtuellen Konsole den Desktop einer anderen Distribution laufen lassen.

Mehr Infos derzeit noch in meinem privaten Blog. Eine offizielle Ankündigungen und Torrents folgen.

Spaß mit Xen

Unser Hetzner-Rootserver hat gestern vier zusätzliche IP-Adressen erhalten und dazu die explizite Erlaubnis, einen eigenen MAC-Bereich zu verwenden. Damit steht der Verwendung von Xen auf dem Rootserver nichts mehr entgegen. Als priviligierte Domain 0 wird ein recht kompaktes Debian 3.1 zum Einsatz kommen, für die unpriviligierten Domains ist zunächst Opensuse 10.1 RCN, Ubuntu 6-06 Beta und ein selbst kompiliertes uClibcroot vorgesehen. Letzteres soll dazu dienen, zu testen ob eine Xen Instanz mit typischen Diensten und 64MB RAM “lebensfähig” ist.