オープンギャラリー：Xen 3.0.2(OpenSolaris編)

Xen 3.0.2(OpenSolaris編)

2006年4月13日にXen 3.0.2が正式リリースされました。
Xen 3.0.2の特徴は初めてLinux Kernel 2.6.16ベースのXenカーネルが採用されたことです。

さて、OpenSolarisのXenコミュニティではXen 3.0.2のOpenSolaris対応版を2006年8月に何とかリリースしました。
このXen 3.0.2のOpenSolaris対応版はHVM(完全仮想化)等は未サポートという制限もありまだ「不完全」と自己アナウンスされています。

OpenSolaris版Xenのメインサイトは http://www.opensolaris.org/os/community/xen/How-To-8-15-06/ です。
このサイトにOpenSolaris版Xenの導入と実行に関する情報が集約されています。

OpenSolaris版Xen 3.0.2が前提とするドメイン0のOSはSolaris Express Community Release build 44(Nevada 44)となっています。
サポートされるドメインU(ゲストOS)はOpenSolaris, Linux, FreeBSDの3種類です。
OpenSolaris版Xen 3.0.2において「32ビット版PAEモードは未サポート」という制限事項については特に注意が必要です。
これは32ビットのOpenSolaris版Xen自体がnon-PAEモードでのみ動作するためです。
したがって32ビットLinuxをドメインUで実行させる場合は、
XenSourceのサイトで公開されている32ビット版non-PAEのXen 3.0.2カーネルを使用しなければなりません。
※32ビット版PAEカーネルは起動自体ができません(「PAE-kernel on non-PAE host」というエラーとなります)。

ドメインUでLinuxを実行させる場合にもう一つ注意しなければならないことがあります。
それはOpenSolaris版Xenのリリースノートにも記載されていますがLinuxでネットワークを使用する場合はLinuxブートのたびに
Linux側で「ethtool -K eth0 tx off」を実行しておかなければならないという点です。
これを実行しておかないとドメイン0の物理ネットワーク上にあるマシンとドメインU(Linux)とのネットワーク接続に支障が出ます(ドメインU側からDNSを引けない等)。
尚、ethtoolが標準でインストールされないディストリビューション(Vine Linux 4等)ではethtoolを追加インストールしておく必要があります。

また、 http://www.opensolaris.org/os/community/xen/How-To-8-15-06/install/AugDomUs/ には
その場で即使用できるドメインU仮想ディスクイメージファイル情報が公開されています。
例えば、ドメインUでOpenSolarisを動作させるために必要なファイル(snv44-domu.tar.bz2)の取得方法や使用方法も詳しく紹介されています。
特にsnv44-domu.tar.bz2については仮想ディスクだけではなくドメインU構成ファイルも付いていますので所定のディレクトリで展開すると手直しすることなく利用できます。

ここではOpenSolaris版Xenの導入とドメインU(OpenSolaris, Linux)の実行手順について紹介します。

１．Solaris Express Community Release build 44のインストール

Solaris Express Community Release build 44(Nevada build44)の取得
Solaris Express Community ReleaseのサイトからSDM(Sun Download Manager)を使用して下記ファイルを取得します。
(1)sol-nv-b44-x86-dvd-iso-a
(2)sol-nv-b44-x86-dvd-iso-b
(3)sol-nv-b44-x86-dvd-iso-c
(4)sol-nv-b44-x86-dvd-iso-d
(5)sol-nv-b44-x86-dvd-iso-e
これらのファイルを結合させたsol-nv-b44-x86-dvd.isoファイル(約2.5GB、名称は任意)からインストールDVDを作成します。
インストールの開始
インストールDVDからブートしてGRUBでSolarisを選択してインストールを開始します。
最初のSelect a languageでJapanesesを選択します。
次にネットワーク設定を行います(ホスト名も指定します)。
あとはSolaris 10の場合とほぼ同様のインストール手順となります。
デスクトップ選択について
最初にrootでログインした際にデスクトップを選択する画面が表示されます。
好みに合わせて選択できますが今回はGnome 2.14 for OpenSolarisを選択しました。
デスクトップ
オフィススイートとしてはStarSuite 7が付属しています。
また日本語入力は標準のATOKで行えます。
VNCクライアントの導入(任意)
OpenSolarisにはVNCクライアントが付属していません。
ドメインUのGUI操作にXnestが使用できますがVNCクライアントもあると便利なのでインストールしておきます。
まずhttp://www.tightvnc.com/download.htmlからJava版の無償VNCクライアントバイナリ(tightvnc-1.x.y_javabin.zipファイル)を取得します(1.x.y部分はバージョンを示しています)。
# mkdir /usr/local/vnc
# mv tightvnc-1.x.y_javabin.zip /usr/local/vnc
# cd /usr/local/vnc
# unzip tightvnc-1.x.y_javabin.zip
※/usr/local/vnc/classesにVncViewer.class, VncViewer.jar等のファイルが解凍されます。
これでインストールは終了です。

Java版VNCクライアントを実際に利用するには以下のようにします。
# cd /usr/local/vnc/classes
# java VncViewer HOST VNCサーバアドレス PORT ポート番号 ※ポート番号例：5901

２．OpenSolaris版Xenの導入

OpenSolaris版Xenの導入手順は以下の通りです。

Xen用ファイルの取得
http://opensolaris.org/os/community/xen/How-To-8-15-06/Downloads-Page-8-15-06/から以下のものを取得します。
ダウンロードファイルの格納先をここでは/downloadとします。
(1)SUNWPython64(SUNWPython64.pkg.bz2)
(2)SUNWPython64-devel(SUNWPython64-devel.pkg.bz2)
(3)SUNWxenh(SUNWxenh.pkg.bz2)
(4)SUNWxenr(SUNWxenr.pkg.bz2)
(5)SUNWxenu(SUNWxenu.pkg.bz2)
(6)SUNWonbld(SUNWonbld.pkg.bz2)
(7)Solaris Binaries(osox-bfu-2006-08-16.tar.bz2)
パッケージのインストール
補足説明付きのインストール手順はhttp://www.opensolaris.org/os/community/xen/How-To-8-15-06/install/で公開されています。

# cd /download

# bunzip2 -d SUNWPython64.pkg.bz2
# pkgadd -d SUNWPython64.pkg

# bunzip2 -d SUNWPython64-devel.pkg.bz2
# pkgadd -d SUNWPython64-devel.pkg

# bunzip2 -d SUNWxenh.pkg.bz2
# pkgadd -d SUNWxenh.pkg

# bunzip2 -d SUNWxenr.pkg.bz2
# pkgadd -d SUNWxenr.pkg:done

# bunzip2 -d SUNWxenu.pkg.bz2
# pkgadd -d SUNWxenu.pkg

# bunzip2 -d SUNWonbld.pkg.bz2
# pkgadd -d SUNWonbld.pkg

下記はXen用に更新されたBFUの実際のインストール操作です。
# mkdir /archives
# cd /archives
# bunzip2 -d -c /download/osox-bfu-2006-08-16.tar.bz2 | tar xf -
# FASTFS=/opt/onbld/bin/`uname -p`/fastfs ; export FASTFS
# BFULD=/opt/onbld/bin/`uname -p`/bfuld ; export BFULD
# ACR=/opt/onbld/bin/acr ; export ACR
# GZIPBIN=/usr/bin/gzip ; export GZIPBIN
# DIRECTBOOT_BIN_DIR=/archives/osox-bfu-2006-08-16 ; export DIRECTBOOT_BIN_DIR
# /opt/onbld/bin/bfu /archives/osox-bfu-2006-08-16

# /tmp/bfubin/acr ※競合解決が行われます(結果は/tmp/acr.fPaqii/allresultsで確認)。

/boot/grub/menu.lstへのエントリ追加
以下のようなXen用エントリを追加します。

title Solaris on Xen 64-bit
kernel /boot/amd64/xen.gz dom0_mem=524288 console=com1 com1=9600,8n1 
module /platform/i86xen/kernel/amd64/unix /platform/i86xen/kernel/amd64/unix -k
module /platform/i86pc/boot_archiveand

title Solaris on Xen 32-bit
kernel /boot/xen.gz dom0_mem=524288 console=com1 com1=9600,8n1
module /platform/i86xen/kernel/unix /platform/i86xen/kernel/unix -k
module /platform/i86pc/boot_archive

IPチェックサムオフロード機能の無効化(Xen環境で正しく動作しないためとのこと)
# echo "set ip:dohwcksum = 0" >>/etc/system
# bootadm update-archive
リブート
ここでリブートします。
GRUBメニューから「Solaris on Xen 32-bit」を選択してXenモードでブートします。

ifconfig -aではxenbr0は表示されません。
/sbin/brctl show xenbr0を実行するとどのインタフェースにブリッジされているかが表示されます。

３．ドメインUでのOpenSolaris実行

http://www.opensolaris.org/os/community/xen/How-To-8-15-06/install/AugDomUs/には
ドメインUでOpenSolarisを動作させるために必要なファイル(snv44-domu.tar.bz2)の取得方法や使用方法も詳しく紹介されています。

snv44-domu.tar.bz2の操作
ダウンロードしたsnv44-domu.tar.bz2を/直下に置き以下のコマンドを実行して解凍します。
※/直下に置くことでドメインU構成ファイルを手直しすることなく使用できます。

# cd /
# bzcat snv44-domu.tar.bz2 | tar xvf -

ドメインU構成ファイル(/export/xc/xvm/solaris-b44/solaris-b44.py)の内容は次のようになっています。

name = "solaris-b44"
memory = "400"
kernel = "/export/xc/xvm/solaris-b44/platform/i86xen/kernel/unix"
extra = "/platform/i86xen/kernel/unix"
ramdisk = "/export/xc/xvm/solaris-b44/platform/i86pc/boot_archive"
on_shutdown = "destroy"
on_reboot = "restart"
on_crash = "destroy"
root = "/dev/dsk/c0d0s0"
disk = ['file:/export/xc/xvm/solaris-b44/root.file,0,w']
vif = ['bridge=xenbr0']

ドメインUの起動
ドメインUを起動するとシステム初期設定の画面が表示されます。

# xm create -c /export/xc/xvm/solaris-b44/solaris-b44.py
システム初期設定の画面操作
まず以下の画面が表示されます。
言語選択肢にJapaneseが無いためEnglishを選択します。
Select a Language 1. English 2. es 3. fr Please make a choice (1 - 3), or press h or ? for help:
Select a Locale
「English (C - 7-bit ASCII)」を選択します。
What type of terminal are you using?
「X Terminal Emulator (xterms)」を選択します。
ネットワーク設定
ここでsys-unconfigの画面が現れます。
画面の質問に対してホスト名含めたネットワーク設定を行います。
ホスト名はsnv44domuとしました。

Name serviceの画面ではDNSを選択し、その次の画面でDNSサーバのIPアドレスを指定します。
Name service ──────────── [ ] NIS+ [ ] NIS [X] DNS [ ] LDAP [ ] None
その他の設定
ネットワーク設定後はタイムゾーン、日付と時刻、rootユーザパスワードを設定します。

自動再起動
自動再起動で以下のようにコンソール表示されます。
※自動再起動で「rebooting...」で表示が止まった場合は、「xm console solaris-b44」でコンソール表示を再開させて下さい。

SunOS Release 5.11 Version matrix-build-2006-08-16 32-bit
Copyright 1983-2006 Sun Microsystems, Inc.  All rights reserved.
Use is subject to license terms.
DEBUG enabled
Hostname: snv44domu
＜＜途中略＞＞

snv44domu console login:

コンソールログイン
rootでログインします。

ネットワーク接続確認
外部にpingを打ってみました。問題なく動作します。

# ping -s www.yahoo.com
PING www.yahoo.com (209.131.36.158): 56 data bytes
64 bytes from 209.131.36.158: icmp_seq=0. time=132.434 ms
64 bytes from 209.131.36.158: icmp_seq=1. time=121.360 ms
^C
----www.yahoo.com PING Statistics----
2 packets transmitted, 2 packets received, 0% packet loss
round-trip (ms)  min/avg/max/stddev = 121.360/126.897/132.434/7.831
#

ディスク容量確認

# df -h
Filesystem             size   used  avail capacity  Mounted on
/dev/dsk/c0d0s0        3.8G   3.0G   761M    81%    /
/devices                 0K     0K     0K     0%    /devices
ctfs                     0K     0K     0K     0%    /system/contract
proc                     0K     0K     0K     0%    /proc
mnttab                   0K     0K     0K     0%    /etc/mnttab
swap                   237M   716K   236M     1%    /etc/svc/volatile
objfs                    0K     0K     0K     0%    /system/object
/usr/lib/libc/libc_hwcap3.so.1
                       3.8G   3.0G   761M    81%    /lib/libc.so.1
fd                       0K     0K     0K     0%    /dev/fd
swap                   236M     8K   236M     1%    /tmp
swap                   236M    20K   236M     1%    /var/run
#

実際のドメインUコンソール
ドメインUの終了
# halt

４．ドメインUでLinuxを動作させるXenファイルの準備

OpenSolaris上ではLinuxカーネルを実行することができます。
まずXenSourceのサイトからXen 3.0.2 32 bit SMP用ファイル(xen-3.0.2-install-x86_32.tgz)を取得します。
Xen 3.0.2 32 bit SMP用ファイル以外のもの(Xen 3.0.3用やPAE版)はOpenSolarisでは使用できません。

次にxen-3.0.2-install-x86_32.tgzを解凍して得られるxen-3.0.2-2-install/install/boot/vmlinuz-2.6.16-xenというカーネルを取り出しておきます。
vmlinuz-2.6.16-xenというカーネルはあとで使用します。

５．ドメインUでのttylinuxの実行(ネットワーク利用含む)

ドメインUでのLinux起動確認で最も手軽に使える仮想ディスクイメージはttylinux-xenです。
今回はttylinux-xen 4.2を使用してみました。

ttylinuxの仮想ディスクイメージの取得
ttylinux-xen 4.2の仮想ディスクイメージファイル(ttylinux-xen.bz2)はhttp://sourceforge.net/project/showfiles.php?group_id=86024で取得できます。

ttylinux-xenの仮想ディスクは/dev/sda1をイメージ化したもので/bootは空になっています。
またネットワークオプションは無効化されています。
ttylinux-xen.bz2の解凍
bunzip2コマンドでttylinux-xen.bz2を解凍します。
Linux用Xenカーネルの準備
xen-3.0.2-install-x86_32.tgzから取り出して保存しておいたvmlinuz-2.6.16-xenというカーネルを次のようにコピーします。
# mkdir /export/xc/xvm/ttylinux
# cp vmlinuz-2.6.16-xen /export/xc/xvm/ttylinux

ttylinux用ドメインU構成ファイルの準備
# cd /export/xc/xvm/ttylinux
# vi ttylinuxU.py
以下の内容で作成します。

name = "ttylinuxU"
memory = "64"
kernel = "/export/xc/xvm/ttylinux/vmlinuz-2.6.16-xen"
extra = "3"
root = "/dev/sda1 ro"
disk = ['file:/export/xc/xvm/ttylinux/ttylinux-xen,sda1,w']
vif = [ 'mac=aa:cc:00:00:00:ab, bridge=xenbr0' ]

ttylinuxの起動
# cd /export/xc/xvm/ttylinux
# xm create -c ttylinuxU.py
rootユーザでログインします(パスワードもrootになっています)。
最初はネットワーク機能が無効になっています。

ネットワーク機能の有効化
ttylinuxにはviコマンドはありません(e3コマンドはあります)。
適当な手段で/etc/network.confの内容を変更します。
(1)NETWORKING="no"をNETWORKING="yes"に変更します。
(2)USE_GATEWAY="yes"はそのままにしておきます。
(3)#GATEWAY="1.2.3.4"をGATEWAY="実際のゲートウェイアドレス"に変更します。

更に/etc/resolv.confに「nameserver xx.xx.xx.xx」行を追加します。

最後に/etc/network.d/interface.eth0というファイルを作成します。
※/etc/network.d/sampleというサンプルファイルを元に作成します。
# cp /etc/network.d/sample /etc/network.d/interface.eth0
/etc/network.d/interface.eth0の内容を以下のようにします。

INTERFACE="eth0"

# set to "yes" to use DHCP instead of the settings below
DHCP="no"

# interface settings

# IP address
IPADDRESS="ttylinuxのIPアドレス"
 # netmask
NETMASK="255.255.255.0"

# broadcast address
BROADCAST="xx.xx.xx.255"

再起動
再起動するとネットワークが利用できるようになっています。
但し、ttylinuxにはethtoolが付属していないためネットワーク用途には制約が付きます。

６．ドメインUでのVine Linux 4の実行(GUI操作含む)

OpenSolaris版XenでVine Linux 4をドメインUとして実行させるためには仮想ディスク化する前に準備しておいた方が都合がよいものがいくつかあります。
ここではその準備を含めて既に稼動しているデスクトップ環境付きVine Linux 4をドメインUで実行させる手順を紹介します。

Vine Linux 4へのethtoolパッケージの導入
OpenSolaris版XenでLinuxを動作させる場合、Linux起動のたびにLinux側で「ethtool -K eth0 tx off」を実行しておかなければならないという厳しい条件があります。
ethtoolパッケージを事前に導入しておかないとドメインUでapt-getも使用できません。
このため仮想ディスク化する前にまずethtoolパッケージを導入しておく必要があります。

# apt-get update
# apt-get install ethtool
Vine Linux 4へのXen 3.0.2のカーネルモジュールコピーとネットワーク設定の一部変更
- Xen 3.0.2のカーネルモジュールコピー
  まずxen-3.0.2-install-x86_32.tgzを取得します(XenSourceのサイトから持ってこれます)。
  次にxen-3.0.2-install-x86_32.tgzを格納したディレクトリで下記を実行します。
  
  # tar zxvf xen-3.0.2-install-x86_32.tgz
  # cp -Ra xen-3.0.2-2-install/install/lib/modules/2.6.16.29-xen /lib/modules
- ネットワーク設定の一部変更
  # vi /etc/sysconfig/network-scripts/ifcfg-eth0
  HWADDR行を削除します。
ドメインUのVine Linux 4をGUI操作するための準備
ドメインU(Vine Linux 4)へのGUIログイン環境の構築としてVNCサーバと仮想フレームバッファを導入します。
※VNCクライアントから実ビデオカードを持たないドメインU(Vine Linux 4)にXDMCP接続してGUI操作できるように仮想フレームバッファを導入します。
その詳細手順は「仮想フレームバッファ(Vine Linux 4.0編)」を参照して下さい(手順変更は不要です)。
Vine Linux 4のHDDのイメージファイル化
ddコマンド等でVine Linux 4のHDDを丸ごとイメージファイル化します。
※パーティション単位のイメージファイルもドメインUとして利用できますがここではHDDの丸ごとイメージファイル化を前提にします。

Vine Linux 4のイメージファイル(仮想ディスク)をここではvine40domu.imgとします。
OpenSolaris側へのVine Linux 4イメージファイルの取り込み
FTP等を使用してVine Linux 4の仮想ディスク(vine40domu.img)をOpenSolaris側に取り込みます。
ちなみにOpenSolaris側でのftpサービスの起動は以下のコマンドで行えます。

# svcadm enable ftp

FTP以外でもVine Linux 4仮想ディスクのOpenSolaris側への取り込み方法はいろいろありますので実際の環境に適した方法で実施して下さい。
OpenSolaris側でのLinux用Xenカーネルの準備
xen-3.0.2-install-x86_32.tgzからvmlinuz-2.6.16-xenを取り出して以下のコマンドを実行します。

# mkdir /export/xc/xvm/vine4
# cp vmlinuz-2.6.16-xen /export/xc/xvm/vine4

OpenSolaris側でのVine Linux 4用ドメインU構成ファイルの準備
以下の内容をもつVine Linux 4用ドメインU構成ファイル(/export/xc/xvm/vine4/vine4U.py)を用意します。

name = "Vine40DomU"
memory = "256"
kernel = "/export/xc/xvm/vine4/vmlinuz-2.6.16-xen"
extra = "5"
on_shutdown = "destroy"
on_reboot = "restart"
on_crash = "destroy"
root = "/dev/hda1 ro"
disk = ['file:/export/xc/xvm/vine4/vine40domu.img,hda,w']
vif = [ 'mac=aa:cc:00:00:00:ab, bridge=xenbr0' ]

ドメインUの起動
# cd /export/xc/xvm/vine4
# xm create -c vine4U.py
Kudzu画面での操作
ドメインUでは実際のネットワークカードが存在しないため実際のネットワークカードの設定をどうするかの問合せ画面が表示されます。
まず「Welcome to Kudzu」画面が表示されたらEnterキーを押し、次の「Hardware Removed」(ネットワークカードの取り外し)画面でF3キー(Ignore/Keep All)を押します。
この操作によって次回からは本画面は表示されません。
ログインプロンプト
ドメインUのブートプロセスのメッセージが流れてテキストログインプロンプトが表示されます。
rootでログインします。
ethtoolによるLinux側IPチェックサムオフロード機能の無効化
ドメインU(Linux)をブートするたびに送信パケットのIPチェックサムオフロード機能を無効にするために以下のコマンドを1回実行します。
※ネットワークサービスの再起動は不要です。

# ethtool -K eth0 tx off

下の画像は「ethtool -K eth0 tx off」実行前後の完全修飾ドメイン名指定でのping実行結果を示しています。
ドメイン0からドメインUのWebアクセス
ドメインU(Vine Linux 4)にApache 1.x系を導入してドメイン0のFirefoxからそのWebアクセスをしてみました。

# apt-get update
# apt-get install apache
# /etc/rc.d/init.d/httpd restart

ドメインU(Vine Linux 4)側でもテキストブラウザを使用して自Webサーバアクセスしています。
XnestによるドメインUへのXDMCP接続
Xen環境を導入したOpenSolarisと物理ネットワーク接続されている他のOpenSolarisからXnestによるドメインUへのXDMCP接続を行ってみました。

# Xnest -query vine40share :1
※vine40shareはドメインUで実行しているVine Linux 4のホスト名です。
VNCによるドメインUへのXDMCP接続
Xen環境を導入したOpenSolarisと物理ネットワーク接続されている他のOpenSolarisにJava版VncViewerを導入してVNC経由でドメインUにXDMCP接続を行ってみました。

# cd /usr/local/vnc/classes ※VncViewer.classの格納ディレクトリに移動します。
# java VncViewer HOST vine40share PORT 5901
※vine40shareはドメインUで実行しているVine Linux 4のホスト名です。

この時のXen実行のOpenSlaris側の様子は以下の画像の通りです。