[目次]  [質疑応答]
2005年度システム技術分科会 第1回会合「最新ストレージ技術とホスティングサービスの事例紹介」

教育用計算機システムのアウトソーシング
−ストレージシステムのアウトソーシングへの課題−


■講演論文       PDF版 PDF file
プレゼンテーション資料 PDF file
         写真

山梨県立大学国際政策学部
国際コミュニケーション学科
八代 一浩
kaz@yamanashi-ken.ac.jp
概要
インターネットが社会基盤となり,大学のネットワークといえども,一定のサービスレベルを維持する必要が出てきている.しかしながら,小規模な大学では,運用を行う人材の確保を行うことが困難であり,外部資源を活用する必要がある.ここでは,教育用計算機システムをアウトソーシングするために,行った検討,設計,開発について紹介を行う.また,分散キャンパスに対応したストレージシステムの配置問題に対して,その課題と対策についても検討を行う.

キーワード
アウトソーシング,大学ネットワーク,教育用計算機システム,仮想計算機システム,リモートブート


1.はじめに
山梨県立大学は平成17年(2005年)4月に山梨県立看護大学と山梨県立女子短期大学を統合して,あらたに開学した大学である.これまで,教育情報システムはそれぞれの大学のポリシーに従って運用を行ってきたが,今年度からは統一したポリシーで運用を行うこととなった.教育情報システムの利用者は学生約 1,000名である.1,000名の学生に対して,約 150台の PCによって運用を行う予定である.小規模な大学であっても,学生に提供するサービスは大規模な大学と同等でなければならない.また,可用性に対する要求も,インターネットが社会基盤になるにつれ,年々高まってきている.さらに,大学ネットワークの上で,事務系のシステムも稼動しているため,ネットワークを停止すると,大学の機能も停止する.

システムの運用は 2002年度まで,教員の委員会活動を中心に行ってきていた.しかしながら,この運用体制では,可用性の向上を求める利用者のニーズ,および,インターネットが利用できることを前提とした社会の変化に対して,対応が困難である.そのため,2002年度以降は,すべてのシステムにおいて外部資源の活用(アウトソーシング)を積極的に進めている.これまで,インターネット接続システム,学内LANシステム,事務システムをアウトソーシングしてきた.今年度,教育システムをアウトソーシングすることにより,すべてのシステムがアウトソーシング化される.アウトソーシングを行う上で,人的な運用コストの削減は,費用削減につながる.その意味で運用コストを削減できるシステムの開発が望ましい.

今回のシステム更新では,システム統合と運用コストを削減することを目標にシステムの設計を行った.システムを統合する上では,ストレージサーバや認証サーバの配置に関して検討を行った.運用コストを削減するためにはリモートブートシステムと仮想計算機システムを利用したシステムの構築を行った.

本システムは 2005年 10月より運用を行うため,本稿では,設計・開発を中心としたシステムの紹介を行う.
2.現状と課題
まず,山梨県立大学の情報システム全体について説明する.キャンパスは旧看護大学の池田キャンパスと旧女子短大の飯田キャンパスの 2つに分散している.ネットワークは図1 に示すように,光ファイバを借りている CATV会社を経由してすでに相互接続して運用を行っている.

図1
図1.現在のネットワーク


インターネットへの接続は SINETを経由して行われている.また,地域の ISPとの相互接続や JGN IIなどの実験網との相互接続も行っている.インターネット接続に必要なサーバ類は,地域の ISP内にサーバを配置し,運用もISP に委託している.また,各種インターネットサービスも ISPの行うサービスを利用することにより,多様なサービス提供と可用性の向上を図っている.これらインターネットへの接続のためのシステムもすでに統合している.

教育システムは,池田キャンパスでは Windows2000 を主体とした 60台のクライアントをドメイン環境で管理している.飯田キャンパスでも Windows 2000を主体とした 50台のクライアントをアクティブディレクトリで管理している.現在のシステムはそれぞれのキャンパスで独自に運営を行っており,統合は行えていなかった.

また,システムの運用は教員の委員会活動で行われており,たとえば,教員が出張を行っているときに障害が発生すると,対応はできない状況である.

そこで,今回のシステム更新では,
  • 教育システムの統合
  • 運用を外部委託するために運用コストを軽減するシステムの開発
することを目標とした.システムの統合には MicroSoft社をはじめとして、技術的な解決方法が提案されているため、ここではサーバの配置について議論する。運用費用を削減するためには,システムの人的な運用コストを削減するシステムが必要である.以下の章でこれらの課題を解決するためのシステムについて説明する.
3. システムの設計
システム全体を大きく,サーバ,クライアント,その間のネットワークの 3つに分離して,設計を考えた.

3.1 サーバ

今年度から大学の統合が行われるため,教育システム管理の方法や各種サーバも統一する必要が出てきた.特に分散環境で認証サーバやストレージサーバを共有するには,配置と可用性に関する技術的な課題が生じる.たとえば,サーバを一つのキャンパスに集約した場合に,サーバが集約されたキャンパスが停電すると,別のキャンパスではシステムが利用できなくなってしまう.停電させないためには,無停電電源や発電機などの施設を準備しなければならないが,年に数回しかない状況のために多額な施設建設費用や保守・運用の費用を投入するのは困難な状況である.

さらに,サーバの安定して運用を行うためには,施設ばかりでなく,人的な体制も必要である.しかしながら,教員の委員会活動で行う運用体制では安定運用は行えない.可用性向上のためには,運用体制も大きな課題となっている.

このような状況から,サーバは大学外のデータセンターに配置し,サーバの運用は外部委託することとした.

3.2 クライアント

クライアントの運用コストを削減するシステムとして,ディスクレスコンピュータ(Diskless Computer)やシンクライアント(Thin Client)を利用した手法がある.

3.2.1 Diskless Windows

佐賀大学では[1],(株)MintWaveの VID(Virtual Image Distributor)システムを利用して,Winodwsと Linuxがそれぞれディスクレスでデュアルブートできるシステムを運用している.すべてのクライアントはネットブートを行い,起動時にサーバからダウンロードしてシステムが起動される.PCで最も故障率の高い HDDがないこと,また,毎回起動時に新しいイメージを利用することから,ウイルスなどによるソフトウエアの故障もなくなり,大幅に可用性の向上が期待できる.さらに,運用もイメージの管理さえ行えばよいことから,人的なコストの削減も期待できる.しかしながら,一般の機器と比較して,特殊なハードウエアが必要となるため,クライアントが割高となってしまう.

3.2.2 MacOS

東京大学では[1],MacOSを用いたディスクレスシステムが運用されている.基本的な機能についてはまったく問題がなく,導入においては有力な候補ではあったが,フリーソフトなどを含めて,アプリケーションの数が少ないこと.また,機種依存文字コードがあり,本学の利用者の多くが持っている Windowsとの連携を考えたときに問題がある.

3.2.3 Thin Client

千葉大学では[1],SUN Rayを用いたシステムが運用されている.このシステムも Windowsとの互換を考えたときの問題がある.また,本学でも WBT(Windows Based Terminal)を用いたシステムの運用を一部行ったが,利用者にとって,利用しているターミナルにメディアが接続できないことに対する不満も多かった.

3.2.4 Linux + VMWare

大阪市立大学では[2],ディスクレスの Linuxの上で VMWare(仮想計算機システム)を起動させ,その上で WindowsのゲストOS として動かしている.このシステムでは,ベースとなる OSがオープンソースである Linuxであることから,保守に関する運用まで行えるように開発がされている.たとえば,ブートはネットワークから行われ,Lunixのカーネルと RAMDISKを用いたファイルシステムはネットワークからダウンロードされる.その後は,ローカルディスクをファイルシステムにマウントし,ローカルファイル上の VMWareイメージを利用して,Windowsが起動される.つまり,ローカルディスクをキャッシュシステムとして利用している.また,Linuxの起動スクリプトにより,ローカルディスクが利用できない場合には,newfsを行い,ディスクのリペアを行う.また,リペアが行えない場合には,HDDを利用せずにブートを行うこともできる.

Linuxは一般的な PCで起動できるために,クライアントの費用は安価に抑えることができる.また,VMWareを用いているために,一つのイメージだけ保守を行えば,あとは,そのイメージを配布するだけでよいため,運用・保守にかかる人的な費用も抑えることができる.

上記の議論から,基本的なシステム構成を大阪市立大学が運用しているシステムとし,このシステムを本学の状況に適用させることを検討した.

3.3 ネットワーク

サーバが外部に配置されているため,クライアントのある大学とサーバ間のネットワークについて技術的な課題が生じる.そこで,ネットワークに求められる条件について検討するため,システムが利用できるまでの流れについて図2 に示す.
システムはクライアントと DHCPサーバ,TFTPサーバによって構成される.また,Windows起動後には,これ以外に認証サーバとストレージサーバも必要となる.

図2
図2.システムが利用できるまで

クライアントは起動すると DHCPサーバにより TFTPサーバの所在情報を得る.クライアントはこの情報をもとに,TFTPサーバから syslinuxイメージを取得する.syslinuxにより,Linux のブートを行い,引き続いてカーネルおよびRAMDISK イメージをロードする.カーネルはRAMDISKをルートファイルシステムとして起動し,ローカルHDD もマウントする.ローカルHDD は障害があっても起動できるようになっている(後述).次にローカルHDD 上の VMWareを起動し,さらにゲストOS として WindowsXPを起動する.WindowsXP起動後には,学生のログオンに際して,認証サーバとストレージサーバのマウントが行われる.つまり,システムを利用するためには,DHCPサーバ,TFTPサーバ,認証サーバ,ストレージサーバが必要になる.

サーバの配置は,DHCPサーバはそれぞれのキャンパスに配置し,それ以外のサーバはデータセンターなどの施設を利用することとした.サーバを外部に配置したことにより,下記のような技術的課題が生じる.
  • RTTの短い経路が必要
  • ネットワークの可用性を高める必要
  • ネットワークの機密性が必要
  • 代替手段
3.3.1 RRTについて

ネットワークブートを行うと,カーネルや RAMDISK上に構成するファイルシステムイメージを転送する必要がある.カーネルは 1.4Mbyte, ファイルシステムイメージは 8Mbyteのサイズである.ブート時には TFTP(TrivialFile Transfer Protocol)が用いられる.TFTPは基本的に UDPを用いて,パケットごとに転送,ACKを繰り返す方法でファイル転送が行われる.そのため,ACKが戻ってくるまでに時間がかかると全体の転送時間が大きくなり,帯域が十分にあってもパフォーマンスが得られない.

また,本学のストレージサーバは Windows2003をベースにしたサーバである.そのためファイル転送には CIFS(Common Internet FileSystem)が用いられる.CIFSにおいても,確認応答が発生するために RTTが大きいと十分なパフォーマンスが得られない.
このような状況を解決するために,地域のデータセンターにハウジングを行い,そこまでの RTTに関して,2ms以内という仕様上の制限を設けた.

3.3.2 ネットワークの可用性向上

ネットワークの可用性を向上させるため,2つ以上の経路でサーバに到達できるようにした.現状では,それぞれのキャンパスから相互接続を行っている CATV会社の屋社から,それぞれのキャンパスまでは,2つの経路で到達ができるため,サーバが配置されている施設から CATV会社まで複数の到達性が確保されていれば,可用性を高めることができる.飯田キャンパスを例にサーバまでのアクセスネットワークを図3 に示す.現在は Layer3の経路制御技術を使って,サーバとクライアント間を接続している.

図3
図3.ネットワーク

3.3.3 ネットワークの機密性

認証サーバが外部にあるため,クライアントとサーバの間は機密性が要求される.今回は,メインで用いる回線はダークファイバを利用した専用線を用いた.バックアップ回線に関しては,公衆網を利用することになる.そこで,公衆回線上に MPLS-VPNを用いて機密性を確保できるように検討している.

3.3.4 代替手段

ネットワークが停止してシステムが起動できないと,授業に支障がでる.そこで,ネットワークが停止した際には,ローカルでブートできるシステムを検討する必要がある.最も簡単な方法は,バックアップサーバを大学内に配置することであるが,配置することによって,初期費用および運用費用が発生する.このコストを最小限にするため,バックアップ用の VMWare WindowsシステムイメージをローカルHDD にもたせ,Linuxの起動時にこのイメージを利用させるようにした.バックアップ用 Windowsシステムイメージは,デフォルトで Windowsにログインできるようにし,ホームディレクトリをマウントしない構成にしている.こうすることにより,これまでに保存したファイルは利用ができないものの,新規にファイルを作成することはできる.また,作成したファイルは FDや USBストレージなどで持ち帰ることもできる.
4. 実装
構築するシステムの概要を図4 に示す.池田キャンパス,飯田キャンパスのそれぞれに情報教室があり,それぞれ約 50台のクライアントPC がある.PCの設置されているセグメントに小型の DHCPサーバを配置する.それぞれのキャンパスの基幹L3-SW と ISPのルータ間は 1000 BASE-LXおよび,100 BASE-FXで接続を行い,冗長化を図る.ISPにはストレージサーバ,認証サーバなどを配置する.さらに,インターネット経由でそれぞれのキャンパスからアクセスできるようにする.また,利用者も自宅からインターネットを経由し VPNでアクセスが行えるようにする.

導入する PCの仕様は,Pentium4 3.2GHz, メモリ 1Gbyte, HDD 40Gbyte, NIC 1000/100/10 BASE-TX である.この程度の PCであれば,Linux上の VMWareで Windowsシステムを起動しても,パフォーマンスには問題がない.
OSは Linuxは TurboLinux 10D(Linux2.6.0),VMWareは 5.0, Windowsは WindowsXPを利用する.

図4
図4.システム概要
5. 運用
現在検討しているシステムの運用方法について説明する.運用を,日常的な運用方法,保守作業,障害対応に分けて説明する.

5.1 日常運用
  • 一斉起動
    7:00 に一斉起動を行う.この際,ネットワークの負荷を下げるため,10台ずつのグループに分けて,数分の時間差をつけて起動

  • Windows へのログイン
    ブートはホストOS とゲストOS の 2つが必要となる.そのため,起動時間を短縮するため,VMWareのスナップショットを用いて,Windowsの起動画面からスタートできるようにする.

  • サスペンド
    省エネルギーのため,サスペンド状態で待機できるように検討中

  • 一斉終了
    教室の開放時間が終了した時間に一斉に Shutdownを行う.
5.2 保守作業
  • セキュリティパッチ
    オリジナルイメージでパッチの適用を行い,そのイメージを配布する.配布は,クライアントPC が起動時にローカルHDD上のイメージとオリジナルイメージの比較を行い,ローカルイメージよりもオリジナルイメージの方が新しい場合には,クライアントがイメージを更新する.

  • 定期保守
    これまで,デフラグ作業や不要ファイルの削除作業を行っていたが,新システムでは,ローカルHDD 上のWindows を定期的に新しいイメージに更新するため,デフラグ作業や不要ファイルの削除作業は必要なくなる.
5.3 障害対応

これまで,クライアント機器に障害が発生すると,運用管理者が障害の切り分けを行い,保守業者に連絡をとり,ハードウエアの修復を行ってもらい,そして,ソフトウエアの修復を行っていた.今回導入するシステムでは,これら一連の作業をできるだけ自動化することを考えた.ここでは,クライアント機器の障害時における対応について,説明する.クライアントはブート時にスクリプトを作成して,できるだけ自動的に修復できるようにしている.
  • ソフトウエア障害
    クライアントはローカルHDD 上の Windowsイメージとリモートに配置してあるイメージの比較を行う.そこで,差異が検出された場合には,リモートのイメージをローカルHDD にコピーする.そのため,問題が生じたときには,再起動することにより,回復が期待できる.また,ホストOS として起動している Linuxには遠隔地から,sshを使ってリモートログインすることができるため,手動での更新も可能である.

  • HDD障害
    HDDがソフトウエア的な障害を持っている場合には,newfsを行い,すべてのファイル(Linuxと VMWareのイメージ)をオリジナルイメージから更新し,自動修復する.もし,newfsが行えない場合には,NFSを使ってファイルシステムをマウントして,ディスクレスで Linuxが起動する.さらに NFS上の VMWareおよび Windowsイメージを使って起動する.その際,障害が起こったことを管理者に通報する.管理者は新しい HDDを用意し,時間外に障害の起こった PCの HDDの交換作業を行う.交換作業終了後は,システムを再起動することにより,自動修復が始まる.

  • HDD以外の障害
    HDD以外の障害では,遠隔からリモートログインできる場合には,ログインして確認することができる.しかし,NICや ROMの障害などでは,現地での対応を行わないとならない.
6. まとめ
分散したキャンパスで,情報教育システムの運用をアウトソーシングできるシステムの設計を行った.
システムの統合と可用性の向上を目的として地域のデータセンターにサーバ群を配置した.これにより運用を行う技術者の近傍にサーバを置くことができるため,可用性を高めることができる.

クライアントは,Linuxと仮想計算機技術を使ってリモートブートし,利用者にとっては,使い慣れた Winodwsとして利用できる環境を構築した.その際,HDDに障害があっても,NFSを利用してクライアントを起動することができ,可用性の高いシステムを構築できる.また,サーバとクライアント間のネットワークは 3重化することにより,可用性を高めている.

このようなシステムは教育用計算機システムの可用性への要求が高まる中で,運用管理者が不足している,小規模大学をはじめ,小中高校に対して有効な手法である.
今後は実運用を行うことにより,システムの改善を行っていく予定である.

■参考文献
[1] 情報処理学会学会誌特集「大規模分散ネットワーク環境における教育用計算機システム」,Vol.45 Nol3, 情報処理学会,2004
[2] 安倍広多,石橋勇人,藤川和利,松浦敏雄,”仮想計算機を用いた Windows/Linux を同時に利用できる教育用計算機システムとその管理コスト削減”, 情報処理学会論文誌, Vol.43 No.11

[目次]  [質疑応答]

All Rights Reserved, Copyright©サイエンティフィック・システム研究会 2005