P-PEに直接ログインする形で会話型のサービスを行っている。
なお、P-PE以外のPEには/etc/nologinを設定し、一般ユーザがロングインすることを禁止している。
また、会話型の許可量は、CPUを1時間、メモリサイズを標準1GB、最大2GBとしている。
NQSのキュー名と許可量を表4に示す。キューclはコンパイル専用であり、zは40PEを超えるジョブのためのキューである。
表4.キュー名と許可量
| キュー名 | PE数 | CPU時間 | 経過時間 | メモリサイズ |
|---|---|---|---|---|
| cl | 1 | 30分 | 60分 | 2GB |
| d | 1 | 60分 | 90分 | 7GB |
| e | 1 | 360分 | 540分 | 7GB |
| f | 10 | 60分 | 90分 | 7GB×10 |
| g | 10 | 360分 | 540分 | 7GB×10 |
| h | 40 | 360分 | 540分 | 7GB×40 |
| z | 41以上 | − | − | − |
VPP500導入に開発したMVPP連携機能によるサービスは、NQSキューの内ベクトルジョブd,eと並列ジョブf,g,hについてサービスを行っている。また、コンパイル、リンクのステップは、専用のコンパイルキューを定義している。
NQSのサービスに関するいくつかの設定パラメータがあるが、現在は、次のようにしている。
まず、NQSのキューと割付けPEを管理するジョブリストの設定は、次のようしている。
1)コンパイル専用キュー(cl)は、IO-PEに割付ける。
2)並列ジョブキュー(f,g,h)は、S-PEだけに割付ける。
3)ベクトルジョブキュー(d,e)は、全てのPEに割付ける。
また、空きPEを極力少なくし、且つ、PE割付け待ちの発生を押さえるために、NQSジョブの実行多重度の制御は、キューのRun LimitとComplex QueueのRun Limitを次のように定義している。
表5.実行多重度の制御
| Complex Queue | Run Limit | Queue | Run Limit |
|---|---|---|---|
| Vector | 20 | d | 12 |
| e | 8 | ||
| Parallel10 | 5 | f | 3 |
| g | 2 | ||
| Parallel40 | 1 | h | 1 |
NQS-JMは、ユーザ当りの受付ジョブ数と実行多重度およびジョブの資源量の設定値を管理する機能である。
現在は、実行多重度制御により、特定のユーザがシステムを占有しないようにしている。
また、ジョブの資源量の設定値管理を用い、ジョブMRFS(Memory Resident File System)のサイズを標準0GB、最大値7GBに設定(NQSのMRFSのサイズは、7GB)し、利用者が任意のジョブMRFSのサイズを指定できるようした。
今回のスパコンリプレースの重要な課題の一つに、ユーザに高速、大容量ファイルを提供することがあった。
したがって、導入したGen5にスパコン専用のホームディレクトリおよび大容量ファイルの割当てが必須であったが、システム設計段階で、当面、使えるファイルシステムとしてはUFSとVFLであり、UFSでは2GBを超えるファイルシステムが作れない、また、VFLではi-nodeが3,2768個しか作れないという大きな制約があった。
しかし、大容量、高速なアクセスが運用上の必須要件であるのでVFLファイルシステムを選択し、ホームディレクトリを3つに分けて配置、極力ファイル個数を減らすように設計を行った。表6にGen5上のファイルシステムの配置と容量を示す。
表6.ファイルシステムの割付けと用途
| ファシリティ | 用途 | 容量 |
|---|---|---|
| #1 | ユーザホーム1 | 200GB |
| センターIDホーム | 100GB | |
| ジョブ凍結、ジョブスワップ | 60GB | |
| #2 | 大容量ファイル領域 | 300GB |
| ジョブ凍結、ジョブスワップ | 60GB | |
| #3 | ユーザホーム2 | 200GB |
| ジョブ凍結、ジョブスワップ | 16GB | |
| #4 | MVPP連携ホーム | 80GB |
| ジョブ凍結、ジョブスワップ | 28GB |
ジョブ凍結、ジョブスワップのためのファイルスペースは、並列アクセスが有効なために4つのファシリティに分散して配置し、合計で164GBを確保した。
また、ユーザホームおよび大容量ファイル領域として合計800GBを確保した。これらの領域は、ユーザ当りの容量、個数をquotaで管理している。現在のユーザ当りの許可量およびブロックサイズを表7に示す。
表7.ユーザ当りの許可量とブロックサイズ
| 項目 | Soft Limit | Hard Limit | ブロックサイズ | ||
|---|---|---|---|---|---|
| 容量 | 個数 | 容量 | 個数 | ||
| ホーム | 20GB | 1500個 | 40GB | 3000個 | 64KB |
| 大容量ファイル領域 | 100GB | 20個 | 200GB | 40個 | 640KB |
さらに、ユーザホームで使用するi-node数を極力減らすために、次のような処置を行っている。
1)個々のユーザのホームディレクトリは、ユーザがVPP800へ最初にログイン時に作成する。
2)標準的な環境設定はシステム内で行うことで、ユーザがホームディレクトリに設定ファイル(.cshrcなど)作らなくても使えるようにした。
VPP800の運用のために作成したコマンドには、次のようなものがある。
1) qsub
独自の課金処理のために独自のリクエスト名管理と、ジョブプロフィールの出力オプション(-oi)を標準で設定している。
2) df
Gen5上のファイルシステムは、HIPPI接続されたIO-PEにしか情報が無いために、P-PEの会話型サービスでユーザがホームに関する情報が得られない。したがって、P-PEでdfコマンドが入力されると必要なIO-PEにrshコマンド経由でdfを実行し結果を整形し出力している。
3) quota
これもdfコマンドと同じようなもので、Gen5上のファイルシステムのquota管理情報を表示するために、必要なIO-PEにrsh経由でquotaを投げ、結果を出力している。
VPP800に移植したソフトウエアには、次のようなものがある。
・emacsエディタ
・tcsh、less
・GNUツールgzip,patch,make,tar
・kterm,ウインドマネージャfvwm
・Secure Shell
・parl5
・pgplotグラフックライブラリ