鳥哥私房菜 - 簡易 Cluster 架設

最近更新時間： 2003/05/20

近年來因為數值模式模擬的盛行，所以『平行運算』的架構也就越來越重要了！什麼是數值模擬呢？主要就是藉由一些物理理論去開發出來的一些『計算公式』，而這些計算公式藉由程式語言(例如C、Fortran等等)實際的將他編譯成為可執行的程式，最常見的例如中央氣象局不是每天都會預報天氣嗎？這個預報的動作就是利用數值計算去演算出來的。另外，還有空氣品質模式模擬，也是經過運算出來的，除此之外，例如天文、物理、水文等等很多方面的工作，都是利用這種數值模擬的運算的喔！不過，這些程式是很大型的！也就是說，他們在運算的時間是很長的，如果使用單顆 CPU 的話，不論這顆 CPU 的頻率與效能有多高，還是得要運算個好幾個鐘頭的～如此一來，對於像氣象預報這個急需時效性的工作可能就會有所延誤啊！不過，如果我將這個運算的工作同時丟給多顆 CPU 呢？也就是讓多顆 CPU 同時進行這個程式的運算工作，如此一來，將可以大大的減低時間的損耗了～這就是平行運算的簡單說明。在 Linux 平台上面，要達成簡單的平行運算，可以透過 MPI 的函式庫，例如 MPICH 就是一個很有名的 MPI 軟體喔！馬上來給他看看平行運算類型的 Cluster 建置吧！

原理：
　　：什麼是 Cluster 與 Cluster 的優點
　　：Cluster 的主從架構
　　：達成 Cluster 所需要額外功能 ( RSH ) 與軟體 ( MPICH )
架設流程：
　　：整體架構
　　：鳥哥的一個實例規範
　　：系統安裝 ( Red Hat 9 )
　　：防火牆 ( 含 NAT 主機 ) 與網路設定
　　：NFS 架設規劃(相當重要，參考說明)
　　：NIS 架設規劃
　　：RSH 設定
　　：安裝 Fortran 90 的編譯程式 PGI pgf90 ( PS. server version )
　　：安裝 MPICH
其他主機相關設定：
　　：X-Window Server/Slave 架構
重點回顧
參考資源

原理：

什麼是 Cluster 與 Cluster 的優點

平行運算

Cluster 的主從架構

上面的 Master 與 Slave 指的都是 CPU 喔！

Master 那部機器上面必須要有可以將工作分配給各個 node 去工作的函式庫，也就是 MPI ，他最重要的功能就是將工作給他分配下去的啦！而最重要的軟體就是：(1)MPICH；(2)編譯器(compiler, 例如 Fortran)；

什麼是網路功能呢？如果 master 與 slave 是在同一部機器當中，例如雙 CPU 的主機板，那麼這裡就不需要網路功能啦！不過，如果我是使用四台雙 CPU 的 PC 呢？呵呵！那麼這四部主機就需要以高速網路架構進行連線啦！此外，還需要在這四部主機之間建立可以互通訊息的通訊協定才行，這方面的功能就含有：(1)R Shell, 亦即稱為 RSH；(2)NIS，使 Master 與 Slave 具有相同的帳號群組關係；(3)NFS，使讀取寫入的資料可以在同一個 partition 上面；

Slave 就是單純的將來自 Master 的任務給他做完就是了！

達成 Cluster 所需要額外功能 ( RSH ) 與軟體 ( MPICH )

RSH：

MPICH：

Messages Passing Interface

http://www-unix.mcs.anl.gov/mpi/mpich/

熟悉 Linux 的操作技巧；
熟悉 Linux 基礎網路參數設定；
熟悉 Linux 相關的 Server 架設(這方面請參考鳥哥的私房菜架站篇)；
瞭解 RSH 的相關功能與設定技巧；
瞭解 MPICH 的設定與相關功能；
熟悉至少一種程式語言。

架設流程

整體架構

Master 主機安裝需要：

防火牆的設定(含 NAT 架設)；
RSH
NIS Server
NFS Server
Compiler Install
MPICH Install
其他特殊功能

Slave 主機安裝需要：

防火牆的設定
RSH
NIS Client
NFS Client

鳥哥的一個實例規範

Master ：為雙 CPU 主機，使用 AMD MP 的 CPU ，並且有一顆 120 GB 的硬碟，此外，由於我的數值模式需要 PGI Fortran ，所以就必須要安裝 Server 版的 PGI Fortran 喔！
Slave ：共有三部 Slave ，每一部均為雙 CPU 的 AMD MP 的 CPU ，並且有一顆 120 GB 的硬碟；
連接 Master 與 Slave 的為 10/100/1000 的 Switch ，當然，四部主機(1 x master + 3 x slave)都是安裝 Intel 的 1GB 網路卡喔！

系統安裝( Red Hat 9 )

Partition 方面：

/ : 10 GB
/var : 5 GB
/tmp : 3 GB
Swap : 3 GB ( 因為我每部 Linux 主機上面都有 1.5 GB 的記憶體 )
/disk1: 96 GB

安裝時選擇的套件：

Administrattion Tools
Development Tools
Editors
Engineering and Scientific
FTP Server
Kernel Development
Network Servers
Server configuration Tools
Sound and vedio
System Tools
Text-based Internet
Windows File servers

防火牆 ( 含 NAT 主機 ) 與網路設定

Network/netmask：192.168.10.0/255.255.255.0
Master：(對外)140.116.xxx.yyy；(對內)192.168.10.30, Gateway 為對外的 Gateway 喔！並且有設定 NAT 啊！
Slave：192.168.10.10, 192.168.10.20, 192.168.10.40 三部，Gateway 為 192.168.10.30

各個主機的主機名稱請修改：/etc/sysconfig/network
各個主機的網路卡設定項目請修改：/etc/sysconfig/network-scripts/ifcfg-eth0
各個主機的 DNS 查尋系統請修改：/etc/resolv.conf
各個主機的內部主機名稱查尋系統請修改：/etc/hosts，我的 /etc/hosts 如下：

127.0.0.1 localhost localhost.localdomain

192.168.10.10 node1.cluster

192.168.10.20 node2.cluster

192.168.10.30 server.cluster

192.168.10.40 node4.cluster

atd
crond
iptables
keytable
network
random
sshd
syslogd
xinetd

Master：

#!/bin/bash
# This program is for iptables' rules
# VBird 2003/05/02
#
# 0. PATH and modules
PATH=/sbin:/bin:/usr/sbin:/usr/bin
export PATH
modprobe ip_tables
modprobe iptable_nat
modprobe ip_nat_ftp
modprobe ip_nat_irc
modprobe ip_conntrack
modprobe ip_conntrack_ftp
modprobe ip_conntrack_irc
#
# 1. clear the rules and make the policys
iptables -F
iptables -X
iptables -Z
iptables -F -t nat
iptables -X -t nat
iptables -Z -t nat
iptables -P INPUT DROP
iptables -P OUTPUT ACCEPT
iptables -P FORWARD ACCEPT
iptables -t nat -P PREROUTING ACCEPT
iptables -t nat -P POSTROUTING ACCEPT
iptables -t nat -P OUTPUT ACCEPT

#
# 2. NAT services
echo "1" > /proc/sys/net/ipv4/ip_forward
iptables -t nat -A POSTROUTING -s 192.168.10.0/24 -o eth1 -j MASQUERADE
#
# 3. Trust network and conditions
iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT
iptables -A INPUT -i lo -j ACCEPT
iptables -A INPUT -m mac --mac-source XX:YY:ZZ:WW:QQ:PP -j ACCEPT
# 上面這一行就是網路卡的卡號啦！

Slave：

NFS 架設規劃

未來在安裝所有的 Cluster 需要的套件資料時，例如 Compiler 以及 MPICH 等等，都可以安裝到 /cluster/server 這個目錄底下，以使所有的主機都能夠使用同一個 partition 來源的資料喔！

設定程序：

Master：

1. 啟動 portmap 並且設定開機啟動：
[root @server root]# /etc/rc.d/init.d/portmap start
[root @server root]# chkconfig --level 35 portmap on
　
2. 設定 NFS 分享出去：
[root @server root]# vi /etc/exports
/home 192.168.10.0/24(rw,async,no_root_squash)
/disk1 192.168.10.0/24(rw,async,no_root_squash)
[root @server root]# exportfs -rv
[root @server root]# /etc/rc.d/init.d/nfs start
[root @server root]# chkconfig --level 35 nfs on
　
3. 設定預計的掛載點：
[root @server root]# mkdir -p /cluster/node1
[root @server root]# mkdir -p /cluster/node2
[root @server root]# mkdir -p /cluster/node4
[root @server root]# mkdir -p /cluster/server

Slave：

1. 啟動 portmap 並且設定開機啟動：
[root @node1 root]# /etc/rc.d/init.d/portmap start
[root @node1 root]# chkconfig --level 35 portmap on
　
2. 設定 NFS 分享出去：
[root @node1 root]# vi /etc/exports
/disk1 192.168.10.0/24(rw,async,no_root_squash)
[root @node1 root]# exportfs -rv
[root @node1 root]# /etc/rc.d/init.d/nfs start
[root @node1 root]# chkconfig --level 35 nfs on
　
3. 設定預計的掛載點：
[root @node1 root]# mkdir -p /cluster/node1
[root @node1 root]# mkdir -p /cluster/node2
[root @node1 root]# mkdir -p /cluster/node4
[root @node1 root]# mkdir -p /cluster/server

掛載程序：

Master：

[root @server root]# mount -t nfs -o bg,intr server.cluster:/disk1 /cluster/server
[root @server root]# mount -t nfs -o bg,intr node1.cluster:/disk1 /cluster/node1
[root @server root]# mount -t nfs -o bg,intr node2.cluster:/disk1 /cluster/node2
[root @server root]# mount -t nfs -o bg,intr node4.cluster:/disk1 /cluster/node4

Slave：

[root @node1 root]# mount -t nfs server.cluster:/home /home
[root @node1 root]# mount -t nfs -o bg,intr server.cluster:/disk1 /cluster/server
[root @node1 root]# mount -t nfs -o bg,intr node1.cluster:/disk1 /cluster/node1
[root @node1 root]# mount -t nfs -o bg,intr node2.cluster:/disk1 /cluster/node2
[root @node1 root]# mount -t nfs -o bg,intr node4.cluster:/disk1 /cluster/node4

NIS 架設規劃

Master：

1. 啟動 time 與 time-udp 這兩個預先要啟動的 daemon
[root @server root]# chkconfig --level 35 time on
[root @server root]# chkconfig --level 35 time-upd on
[root @server root]# /etc/rc.d/init.d/xinetd restart
　
2. 建立 NIS 的領域名稱 (我這裡是設定為 cluster )：
[root @server root]# nisdomainname cluster
[root @server root]# echo "/bin/nisdomainname cluster" >> /etc/rc.d/rc.local
[root @server root]# echo "NISDOMAIN=cluster" >> vi /etc/sysconfig/network
　
3. 建立 NIS 設定檔：
[root @server root]# vi /etc/ypserv.conf (在這個檔案內增加三行即可)
127.0.0.0/255.255.255.0   : * : * : none
192.168.10.0/255.255.255.0: * : * : none
*                         : * : * : deny
[root @server root]# touch /etc/netgroup
　
4. 啟動 NIS：
[root @server root]# /etc/rc.d/init.d/ypserv    start
[root @server root]# /etc/rc.d/init.d/yppasswdd start
[root @server root]# chkconfig --level 35 ypserv on
[root @server root]# chkconfig --level 35 yppasswdd on
　
5. 製作資料庫：(每次有更動使用者資訊時，就必須要進行這個步驟！)
[root @server root]# /usr/lib/yp/ypinit -m
[root @server root]# chkconfig --level 35 ypserv on
[root @server root]# chkconfig --level 35 yppasswdd on

Slave：

1. 建立 NIS 的領域名稱 (我這裡是設定為 cluster )：
[root @node1 root]# nisdomainname cluster
[root @node1 root]# echo "/bin/nisdomainname cluster" >> /etc/rc.d/rc.local
[root @node1 root]# echo "NISDOMAIN=cluster" >> vi /etc/sysconfig/network
　
2. 建立 NIS 查尋的主機名稱：
[root @node1 root]# vi /etc/yp.conf
domain cluster
ypserver server.cluster
　
3. 修改密碼驗證方式：
[root @node1 root]# vi /etc/passwd (在這個檔案的最底下新增如下一行)
+::::::
[root @node1 root]# vi /etc/nsswitch.conf
passwd:     files nis nisplus
shadow:     files nis nisplus
group:      files nis nisplus
hosts:      files nis dns
　
4. 啟動 NIS：
[root @server root]# /etc/rc.d/init.d/ypbind    start
[root @server root]# chkconfig --level 35 ypbind on

RSH 設定

Slave & Master：

1. 啟動 RSH 囉！
[root @node1 root]# chkconfig --level 35 rsh on
[root @node1 root]# /etc/rc.d/init.d/xinetd restart
　
2. 編輯可使用 R command 的主機設定檔：
[root @node1 root]# vi /etc/hosts.equiv
server.cluster +

Master：

[root @server root]# vi /home/test/.rhosts
server.cluster
[root @server root]# vi /etc/skel/.rhosts
server.cluster
[root @server root]# chmod 644 /etc/skel/.rhosts

安裝 Fortran 90 的編譯程式 PGI pgf90 ( PS. server version )

請務必要下載 Server 的版本

http://www.pgroup.com/downloads.htm

1. 建立 pgi fortran 在 /cluster/server/program/pgi 底下：
[root @server root]# cd /usr/local/src
[root @server src]# mkdir pgi-fortran; cd pgi-fortran
[root @server pgi-fortran]# tar -zxvf /root/software/linux86-HPF.tar.gz
[root @server pgi-fortran]# ./install
接下來會有一些問題，請依序回答您的問題喔！
至於授權嘛！請建立吧！
最重要的地方，是在第三個問題，他會問你要安裝的目錄，請選擇
/cluster/server/program/pgi
　
2. 修改個人參數：由於 RSH 不以 root 工作，所以我以使用者 test 來測試：
[root @serer root]# vi /home/test/.bashrc
# 加入這幾行關於 PGI 的咚咚：
PGI=/cluster/server/program/pgi
export PGI
PATH=$PGI/linux86/bin:$PATH
　
3. 設定查尋路徑：
[root @server root]# vi /etc/man.config
# 加入這一行：
MANPATH /cluster/server/program/pgi/man

記得 pgf90 必須要讓所有的 node 都能夠讀的到，所以一定要安裝在 Server 的分享出去的目錄當中，我這裡的例子就是安裝在 /cluster/server/program/gpi 這個目錄當中囉！
執行檔要能夠執行，當然是必須要讓目錄在 PATH 這個變數底下，而我的 pgf90 是在 /cluster/server/program/pgi/linux86/bin 底下，所以，您的 PATH 必須要含有這個目錄才行！

安裝 MPICH

http://www-unix.mcs.anl.gov/mpi/mpich/download.html

1. 建立 mpich 在 /cluster/server/program/mpich 底下：
[root @server root]# cd /usr/local/src
[root @server src]# tar -zxvf /root/software/mpich.tar.gz
[root @server src]# cd mpich-1.2.5
[root @server mpich-1.2.5]# ./configure --enable-debug \
> -fc=pgf77 -f90=pgf90 \
> --prefix=/cluster/server/program/mpich
[root @server mpich-1.2.5]# make && make install
　
2. 建立可以利用的主機狀態：
[root @server mpich-1.2.5]# cd /cluster/server/program/mpich/share
[root @server share]# vi machines.LINUX
node1.cluster:2
node2.cluster:2
node4.cluster:2
server.cluster:2
# 這個檔案當中，格式為 <主機名稱>:<主機的 CPU 個數>
　
3. 建立需要的變數：(又是以 test 為準喔！)
[root @server root]# vi /home/test/.bashrc
# 加入這一些資料：
PATH=$PATH:/cluster/server/program/mpich/bin
export PATH
MPI_HOME=/cluster/server/program/mpich
MPI_ARCH=$MPI_HOME/bin/tarch
export MPI_ARCH MPI_HOME
[root @server root]# vi /etc/man.config
# 加入這一行：
MANPATH /cluster/server/program/mpich/man

[test @server test]$ cp -r /cluster/server/program/mpich/examples/ .
[test @server test]$ cd examples
[test @server examples]$ make pi3f90
[test @server examples]$ mpirun -np 8 pi3f90
# 上面那個 -np 後面接的就是使用 CPU 的個數啦！因為我有 8 個 node ，
# 所以當然就以最大的 CPU 個數來測試看看，如果要看到底 CPU 有沒有啟動的話，
# 可以先登入各個 slave 的主機，然後執行『 top -d 1 』來觀察 CPU 的使用率，
# 再執行上面這個程式，就能夠知道 CPU 有沒有運作了！ ^_^

其他主機相關設定：

X-Window Server/Slave 架構

您的主機應該是在 run-level 為三的文字模式底下，也就是沒有 X Window 存在』

X Server 的設定：

1. 先備份原先的設定檔：
[root @server root]# cd /etc/X11/gdm
[root @server gdm]# mv gdm.conf gdm.conf.bak
　
2. 編輯設定檔，只要底下兩行即可！
[root @server gdm]# vi gdm.conf
[xdmcp]
Enable=1
　
3. 啟動 gdm ：
[root @server gdm]# gdm
[root @server gdm]# netstat -uln
udp 0 0 0.0.0.0:177 0.0.0.0:*
# 如果有出現上面這行就對了！
[root @server gdm]# echo "/usr/bin/gdm" >> /etc/rc.d/rc.local
# 上面這行在設定開機時啟動 gdm 囉！

X Client 的設定(在 Linux 上面)：

0. 請務必要在 X Window 當中，進入 X Window 的方式有：
[root @client root]# startx
或
[root @client root]# init 5
　
1. 在 X Window 的畫面當中，啟用一個 shell ，然後輸入：
[root @client root]# xhost + 192.168.10.30
192.168.10.30 being added to access control list
[root @client root]# init 3 (離開 X Window)

2. 在文字介面下輸入：
[root @client root]# X -query 192.168.10.30
.....(進入 X Window 囉！)