第十八章、網路磁碟裝置：iSCSI 伺服器

# 1. 建立大型檔案：
[root@www ~]# mkdir /home/iscsi
[root@www ~]# dd if=/dev/zero of=/home/iscsi/disk1.img bs=1M count=1024
[root@www ~]# ls -lh /home/iscsi/disk1.img
-rw-r--r-- 1 root root 1.0G  4月 22 13:24 /home/iscsi/disk1.img  <==容量對的！

# 2. 建立實際的 partition 分割：
[root@www ~]# fdisk /dev/sda  <==實際的分割方式自己處理吧！
[root@www ~]# fdisk -l
   Device Boot      Start         End      Blocks   Id  System
/dev/sda7            1950        2076     1020096   83  Linux
# 只有輸出 /dev/sda7 資訊，其他的都省略了。注意看容量，上述容量單位 KB

[root@www ~]# swapon -s; mount | grep 'sda7'
# 你得要自己測試一下 /dev/sda7 不能夠被使用喔！若有被使用，請 umount 或 swapoff

# 3. 建立 LV 裝置 ：
[root@www ~]# lvcreate -L 2G -n iscsi01 server
[root@www ~]# lvscan
  ACTIVE            '/dev/server/server' [25.00 GB] inherit
  ACTIVE            '/dev/server/iscsi01' [2.00 GB] inherit

iqn.yyyy-mm.<reversed domain name>:identifier
iqn.年年-月.單位網域名的反轉寫法  :這個分享的target名稱

[root@www ~]# vim /etc/tgt/targets.conf
# 此檔案的語法如下：
<target iqn.相關裝置的target名稱>
    backing-store /你的/虛擬裝置/完整檔名-1
    backing-store /你的/虛擬裝置/完整檔名-2
</target>

<target iqn.2011-04.vbird.centos:vbirddisk>
    backing-store /home/iscsi/disk1.img <==LUN 1 (LUN 的編號通常照順序)
    backing-store /dev/sda7             <==LUN 2
    backing-store /dev/server/iscsi01   <==LUN 3
</target>

[root@www ~]# vim /etc/tgt/targets.conf
<target iqn.2011-04.vbird.centos:vbirddisk>
    backing-store /home/iscsi/disk1.img
    backing-store /dev/sda7
    backing-store /dev/server/iscsi01
    initiator-address 192.168.100.0/24
    incominguser vbirduser vbirdpasswd
    write-cache off
</target>

[root@www ~]# /etc/init.d/tgtd start
[root@www ~]# chkconfig tgtd on
[root@www ~]# netstat -tlunp | grep tgt
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address   Foreign Address   State   PID/Program name
tcp        0      0 0.0.0.0:3260    0.0.0.0:*         LISTEN  26944/tgtd
tcp        0      0 :::3260         :::*              LISTEN  26944/tgtd
# 重點就是那個 3260 TCP 封包啦！等一下的防火牆務必要開放這個埠口。

# 觀察一下我們 target 相關資訊，以及提供的 LUN 資料內容：
[root@www ~]# tgt-admin --show
Target 1: iqn.2011-04.vbird.centos:vbirddisk  <==就是我們的 target
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
    LUN information:
        LUN: 0
            Type: controller    <==這是個控制器，並非可以用的 LUN 喔！
....(中間省略)....
        LUN: 1
            Type: disk          <==第一個 LUN，是磁碟 (disk) 喔！
            SCSI ID: IET     00010001
            SCSI SN: beaf11
            Size: 1045 MB       <==容量有這麼大！
            Online: Yes
            Removable media: No
            Backing store type: rdwr
            Backing store path: /dev/sda7 <==磁碟所在的實際檔名
            Backing store flags:
        LUN: 2
            Type: disk
            SCSI ID: IET     00010002
            SCSI SN: beaf12
            Size: 2147 MB
            Online: Yes
            Removable media: No
            Backing store type: rdwr
            Backing store path: /dev/server/iscsi01
            Backing store flags:
        LUN: 3
            Type: disk
            SCSI ID: IET     00010003
            SCSI SN: beaf13
            Size: 1074 MB
            Online: Yes
            Removable media: No
            Backing store type: rdwr
            Backing store path: /home/iscsi/disk1.img
            Backing store flags:
    Account information:
        vbirduser        <==額外的帳號資訊
    ACL information:
        192.168.100.0/24 <==額外的來源 IP 限制

[root@www ~]# vim /usr/local/virus/iptables/iptables.allow
iptables -A INPUT  -p tcp -s 192.168.100.0/24 --dport 3260 -j ACCEPT

[root@www ~]# /usr/local/virus/iptables/iptables.rule
[root@www ~]# iptables-save | grep 3260
-A INPUT -s 192.168.100.0/255.255.255.0 -p tcp -m tcp --dport 3260 -j ACCEPT
# 最終要看到上述的輸出字樣才是 OK 的呦！若有其他用戶需要連線，
# 自行複製 iptables.allow 內的語法，修改來源端即可。

[root@client ~]# vim /etc/iscsi/iscsid.conf
node.session.auth.username = vbirduser   <==在 target 時設定的
node.session.auth.password = vbirdpasswd <==約在 38, 39 行
discovery.sendtargets.auth.username = vbirduser  <==約在 52, 53 行
discovery.sendtargets.auth.password = vbirdpasswd

[root@client ~]# /etc/init.d/iscsid start
[root@client ~]# /etc/init.d/iscsi start
iscsid (pid  9840) 正在執行...
正在設置 iSCSI 目標（targets）: iscsiadm: No records found!  [  確定  ]
# 因為我們尚未偵測 target 的相關資訊，所以顯示找不到 (no record) 是正常的！

[root@client ~]# chkconfig iscsid on
[root@client ~]# chkconfig iscsi on

[root@client ~]# iscsiadm -m discovery -t sendtargets -p IP:port
選項與參數：
-m discovery   ：使用偵測的方式進行 iscsiadmin 指令功能；
-t sendtargets ：透過 iscsi 的協定，偵測後面的設備所擁有的 target 資料
-p IP:port     ：就是那部 iscsi 設備的 IP 與埠口，不寫埠口預設是 3260 囉！

範例：偵測 192.168.100.254 這部 iSCSI 設備的相關資料
[root@client ~]# iscsiadm -m discovery -t sendtargets -p 192.168.100.254
192.168.100.254:3260,1  iqn.2011-04.vbird.centos:vbirddisk
# 192.168.100.254:3260,1 ：在此 IP, 埠口上面的 target 號碼，本例中為 target1
# iqn.2011-04.vbird.centos:vbirddisk ：就是我們的 target 名稱啊！

[root@client ~]# ll -R /var/lib/iscsi/nodes/
/var/lib/iscsi/nodes/iqn.2011-04.vbird.centos:vbirddisk
/var/lib/iscsi/nodes/iqn.2011-04.vbird.centos:vbirddisk/192.168.100.254,3260,1
# 上面的特殊字體部分，就是我們利用 iscsiadm 偵測到的 target 結果！

範例：根據前一個步驟偵測到的資料，啟動全部的 target
[root@client ~]# /etc/init.d/iscsi restart
Stopping iSCSI daemon:
iscsid 已停止                                    [  確定  ]
Starting iSCSI daemon:                           [  確定  ]
正在設置 iSCSI 目標（targets）: Logging in to [iface: default, 
target: iqn.2011-04.vbird.centos:vbirddisk, portal: 192.168.100.254,3260]
Login to [iface: default, target: iqn.2011-04.vbird.centos:vbirddisk, 
portal: 192.168.100.254,3260] successful.        [  確定  ]
# 將系統裡面全部的 target 通通以 /var/lib/iscs/nodes/ 內的設定登入
# 上面的特殊字體比較需要注意啦！你只要做到這裡即可，底下的瞧瞧就好。

範例：顯示出目前系統上面所有的 target 資料：
[root@client ~]# iscsiadm -m node
192.168.100.254:3260,1 iqn.2011-04.vbird.centos:vbirddisk
選項與參數：
-m node：找出目前本機上面所有偵測到的 target 資訊，可能並未登入喔

範例：僅登入某部 target ，不要重新啟動 iscsi 服務
[root@client ~]# iscsiadm -m node -T target名稱 --login
選項與參數：
-T target名稱：僅使用後面接的那部 target ，target 名稱可用上個指令查到！
--login      ：就是登入啊！

[root@client ~]# iscsiadm -m node -T iqn.2011-04.vbird.centos:vbirddisk \
>  --login
# 這次進行會出現錯誤，是因為我們已經登入了，不可重複登入喔！

[root@client ~]# fdisk -l
Disk /dev/sda: 8589 MB, 8589934592 bytes  <==這是原有的那顆磁碟，略過不看
....(中間省略)....

Disk /dev/sdb: 1044 MB, 1044578304 bytes
33 heads, 61 sectors/track, 1013 cylinders
Units = cylinders of 2013 * 512 = 1030656 bytes
Disk /dev/sdb doesn't contain a valid partition table

Disk /dev/sdc: 2147 MB, 2147483648 bytes
67 heads, 62 sectors/track, 1009 cylinders
Units = cylinders of 4154 * 512 = 2126848 bytes
Disk /dev/sdc doesn't contain a valid partition table

Disk /dev/sdd: 1073 MB, 1073741824 bytes
34 heads, 61 sectors/track, 1011 cylinders
Units = cylinders of 2074 * 512 = 1061888 bytes
Disk /dev/sdd doesn't contain a valid partition table

[root@client ~]# iscsiadm -m node -T targetname --logout
[root@client ~]# iscsiadm -m node -o [delete|new|update] -T targetname
選項與參數：
--logout ：就是登出 target，但是並沒有刪除 /var/lib/iscsi/nodes/ 內的資料
-o delete：刪除後面接的那部 target 連結資訊 (/var/lib/iscsi/nodes/*)
-o update：更新相關的資訊
-o new   ：增加一個新的 target 資訊。

範例：關閉來自鳥哥的 iSCSI target 的資料，並且移除連結
[root@client ~]# iscsiadm -m node   <==還是先秀出相關的 target iqn 名稱
192.168.100.254:3260,1 iqn.2011-04.vbird.centos:vbirddisk
[root@client ~]# iscsiadm -m node -T iqn.2011-04.vbird.centos:vbirddisk \
>  --logout
Logging out of session [sid: 1, target: iqn.2011-04.vbird.centos:vbirddisk,
   portal: 192.168.100.254,3260]
Logout of [sid: 1, target: iqn.2011-04.vbird.centos:vbirddisk, portal: 
   192.168.100.254,3260] successful.
# 這個時候的 target 連結還是存在的，雖然登出你還是看的到！

[root@client ~]# iscsiadm -m node -o delete \
<  -T iqn.2011-04.vbird.centos:vbirddisk
[root@client ~]# iscsiadm -m node
iscsiadm: no records found! <==嘿嘿！不存在這個 target 了～

[root@client ~]# /etc/init.d/iscsi restart
# 你會發現唔！怎麼 target 的資訊不見了！這樣瞭了乎！

# 1. 啟動 iscsi ，並且開始偵測及登入 192.168.100.254 上面的 target 名稱
[root@client ~]# /etc/init.d/iscsi restart
[root@client ~]# chkconfig iscsi on
[root@client ~]# iscsiadm -m discovery -t sendtargets -p 192.168.100.254
[root@client ~]# /etc/init.d/iscsi restart
[root@client ~]# iscsiadm -m node
192.168.100.254:3260,1 iqn.2011-04.vbird.centos:vbirddisk

# 2. 開始處理 LVM 的流程，由 PV, VG, LV 依序處理喔！
[root@client ~]# fdisk -l    <==出現的資料中你會發現 /dev/sd[b-d]
[root@client ~]# pvcreate /dev/sd{b,c,d}  <==建立 PV 去！
  Wiping swap signature on /dev/sdb
  Physical volume "/dev/sdb" successfully created
  Physical volume "/dev/sdc" successfully created
  Physical volume "/dev/sdd" successfully created

[root@client ~]# vgcreate iscsi /dev/sd{b,c,d}  <==建立 VG 去！
  Volume group "iscsi" successfully created

[root@client ~]# vgdisplay  <==要找到可用的容量囉！
  --- Volume group ---
  VG Name               iscsi
....(中間省略)....
  Act PV                3
  VG Size               3.96 GB
  PE Size               4.00 MB
  Total PE              1015  <==就是這玩意兒！共 1015 個！
  Alloc PE / Size       0 / 0
  Free  PE / Size       1015 / 3.96 GB
....(底下省略)....

[root@client ~]# lvcreate -l 1015 -n disk iscsi
  Logical volume "disk" created

[root@client ~]# lvdisplay
  --- Logical volume ---
  LV Name                /dev/iscsi/disk
  VG Name                iscsi
  LV UUID                4dVHGL-JCNL-I09S-9McZ-c9HX-TEI1-Cdvzwg
  LV Write Access        read/write
  LV Status              available
  # open                 0
  LV Size                3.96 GB  <==注意一下容量對不對啊！
  Current LE             1015
  Segments               3
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:2

# 3. 開始格式化，並且進行開機自動掛載的動作！
[root@client ~]# mkfs -t ext3 /dev/iscsi/disk
[root@client ~]# mkdir -p /data/iscsi
[root@client ~]# vim /etc/fstab
/dev/iscsi/disk   /data/iscsi   ext3   defaults,_netdev   1   2

[root@client ~]# mount -a
[root@client ~]# df -Th
檔案系統      類型    容量  已用 可用 已用% 掛載點
/dev/mapper/iscsi-disk
              ext3    4.0G   72M  3.7G   2% /data/iscsi

[root@www ~]# tgt-admin --show
Target 1: iqn.2011-04.vbird.centos:vbirddisk
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
        I_T nexus: 3
            Initiator: iqn.1994-05.com.redhat:f0c38480f211 <==不是很喜歡的名字！
            Connection: 0
                IP Address: 192.168.100.100   <==就是這裡連線進來囉！
    LUN information:
....(後面省略)....

# 1. 先在 iSCSI initiator 上面進行如下動作：
[root@client ~]# vim /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.2011-04.vbird.centos:initiator
[root@client ~]# /etc/init.d/iscsi restart

# 2. 在 iSCSI target 上面就可以發現如下的資料修訂了：
[root@www ~]# tgt-admin --show
Target 1: iqn.2011-04.vbird.centos:vbirddisk
    System information:
        Driver: iscsi
        State: ready
    I_T nexus information:
        I_T nexus: 5
            Initiator: iqn.2011-04.vbird.centos:initiator
            Connection: 0
                IP Address: 192.168.100.100
....(後面省略)....