硬件配置

我们的Proxmox集群配置目前是1存储节点：A（14盘RaidZ3）+ 2计算节点：B&C（纯SSD）+2存储备份节点：D&E。其中存储节点A与B&C是10G网卡直连的，其余节点通过1G交换机互联。原本是试用NFS进行挂载然后虚拟化的，但是NFS的IO存在严重的瓶颈，因此打算改为ZFS-on-iSCSI
这里注意！硬件上必须10Gb网卡直连，否则网速瓶颈非常影响性能！

配置iSCSI Target

以下内容均在存储服务器A中操作。

安装管理软件包

apt -y install tgt dkms

新建目录并dd一个块

root@PVE-EU-3 ~ # df -h

Filesystem      Size  Used Avail Use% Mounted on

udev             63G     0   63G   0% /dev

tmpfs            13G  1.7M   13G   1% /run

/dev/sda3       5.5T   25G  5.2T   1% /

tmpfs            63G   66M   63G   1% /dev/shm

tmpfs           5.0M     0  5.0M   0% /run/lock

tmpfs            63G     0   63G   0% /sys/fs/cgroup

/dev/sda2       488M  108M  355M  24% /boot

pve-eu-3-zfs     54T  1.4T   53T   3% /pve-eu-3-zfs

/dev/fuse        30M  144K   30M   1% /etc/pve

tmpfs            13G     0   13G   0% /run/user/0

可以看到存储空间在/pve-eu-3-zfs，所以新建一个5T的区域

root@PVE-EU-3 ~ # mkdir /pve-eu-3-zfs/iscsi_disks

root@PVE-EU-3 ~ # dd if=/dev/zero of=/pve-eu-3-zfs/iscsi_disks/iscsi_eu_1.img count=0 bs=1 seek=5T

0+0 records in

0+0 records out

0 bytes copied, 6.2989e-05 s, 0.0 kB/s

root@PVE-EU-3 ~ # cd /pve-eu-3-zfs/iscsi_disks/

root@PVE-EU-3 /pve-eu-3-zfs/iscsi_disks # ls -lht

total 512

-rw-r--r-- 1 root root 5.0T Jan 28 13:40 iscsi_eu_1.img

配置iSCSI Target

新建配置文件 /etc/tgt/conf.d/target_eu_1.conf，写入以下信息：

<target iqn.2020-01.pve-eu-3:iscsieu1>

    backing-store /pve-eu-3-zfs/iscsi_disks/iscsi_eu_1.img

    initiator-address 172.17.1.1

    incominguser pve-eu-1 这里输入密码

</target>

然后systemctl restart tgt重启服务。

验证一下服务运行情况

root@PVE-EU-3 /pve-eu-3-zfs/iscsi_disks # service istgt status

● istgt.service - LSB: iSCSI userspace target for kFreeBSD systems

   Loaded: loaded (/etc/init.d/istgt; generated)

   Active: active (exited) since Tue 2020-01-28 14:11:40 CET; 32s ago

     Docs: man:systemd-sysv-generator(8)

  Process: 1492 ExecStart=/etc/init.d/istgt start (code=exited, status=0/SUCCESS)

Jan 28 14:11:35 PVE-EU-3 systemd[1]: Starting LSB: iSCSI userspace target for kFreeBSD systems…
Jan 28 14:11:36 PVE-EU-3 istgt[1492]: /etc/init.d/istgt: invalid arguments
Jan 28 14:11:37 PVE-EU-3 istgt[1492]: /etc/init.d/istgt: invalid arguments
Jan 28 14:11:38 PVE-EU-3 istgt[1492]: /etc/init.d/istgt: invalid arguments
Jan 28 14:11:39 PVE-EU-3 istgt[1492]: /etc/init.d/istgt: invalid arguments
Jan 28 14:11:40 PVE-EU-3 istgt[1492]: /etc/init.d/istgt: invalid arguments
Jan 28 14:11:40 PVE-EU-3 systemd[1]: Started LSB: iSCSI userspace target for kFreeBSD systems.