2017-06-15

Файловые системы и системы хранения данных

17 минут read (About 2571 words)

Сетевое хранилише iSCSI в CentOS 7

Построение и настройка сетевого хранилища на базе iSCSI

iSCSI протокол базируется на TCP/IP и разработан для установки взаимодействия и управления системами хранения данных, серверами и клиентами.

В терминах iSCSI, сервер предоставляющий ресурсы хранилища называется target, а клиент подключённый к серверу и использующий эти ресурсы initiator.

Основные термины

IQN WWID (iSCSI Qualified Name) - уникальный идентификатор устройства.

LUN - номер «части» диска, к которому идёт обращение. Ближайший аналог — раздел на жёстком диске.

Portal - несколько target’ов, которые анонсируются одним сервером.

Установка пакетов

Установим необходимые пакеты для работы iSCSI

yum install targetcli scsi-target-utils

Запустим сервис и добавим в автозагрузку:

systemctl enable target.service
systemctl start target.service

Добавим правила на Firewall:

# firewall-cmd --permanent --zone=public --add-port=3260/tcp

Первоначальная очистка настроек в случае наличия прошлых установок:

# targetcli clearconfig confirm=true
All configuration cleared

Поскольку targetcli является интерактивной оболочкой аналогичной bash, то запускаем её командой targetcli.

# targetcli
targetcli shell version 2.1.fb41
Copyright 2011-2013 by Datera, Inc and others.
For help on commands, type 'help'.

/>

Просмотрим существующие ресурсы:

/> ls
o- / ......................................................................................................................... [...]
  o- backstores .............................................................................................................. [...]
  | o- block .................................................................................................. [Storage Objects: 0]
  | o- fileio ................................................................................................. [Storage Objects: 0]
  | o- pscsi .................................................................................................. [Storage Objects: 0]
  | o- ramdisk ................................................................................................ [Storage Objects: 0]
  o- iscsi ............................................................................................................ [Targets: 0]
  o- loopback ......................................................................................................... [Targets: 0]

Подключаем блочное устройство к iSCSI ресурсу:

cd /backstores/block/
/backstores/block> create <имяX> /dev/<устройствоX>
Created block storage object <имяX> using /dev/<устройствоX>

Отключение устройства выполняется командой:

/> delete <имя>

Создание iSCSI таргета

/> cd /iscsi
/iscsi> create
Created target <имя ресурса>
Created TPG 1.

Удаление ресурса выполняется командой:

delete <имя ресурса>

Создание портала

/> cd /iscsi/<имя ресурса>/tpg1/portals
/iscsi/<имя ресурса>/tpg1/portals/> create
Using default IP port 3260
Binding to INADDR_ANY(0.0.0.0)
Create network portal 0.0.0.0:3260
/iscsi/<имя ресурса>/tpg1/portals/> cd /iscsi

Подключение устройств в качестве логических «юнитов» (LUNs):

/> cd /iscsi/<имя ресурса>/tpg1/luns
/iscsi/<имя ресурса>/tpg1/luns> create /backstores/block/<имя1>
Created LUN 0.

Определение имён iSCSI-ресурсов (IQN) для узлов кластера:

Host-01

$ cat /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.YYYY-MM-SN-1

Host-02

$ cat /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.YYYY-MM-SN-2

Создаем список доступа (ACL) для узлов:

cd /iscsi/<имя ресурса>/tpg1/acls>
/iscsi/<имя ресурса>/tpg1/acls> create <iqn.YYYY-MM-SN-1>
Created Node ACL for <iqn.YYYY-MM-SN-1>
Created mapped LUN 0.

Подключение на стороне клиента (Initiator)

Установим необходимые пакеты:

yum install iscsi-initiator-utils

Найдем доступные iSCSI устройства:

iscsiadm -m discovery -t sendtargets -p [IP-адрес или имя хранилища]

Отредактируем идентификатор устройства в соответствии с результатами выполнения предыдущей команды:

nano /etc/iscsi/initiatorname.iscsi
InitiatorName=[идентификатор хранилища]

Запустим сервис и добавим в автозагрузку:

# systemctl restart iscsid.service
# systemctl enable iscsid.service

Проверяем состояние на ноде:

[ceph@node-01 ~]$ sudo iscsiadm -m discovery -P 1
SENDTARGETS:
DiscoveryAddress: 10.0.10.71,3260
Target: iqn.2003-01.org.linux-iscsi.storage.x8664:sn.f21ewa8e92de
        Portal: 10.11.10.71:3260,1
                Iface Name: default
iSNS:
No targets found.
STATIC:
No targets found.
FIRMWARE:
No targets found.
[ceph@node-01 ~]$ sudo iscsiadm -m node -P 1
Target: iqn.2003-01.org.linux-iscsi.storage.x8664:sn.f21ewa8e92de
        Portal: 10.11.10.71:3260,1
                Iface Name: default

И на сервере:

# targetcli sessions
alias: node-01      sid: 1 type: Normal session-state: LOGGED_IN

Для удаления связи используем команду:

iscsiadm -m node -o delete -T [идентификатор хранилища] -p [адрес или имя хранилища]

Для закрытия сессии:

iscsiadm -m node -u -T [идентификатор хранилища] -p [адрес или имя хранилища]

Для удаления доступных записей:

iscsiadm -m discoverydb -t sendtargets -p [адрес или имя хранилища] -o delete

Данный пример подходит для настройки в локальной сети. Для работы с внешним миром лучше использовать CHAP авторизацию.

Конфигурация с CHAP авторизацией

Повторяем предыдущие действия. На шаге настроек списков доступа настриваем авторизацию по логину и паролю.

/iscsi/<имя ресурса>/tpg1/acls> cd <iqn.YYYY-MM-SN-1>
/iscsi/<iqn.YYYY...N-1> set auth userid=user
Parameter userid is now 'user'.
/iscsi/<iqn.YYYY...N-1> set auth password=password
Parameter password is now 'password'.

Сохраняем настройки и выходим из оболочки:

/> cd /
/> saveconfig
Last 10 configs saved in /etc/target/backup.
Configuration saved to /etc/target/saveconfig.json

/> exit
Global pref auto_save_on_exit=true
Last 10 configs saved in /etc/target/backup.
Configuration saved to /etc/target/saveconfig.json

Перезагружаем сервис:

systemctl restart target.service

Настроим клиент для работы с CHAP, для этого изменим конфигурационный файл /etc/iscsi/iscsid.conf:

# To enable CHAP authentication set node.session.auth.authmethod
# to CHAP. The default is None.
node.session.auth.authmethod = CHAP

# To set a CHAP username and password for initiator
# authentication by the target(s), uncomment the following lines:
node.session.auth.username = user
node.session.auth.password = password

И подлкючаемся:

iscsiadm -m node -T [идентификатор хранилища] -p [адрес или имя хранилища] -l

Для снижения вычислительных затрат на создание и обработку SCSI-команд был создан TCP/IP offload engine (TOE). Для достижения наилучшей производительности рекомендуется использовать iSCSI-адаптеры, в которых кроме TOE аппаратно реализован и уровень iSCSI

# centos, networks