1.4. Установка и подключение оборудования кластера

1.4.4.1. Настройка SCSI-шины с одним инициатором

SCSI-шина с одним инициатором позволяет подключить к ней только один узел кластера, обеспечивая при этом изоляцию узлов и большую производительность, чем шина с несколькими инициаторами. Шины с одним инициатором гарантируют независимость одного узла от большой нагрузки, инициализации или наладки других узлов.

Используя RAID-массив с одним или двумя контроллерами, имеющий несколько портов и обеспечивающий одновременный доступ с этих портов ко всем общим логическим единицам хранилища, вы можете использовать шины SCSI с одним инициатором для подключения к RAID-массиву каждого узла кластера. Если логическая единица устройства переносится с одного контроллера на другой, это происходит незаметно для операционной системы. Обратите внимание, некоторые RAID-контроллеры ограничивают подключение к набору дисков определённым контроллером или портом. В этом случае невозможно использовать конфигурацию шины с одним инициатором.

Конфигурация шины с одним инициатором должна соответствовать требованиям, приведенным в разделе B.2 Требования к конфигурации шины SCSI.

Для построения конфигурации шины SCSI с одним инициатором требуется:

• Включить терминатор шины на каждом хост-адаптере.

• Включить терминатор на RAID-контроллере.

• Использовать подходящий SCSI кабель для подключения каждого адаптера к внешнему хранилищу.

Включение терминатора на адаптере шины обычно производится в BIOS адаптера при загрузке компьютера. За указаниями по включению терминатора на RAID-контроллере, обратитесь к документации производителя. На рисунке 1-5 показана конфигурация, использующая две шины SCSI с одним инициатором.

На рисунке 1-6 показано подключение терминаторов к RAID-массиву с одним контроллером, подключенным к двум SCSI-шинам с одним инициатором.

На рисунке 1-7 показано подключение терминаторов к RAID-массиву с двумя контроллерами, подключенными к двум SCSI-шинам с одним инициатором.

1.4.4.2. Настройка соединения Fibre Channel

Канал Fibre Channel может использоваться в конфигурациях с одним и с несколькими инициаторами.

Соединение Fibre Channel с одним инициатором допускает подключение только одного узла. При этом достигается большая независимость и увеличение производительности, по сравнению с шиной с несколько инициаторами. Соединения с одним инициатором гарантируют, что любой узел не зависит от большой нагрузки, инициализации или выхода из строя другого узла.

Если вы применяете RAID-массив с несколькими портами, предоставляющий одновременный доступ с разных портов ко всем общим логическим единицам устройств, используйте соединители Fibre Channel с одним инициатором для подключения к RAID-массиву всех узлов кластера. Если логическая единица устройства переносится с одного контроллера на другой, это происходит незаметно для операционной системы.

На рисунке 1-8 показан RAID-массив с одним контроллером и двумя портами, при этом хост-адаптеры подключены к RAID-контроллеру напрямую, без коммутаторов или концентраторов Fibre Channel. В случае такого соединения Fibre Channel с одним инициатором, каждому узлу кластера потребуется отдельный порт вашего RAID-контроллера.

Внешний RAID-массив должен предоставить каждому узлу кластера отдельный канал SCSI. В кластерах с более чем двумя узлами, подключите каждый узел к своему SCSI-каналу RAID-массива, используя шину SCSI с одним инициатором, как показано на рисунке 1-8.

Для подключения нескольких узлов кластера к одному порту RAID-массивы, воспользуйтесь FC-коммутатором или концентратором. В этом случае, каждый хост-адаптер подсоединяется к этому коммутатору или концентратору, который, в свою очередь соединяется с портом RAID-контроллера.

Концентратор или коммутатор Fibre Channel также потребуется для RAID-массива с двумя контроллерами, с двумя портами каждый. Эта конфигурация показана на рисунке 1-9. Дополнительные узлы кластера могут быть подключены к концентратору или коммутатору Fibre Channel, как показано на рисунке. В некоторых RAID-массивах встроен концентратор, каждый порт которого подключен к внутренним RAID-контроллерам. В этом случае, дополнительный концентратор или коммутатор не требуется.

1.4.4.3. Настройка общих разделов кластера

Для основного общего и теневого общего разделов необходимо создать на общем дисковом хранилище два неформатированных устройства. Каждый общий раздел должен иметь размер как минимум 10 Мбайт. Объём данных в кворумном разделе остаётся постоянным с течением времени.

Общие разделы используются для хранения информации о состоянии кластера, включая следующую:

• Состояние блокировок кластера

• Состояние служб

• Информация о конфигурации

Время от времени каждый узел записывает информацию о состоянии своих служб в общее хранилище. Кроме этого, общий раздел содержит версию файла конфигурации кластера. Таким образом гарантируется, что все узлы представляют себе конфигурацию кластера одинаково.

Если основной общий раздел испорчен, узлы кластера получают информацию с теневого (резервного) общего раздела и в то же время исправляют основной раздел. Целостность данных сохраняется с помощью контрольных сумм и любые несоответствия между разделами исправляются автоматически.

Если узел не сможет при загрузке записать состояние в оба раздела, ему не будет позволено включиться в кластер. Кроме этого, если действующий узел не может выполнить запись в оба общих раздела, он сам исключит себя из кластера, перегрузившись (или может быть удалённо перегружен другим, работающим узлом кластера).

Ниже приведены требования к общим разделам:

• Каждый общий раздел должен иметь размер как минимум 10 Мбайт.

• Общие разделы должны быть неформатированными устройствами. Они не могут содержать файловых систем.

• Общие разделы могут использоваться только для сохранения состояния кластера и информации о конфигурации.

Ниже приведены рекомендации по настройке общих разделов:

• Настоятельно рекомендуется использовать для общего хранилища RAID-массивы, а для логической единицы, содержащей общие разделы, применить RAID-1 (зеркалирование). По своему усмотрению, вы можете использовать RAID-массивы с чётностью, также обеспечивающие доступность данных. Не используйте для общих разделов RAID-0 (чередование).

• Располагайте общие разделы на одном наборе RAID, или, если RAID не применяется, на одном диске, так как для включения кластера оба общих раздела должны быть доступны.

• Не размещайте общие разделы на диске, содержащем постоянно используемые данные. Если это возможно, разместите общие разделы на дисках, к которым службы обращаются редко.

За дополнительной информацией о создании общих разделов обратитесь к разделу 1.4.4.4 Разбиение дисков на разделы и разделу 1.4.4.5 Создание неформатированных устройств.

В разделе 2.5 Редактирование файла rawdevices вы найдёте информацию о редактировании файла rawdevices для связи неформатированных символьных устройств с блочными устройствами при загрузке системы.

1.4.4.4. Разбиение дисков на разделы

После того, как вы настроили оборудование общего дискового хранилища, выполните разбиение дисков на разделы, чтобы их можно было использовать в кластере. Затем, создайте в разделах файловые системы или неформатированные устройства. Например, для организации общих разделов должны быть созданы два неформатированных устройства, в соответствии с указаниями, приведенными в разделе 1.4.4.3 Настройка общих разделов кластера.

С помощью parted отредактируйте таблицу разбиения диска и разбейте диск на разделы. Запустив программу parted, введите команду p для отображения таблицы разбиения, а затем команду mkpart для создания новых разделов. В следующем пример показано, как с помощью parted создать на диске раздел:

• Запустите parted из оболочки, выполнив команду parted и указав доступное общее дисковое устройство. В приглашении (parted) введите p для просмотра текущей таблицы разбиения. При этом на экране появится примерно следующее:

  Disk geometry for /dev/sda: 0.000-4340.294 megabytes Disk label type: msdos Minor Start End Type Filesystem Flags

• Определитесь, раздел какого размера вам потребуется. Создайте раздел этого размера, выполнив команду mkpart в программе parted. Хотя команда mkpart не создаёт файловую систему, обычно при создании раздела она запрашивает тип файловой системы. В parted размер раздела определяется его границами на диске; размер – это разница между концом и началом заданного диапазона. В следующем примере показано, как создать на пустом диске два раздела по 20 Мбайт каждый.

  (parted) mkpart primary ext3 0 20 (parted) mkpart primary ext3 20 40 (parted) p Disk geometry for /dev/sda: 0.000-4340.294 megabytes Disk label type: msdos Minor Start End Type Filesystem Flags 1 0.030 21.342 primary 2 21.343 38.417 primary

• Если на одном диске нужно создать более четырёх разделов, потребуется создать дополнительный раздел. Если вам понадобился дополнительный раздел, mkpart может создать и его. В этом случае указывать тип файловой системы не нужно.

  	Замечание
  	Можно создать только один дополнительный раздел, и этот раздел должен быть одним из четырёх основных.

  (parted) mkpart extended 40 2000 (parted) p Disk geometry for /dev/sda: 0.000-4340.294 megabytes Disk label type: msdos Minor Start End Type Filesystem Flags 1 0.030 21.342 primary 2 21.343 38.417 primary 3 38.417 2001.952 extended

• Расширенный раздел позволяет создавать в нём логические разделы. В следующем примере показано разделение расширенного раздела на два логических.

  (parted) mkpart logical ext3 40 1000 (parted) p Disk geometry for /dev/sda: 0.000-4340.294 megabytes Disk label type: msdos Minor Start End Type Filesystem Flags 1 0.030 21.342 primary 2 21.343 38.417 primary 3 38.417 2001.952 extended 5 38.447 998.841 logical (parted) mkpart logical ext3 1000 2000 (parted) p Disk geometry for /dev/sda: 0.000-4340.294 megabytes Disk label type: msdos Minor Start End Type Filesystem Flags 1 0.030 21.342 primary 2 21.343 38.417 primary 3 38.417 2001.952 extended 5 38.447 998.841 logical 6 998.872 2001.952 logical

• Удалить раздел в parted можно с помощью команды rm. Например:

  (parted) rm 1 (parted) p Disk geometry for /dev/sda: 0.000-4340.294 megabytes Disk label type: msdos Minor Start End Type Filesystem Flags 2 21.343 38.417 primary 3 38.417 2001.952 extended 5 38.447 998.841 logical 6 998.872 2001.952 logical

• Создав все требуемые разделы, выйдите из parted, выполнив команду quit. Если раздел был добавлен, удалён или изменён при других включённых и подключенных к общему хранилищу узлах кластера, потребуется перезагрузить их, чтобы они среагировали на внесённые изменения. Разбив диск на разделы, отформатируйте разделы, прежде чем использовать их в кластере. Например, создайте файловые системы или неформатированные устройства для общих разделов. За дополнительной информаций обратитесь к разделу 1.4.4.5 Создание неформатированных устройств и разделу 1.4.4.6 Создание файловых систем.

  С основами разбиения дисков при установке системы вы можете познакомиться в Руководстве по установке Red Hat Enterprise Linux.

1.4.4.5. Создание неформатированных устройств

Выполнив разбиение дисков общего хранилища, создайте на разделах неформатированные устройства. Файловые системы являются блочными устройствами (например, /dev/sda1), которые кэшируют недавно использованные данные в памяти, тем самым увеличивая быстродействие. Неформатированные устройства не используют системную память для кэширования. За дополнительной информацией обратитесь к разделу 1.4.4.6 Создание файловых систем.

Red Hat Enterprise Linux поддерживает неформатированные символьные устройства, не связанные жёстко с блочными устройствами. Вместо этого, Red Hat Enterprise Linux использует код старшего символа (в данный момент 162) для реализации набора неформатированных устройств в каталоге /dev/raw/. Любое блочное устройство может иметь соответствующее ему символьное неформатированное устройство, даже если поддержка блочного устройства загружается после загрузки системы.

Связь неформатированного символьного устройства с соответствующим блочным устройством определяется в файле /etc/sysconfig/rawdevices, в котором описывается, будет ли позволено открытие, запись и чтение данного устройства.

Общие разделы и некоторые приложения баз данных требуют применения неформатированных устройств, так как эти приложения для увеличения быстродействия выполняют собственное кэширование. Общие разделы не должны содержать файловых систем, так как, если данные о состоянии будут кэшироваться в памяти, узлы не смогут иметь полной картины состояния кластера.

Неформатированные символьные устройства должны привязываться к соответствующим блочным устройствам при каждой загрузке системы. Чтобы добиться этого, отредактируйте файл /etc/sysconfig/rawdevices и укажите привязки общих разделов. Если кластерная служба использует неформатированные устройства, также определите в этом файле необходимые привязки. За дополнительной информацией обратитесь к разделу 2.5 Редактирование файла rawdevices.

Изменения, внесённые в файл /etc/sysconfig/rawdevices, вступят в силу после перезагрузки или выполнения следующей команды:

service rawdevices restart

Проверьте присутствие всех неформатированных устройств, выполнив команду raw -aq. При этом на экране появится примерно следующее:

/dev/raw/raw1   bound to major 8, minor 17 
/dev/raw/raw2   bound to major 8, minor 18  

Обратите внимание, кэш блочного устройства никак не связан с неформатированным устройством. Кроме этого, запросы к такому устройству должны быть выровнены по границе 512 байт и в памяти и на диске. Например, стандартная команда dd не может быть использована с неформатированными устройствами, так как буфер памяти, который передается в системную процедуру, не выровнен по границе 512 байт.

За дополнительной информацией об использовании команды raw, обратитесь к странице man raw(8).

	Замечание
	На всех узлах кластера нужно использовать одинаковые имена неформатированных устройств (например, /dev/raw/raw1 и /dev/raw/raw2).

1.4.4.6. Создание файловых систем

Используйте команду mkfs для создания файловой системы ext3. Например:

mke2fs -j -b 4096 /dev/sde3

Для увеличения производительности общих файловых систем, определите размер блока равным 4 Кбайт, передав параметр -b команде mke2fs. При использовании блоков меньшего размера, fsck обычно работает дольше.