Admin: 1 версия импортирована

2023-02-27T18:39:14Z

1 версия импортирована

← Предыдущая версия	Версия от 21:39, 27 февраля 2023
(нет различий)

lor>Cetjs2: Откат правок Abc123456 (обсуждение) к версии Mandala

2018-05-04T11:19:19Z

Откат правок Abc123456 (обсуждение) к версии Mandala

Новая страница

'''GPFS''' (General Parallel File System) - коммерческая кластерная файловая система с закрытым исходным кодом от голубого гиганта. Широко известна ввиду того, что многие постоянные участники HPC Top500 используют именно её.

Из самых очевидных плюсов хотелось бы отметить
* Возможность страйпа файлов между сетевыми дискам
* Легкое централизованное управление всем кластерным хранилищем с любого из нодов
* Выполнение задач по обслуживанию ФС без времени простоя и необходимости демонтирования ФС
* Технологии внутренней индексации, репликации и проч.

Есть и минусы:
* Закрытость, платность

Поддерживаемые ОС:
* Linux. Сборки доступны для RHEL4 и SLES (i386, x86_64)
* AIX 5L
* Microsoft Windows Server 2003 R2 (x86_64)

== Быстрый старт ==

1. Скачиваем и ставим установочные пакеты. Они имеют нумерацию версий x.y.0, например 3.2.0.

2. Скачиваем и ставим обновления. В имени пакета присутствует слово update. Версия пакета: x.y.z, z != 0. [http://www14.software.ibm.com/webapp/set2/sas/f/gpfs/home.html Апдейты свободно скачиваются с сайта IBM].

3. GPFS портирована с AIX и работает через прослойку mmfs. Нужно вручную собрать этот ''portability layer''.
<pre>cd to /usr/lpp/mmfs/src
make Autoconfig
make World
make InstallImages
</pre>

4. Теперь делаем GPFS-кластер. Здесь описываем ноды, а также основной и вторичный сервер конфигурации кластера <pre>mmcrcluster -N node01:quorum,node02:quorum -p node01 -s node02 -r /usr/bin/ssh -R /usr/bin/scp</pre>

5. Создаем NSDs (Network Shared Disks). Для этого пишем текстовый файл конфигурации вида <pre>ИмяДиска:СписокНод::DiskUsage:FailureGroup:DesiredName</pre>
Например
<pre>
/dev/sdc:node01,node02::::
/dev/sdd:node02,node01::::
</pre>
К сожалению, команда создания NSD (след.пункт) не отрабатывает разделы и диски с путями сложнее /dev/sd[a-z][0-9]+, выдавая какую-то несуразицу в ответ, поэтому пытаться задавать /dev/disk/by-path/.... бесполезно.

6. Скармливаем ''diskdef.txt'' команде создания кластера.
<pre>mmcrfs gpfs1 -F diskdef.txt -A yes -T /gpfs</pre>
* ''gpfs1'' - имя-идентификатор NSD.
* ''-A yes'' означает "монтировать автоматом" при ''/etc/init.d/gpfs start''.
* ''-T /gpfs'' точка монтирования. Это всё прописывается в том числе и в ''/etc/fstab''.

7. Осталось только примонтировать. Следующая простая команда выполняется на одном из нодов:
<pre>mmmount /gpfs -a</pre>
* ''-a'' означает примонтировать на всех нодах одновременно.
== Установили? Идём дальше ==

Из минималистичного мануала по установке наверное стало предельно понятно, как образовываются названия GPFS-утилит исходя из их назначения. Постоянный префикс mm позволяет легко идентифицировать все утилиты GPFS.
* ''mmcrЧТОТО'' и ''mmaddЧТОТО'' - создать/добавить ЧТОТО, например кластер (''cluster''), сетевой диск (''nsd''), файлуху на диске (''fs'') и т.д.
* ''mmdelЧТОТО'' - удалить созданное.
* ''mmchЧТОТО'' - внести коррективы в созданное или в глобальный конфиг (''config'').

Так же следует отметить команды
* ''mmshutdown'' - остановить и выгрузить драйвера gpfs (mmfs и прочие).
* ''mmstartup'' - запустить кластер gpfs.
Обе могут выполняться с параметром ''-a'', тем самым выполняясь асинхронно на всех нодах.

Для внесения изменений во ''что-то'' как правило необходимо это ''что-то'' остановить/отмонтировать/логически отсоеденить. В случае изменения конфига (''mmchconfig'') необходимо всё полностью остановить вплоть до демона ''gpfs''.

=== tiebreaker disk ===
: ''[http://publib.boulder.ibm.com/infocenter/clresctr/vxrx/topic/com.ibm.cluster.gpfs.doc/gpfs31/bl1ins1122.html Основная статья на IBM.com (Eng).]''
Есть два метода восстановления кворума после фейла:
* стандартный кворум - идёт обычное голосование до достижения 50%+1 голос
* кворум + тайбрекер. <pre>mmchconfig tiebreakerDisks="gpfs1nsd;gpfs2nsd;gpfs3nsd"</pre>
...
== Ссылки ==
* [http://www.ira.cnr.it/centrocal/tecnica/GPFS/ira-soft/rpm/ Основные RPM-пакеты] - с IBM.com их не скачать. По идее надо покупать только через региональных реселлеров. Сервачок прикрыли на днях...
* [http://www14.software.ibm.com/webapp/set2/sas/f/gpfs/home.html Обновления пакетов (IBM.com)] - скачиваются свободно под любые платформы. Но бесполезны без ''основных'' пакетов.
* [http://publib.boulder.ibm.com/infocenter/clresctr/vxrx/topic/com.ibm.cluster.gpfs.doc/gpfs31/bl1ins1123.html Concepts, Planning, and Installation Guide] Концепции и некоторые основные моменты GPFS
* [http://www.ibm.com/developerworks/wikis/display/hpccentral/GPFS+Quick+Start+Guide+for+for+Linux GPFS2: Quickstart Guide on ibm_dw] - короткая и понятная статья содержит минимум, необходимый для запуска кластера.

[[Category:Файловые системы]]

GPFS - История изменений

Admin: 1 версия импортирована

lor>Cetjs2: Откат правок Abc123456 (обсуждение) к версии Mandala