«
»
fumikura

【DRBD9】rpmパッケージをビルドしてインストールする

今更ながらですが、DRBD9をインストールしてみました。他のサイトを参考にしていると、ソースからのmake、make installでしかインストールしていなかったので、rpmパッケージをビルドしてからインストールする方法を試してみました。

環境

  • OS: CentOS 7(パッケージグループ Base、Development Tools をインストール)
  • KVM上の仮想マシン(HDDは8GBと50GBの2台を搭載した状態)
  • drbd01～drbd03の3台でクラスタを構成
  • drbd01のIPアドレス: 192.168.24.223
  • drbd02のIPアドレス: 192.168.24.224
  • drbd03のIPアドレス: 192.168.24.225

rpmパッケージの作成

準備:rpmbuild環境構築

rpmbuildの環境を構築するツールがあるので、コマンド一つでrpmbuild環境が構築できます。

[root@drbd01 ~]# yum install -y rpmdevtools
ユーザに戻り、rpmdev-setuptreeコマンドを叩きます。

rpmbuildディレクトリから.rpmmacrosまで作成してくれます。

[fumikura@drbd01 ~]$ rpmdev-setuptree
[fumikura@drbd01 ~]$ tree -a
～～～
.
|-- .rpmmacros
`-- rpmbuild
|-- BUILD
|-- RPMS
|-- SOURCES
|-- SPECS
`-- SRPMS
～～～
7 directories, 7 files
必要パッケージのインストールDRBD9のインストールに必要なパッケージをインストールします。

[fumikura@drbd01 ~]$ sudo yum install -y libxslt libxslt-devel pygobject2 help2man kernel-abi-whitelists
ソースのダウンロード今回は、gitリポジトリがあるものはgitから入手しました。

ソース置場用のディレクトリを作って移動します。

[fumikura@drbd01 ~]$ mkdir Archives
[fumikura@drbd01 ~]$ cd Archives
– drbd kernel module

[fumikura@drbd01 Archive]$ git clone --recursive git://git.drbd.org/drbd-9.0.git
– drbd-utils

[fumikura@drbd01 Archives]$ git clone --recursive git://git.linbit.com/drbd-utils.git
– drbdmanage

[fumikura@drbd01 Archive]$ git clone --recursive git://git.drbd.org/drbdmanage.git
drbd kernel moduleのrpmパッケージ作成今回は、公式サイトにてリリースされている最新リリースのdrbd-9.0.8に合わせてビルドしようと思います。

[fumikura@drbd01 Archive]$ cd drbd-9.0
[fumikura@drbd01 drbd-9.0]$ git checkout drbd-9.0.8
[fumikura@drbd01 drbd-9.0]$ make .filelist
[fumikura@drbd01 drbd-9.0]$ make kmp-rpm
drbd-utilsのrpmパッケージ作成(2017.09.04,Mon 追記)
下記のまま、rpm作成を行うと、rpmのインストール時に競合が起こります。drbd.spec.inを以下のように修正してから実施してください。

--- ../drbd-utils.orig/drbd.spec.in 2017-09-01 15:01:35.721074085 +0900
+++ ./drbd.spec.in 2017-09-04 10:48:54.719119053 +0900
@@ -31,6 +31,7 @@
# conditionals may not contain "-" nor "_", hence "bashcompletion"
%bcond_without bashcompletion
%bcond_without sbinsymlinks
+%undefine with_sbinsymlinks
# --with xen is ignored on any non-x86 architecture
%bcond_without xen
%bcond_without 83support
[fumikura@drbd01 Archives]$ cd drbd-utils
[fumikura@drbd01 drbd-utils]$ git checkout v9.0.0
[fumikura@drbd01 drbd-utils]$ ./autogen.sh
[fumikura@drbd01 drbd-utils]$ ./configure --prefix=/usr --localstatedir=/var --sysconfdir=/etc
[fumikura@drbd01 drbd-utils]$ make .filelist
[fumikura@drbd01 drbd-utils]$ make rpm
drbdmanageのrpmパッケージ作成drbdmanageはソース直下のディレクトリ、distの中にrpmパッケージが生成されます。

[fumikura@drbd01 Archive]$ cd drbdmanage/
[fumikura@drbd01 drbdmanage]$ make rpm
[fumikura@drbd01 drbdmanage]$ cd dist/
[fumikura@drbd01 dist]$ ls -al
合計 1080
drwxrwxr-x. 2 fumikura fumikura 111 8月 8 17:08 .
drwxrwxr-x. 11 fumikura fumikura 4096 8月 8 17:08 ..
-rw-rw-r--. 1 fumikura fumikura 507844 8月 8 17:08 drbdmanage-0.99.5-1.noarch.rpm
-rw-rw-r--. 1 fumikura fumikura 298012 8月 8 17:08 drbdmanage-0.99.5-1.src.rpm
-rw-rw-r--. 1 fumikura fumikura 294884 8月 8 17:08 drbdmanage-0.99.5.tar.gz
rpmパッケージのインストール先程作成されたパッケージは、~/rpmbuild/RPMS/x86_64の中に10個、~/hoge/drbdmanage/distの中に1個の計11個のrpmパッケージが生成されています。
このうち、debuginfoとついているパッケージはインストールしなくても大丈夫です。

/home/fumikura/rpmbuild/RPMS/x86_64/kmod-drbd-9.0.8_3.10.0_514.26.2-1.el7.centos.x86_64.rpm
/home/fumikura/rpmbuild/RPMS/x86_64/drbd-kernel-debuginfo-9.0.8-1.el7.centos.x86_64.rpm
/home/fumikura/rpmbuild/RPMS/x86_64/drbd-9.0.0-1.el7.centos.x86_64.rpm
/home/fumikura/rpmbuild/RPMS/x86_64/drbd-utils-9.0.0-1.el7.centos.x86_64.rpm
/home/fumikura/rpmbuild/RPMS/x86_64/drbd-xen-9.0.0-1.el7.centos.x86_64.rpm
/home/fumikura/rpmbuild/RPMS/x86_64/drbd-udev-9.0.0-1.el7.centos.x86_64.rpm
/home/fumikura/rpmbuild/RPMS/x86_64/drbd-pacemaker-9.0.0-1.el7.centos.x86_64.rpm
/home/fumikura/rpmbuild/RPMS/x86_64/drbd-heartbeat-9.0.0-1.el7.centos.x86_64.rpm
/home/fumikura/rpmbuild/RPMS/x86_64/drbd-bash-completion-9.0.0-1.el7.centos.x86_64.rpm
/home/fumikura/rpmbuild/RPMS/x86_64/drbd-debuginfo-9.0.0-1.el7.centos.x86_64.rpm
/home/fumikura/Archive/drbdmanage/dist/drbdmanage-0.99.5-1.noarch.rpm
drbd kernel moduleのインストール[fumikura@drbd01 x86_64]$ sudo rpm -ivh kmod-drbd-9.0.8_3.10.0_514.26.2-1.el7.centos.x86_64.rpm
準備しています... ################################# [100%]
更新中 / インストール中...
1:kmod-drbd-9.0.8_3.10.0_514.26.2-1################################# [100%]
drbd-utilsのインストールdrbd-utils-9.0.0-1.el7.centos.x86_64.rpmはパッケージ自身と競合をおこして普通にインストールはできない為、–forceオプションでインストールします。(2017.09.04,Mon 修正)

[fumikura@drbd03 x86_64]$ sudo rpm -ivh drbd-utils-9.0.0-1.el7.centos.x86_64.rpm
準備しています... ################################# [100%]
更新中 / インストール中...
1:drbd-utils-9.0.0-1.el7.centos ################################# [100%]
その他のパッケージについては、drbd-9.0.0-1.el7.centos.x86_64.rpm が他のパッケージに依存しているので、先に、xen、udev、pacemaker、heartbeat、bash-completionをインストール後にインストールしてください。

[fumikura@drbd01 x86_64]$ sudo rpm -ivh drbd-xen-9.0.0-1.el7.centos.x86_64.rpm \
> drbd-udev-9.0.0-1.el7.centos.x86_64.rpm \
> drbd-pacemaker-9.0.0-1.el7.centos.x86_64.rpm \
> drbd-heartbeat-9.0.0-1.el7.centos.x86_64.rpm \
> drbd-bash-completion-9.0.0-1.el7.centos.x86_64.rpm \
> drbd-9.0.0-1.el7.centos.x86_64.rpm
準備しています... ################################# [100%]
更新中 / インストール中...
1:drbd-bash-completion-9.0.0-1.el7.################################# [ 17%]
2:drbd-pacemaker-9.0.0-1.el7.centos################################# [ 33%]
3:drbd-udev-9.0.0-1.el7.centos ################################# [ 50%]
4:drbd-xen-9.0.0-1.el7.centos ################################# [ 67%]
5:drbd-9.0.0-1.el7.centos ################################# [ 83%]
6:drbd-heartbeat-9.0.0-1.el7.centos################################# [100%]
drbdmanageのインストール[fumikura@drbd01 dist]$ sudo rpm -ivh drbdmanage-0.99.9-1.noarch.rpm
準備しています... ################################# [100%]
更新中 / インストール中...
1:drbdmanage-0.99.9-1 ################################# [100%]
インストールは以上です。drbd01～drbd03すべてのノードでインストール作業を実施します。
次に、簡単にDRBDクラスタの構成を行ってみます。

DRBDクラスタの構成

DRBD用領域の作成

drbd01～drbd03のすべてのノードで実施します。

パーティションの作成

[root@drbd01 ~]# fdisk /dev/sdb
Welcome to fdisk (util-linux 2.23.2).

Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.


コマンド (m でヘルプ): n
Partition type:
p primary (0 primary, 0 extended, 4 free)
e extended
Select (default p): p
パーティション番号 (1-4, default 1): 1
最初 sector (2048-104857599, 初期値 2048):
初期値 2048 を使います
Last sector, +sectors or +size{K,M,G} (2048-104857599, 初期値 104857599):
初期値 104857599 を使います
Partition 1 of type Linux and of size 50 GiB is set

コマンド (m でヘルプ): w
パーティションテーブルは変更されました！

ioctl() を呼び出してパーティションテーブルを再読込みします。
ディスクを同期しています。
物理ボリューム(PV)の作成[root@drbd01 ~]# pvcreate /dev/sdb1
Physical volume "/dev/sdb1" successfully created.
ボリュームグループ(VG)の作成[root@drbd01 ~]# vgcreate drbdpool /dev/sdb1
Volume group "drbdpool" successfully created
ここで指定する”drbdpool”はdrbdmanageで使用されるデフォルト名ですので、変更せずに作成します。

drbdmanageでのノードの追加

準備: firewalldの設定

drbdmanageがノード間の通信に利用するポートを開けます。ノード間の制御には6996、6999を利用しています。
リソースの同期には、7000～7800を利用しています。まとめて、6996～7800を開けています。

[root@drbd01 ~]# firewall-cmd --add-port=6996-7800/tcp --zone=public --permanent
success
[root@drbd01 ~]# firewall-cmd --reload
success
[root@drbd01 ~]# firewall-cmd --list-all
public (active)
target: default
icmp-block-inversion: no
interfaces: eth0
sources:
services: dhcpv6-client ssh
ports: 6996-7800/tcp
protocols:
masquerade: no
forward-ports:
sourceports:
icmp-blocks:
rich rules:
クラスタの初期化drbd01のみで実行します。

[root@drbd01 ~]# drbdmanage init 192.168.24.223

You are going to initialize a new drbdmanage cluster.
CAUTION! Note that:
* Any previous drbdmanage cluster information may be removed
* Any remaining resources managed by a previous drbdmanage installation
that still exist on this system will no longer be managed by drbdmanage

Confirm:

yes/no: yes
Empty drbdmanage control volume initialized on '/dev/drbd0'.
Empty drbdmanage control volume initialized on '/dev/drbd1'.
Waiting for server: .
Operation completed successfully
ノードの追加drbd02を追加する
※まずdrbd01でコマンドを実行。各ノードで実行するコマンドを発行します。

[root@drbd01 ~]# drbdmanage add-node drbd02 192.168.24.224
Operation completed successfully
Operation completed successfully
Host key verification failed.
Give leader time to contact the new node
Operation completed successfully
Operation completed successfully

Join command for node drbd02:
drbdmanage join -p 6999 192.168.24.224 1 drbd01 192.168.24.223 0 xxxxSecretKeyxxxx
上記の”drbdmanage join …..”をdrbd02で実行します。

[root@drbd02 ~]# drbdmanage join -p 6999 192.168.24.224 1 drbd01 192.168.24.223 0 xxxxSecretKeyxxxx
You are going to join an existing drbdmanage cluster.
CAUTION! Note that:
* Any previous drbdmanage cluster information may be removed
* Any remaining resources managed by a previous drbdmanage installation
that still exist on this system will no longer be managed by drbdmanage

Confirm:

yes/no: yes
Waiting for server to start up (can take up to 1 min)
Operation completed successfully
drbd03についても同様に実施します。
・drbd01側

[root@drbd01 ~]# drbdmanage add-node drbd03 192.168.24.225
Operation completed successfully
Operation completed successfully
Host key verification failed.
Give leader time to contact the new node
Operation completed successfully
Operation completed successfully

Join command for node drbd03:
drbdmanage join -p 6999 192.168.24.225 2 drbd01 192.168.24.223 0 xxxxSecretKeyxxxx
・drbd03側

[root@drbd03 ~]# drbdmanage join -p 6999 192.168.24.225 2 drbd01 192.168.24.223 0 xxxxSecretKeyxxxx
You are going to join an existing drbdmanage cluster.
CAUTION! Note that:
* Any previous drbdmanage cluster information may be removed
* Any remaining resources managed by a previous drbdmanage installation
that still exist on this system will no longer be managed by drbdmanage

Confirm:

yes/no: yes
Waiting for server to start up (can take up to 1 min)
Operation completed successfully
クラスタの状態確認[root@drbd01 ~]# drbdmanage list-nodes
+----------------------------------------------------------------------------------------+
| Name | Pool Size | Pool Free | | State |
|----------------------------------------------------------------------------------------|
| drbd01 | 51196 | 51188 | | ok |
| drbd02 | 51196 | 51188 | | ok |
| drbd03 | 51196 | 51188 | | ok |
+----------------------------------------------------------------------------------------+
[root@drbd01 ~]# drbdadm status
.drbdctrl role:Primary
volume:0 disk:UpToDate
volume:1 disk:UpToDate
drbd02 role:Secondary
volume:0 peer-disk:UpToDate
volume:1 peer-disk:UpToDate
drbd03 role:Secondary
volume:0 peer-disk:UpToDate
volume:1 peer-disk:UpToDate
※”drbdmanage list-nodes”は”drbdmanage n”と省略できます。

リソースの追加

リソースを作成する

[root@drbd01 ~]# drbdmanage add-resource mysql-pri
リソース名を”mysql-pri”としたのは、後でMySQLのクラスタに利用するつもりです…

リソースのボリュームを設定する

[root@drbd01 ~]# drbdmanage add-volume mysql-pri 10GB
Operation completed successfully
リソースをデプロイするクラスタ数を設定する[root@drbd01 ~]# drbdmanage deploy-resource mysql-pri 3
Operation completed successfully
※リソースの割り当てを個別にノードへデプロイするには、”drbdmanage assign-resource”コマンドを使用します。

[root@drbd01 ~]# drbdmanage assign-resource mysql-pri drbd03
Operation completed successfully
リソース追加直後の状態[root@drbd01 ~]# drbdadm status
.drbdctrl role:Primary
volume:0 disk:UpToDate
volume:1 disk:UpToDate
drbd02 role:Secondary
volume:0 peer-disk:UpToDate
volume:1 peer-disk:UpToDate
drbd03 role:Secondary
volume:0 peer-disk:UpToDate
volume:1 peer-disk:UpToDate

mysql-pri role:Secondary
disk:UpToDate
drbd02 role:Secondary
replication:SyncSource peer-disk:Inconsistent done:57.30
drbd03 role:Secondary
replication:SyncSource peer-disk:Inconsistent done:50.46

“Inconsistent”は不整合の状態です。”done”の後の数字は同期状態の進行具合を表示してます。

同期が終わると、このような表示になります。

[root@drbd01 ~]# drbdadm status
.drbdctrl role:Primary
volume:0 disk:UpToDate
volume:1 disk:UpToDate
drbd02 role:Secondary
volume:0 peer-disk:UpToDate
volume:1 peer-disk:UpToDate
drbd03 role:Secondary
volume:0 peer-disk:UpToDate
volume:1 peer-disk:UpToDate

mysql-pri role:Secondary
disk:UpToDate
drbd02 role:Secondary
peer-disk:UpToDate
drbd03 role:Secondary
peer-disk:UpToDate
リソース”mysql-pri”のroleがどのノードでも”Secondary”になっているのは、DRBD9からは、リソースをマウントしたノードが自動的にPrimaryとなる仕様となっているからだとか。
今回は、ここまで。次回はDRBDの新機能、クライアント機能を利用して、MySQLサーバからリソースmysql-priをマウントしてみようと思います。
以上

カテゴリー: CentOS, DRBD, ミドルウェア

«
»