源码编译安装 ganesha

简介

  • 系统环境:CentOS 7.5
  • ceph:luminous
  • nfs-gnesha:v2.6 stable

安装步骤

安装依赖

  • 首先需要安装编译会用到的公共库
1
  yum install gcc git cmake autoconf libtool bison flex doxygen openssl-devel gcc-c++ krb5-libs krb5-devel libuuid-devel nfs-utils -y

如果是使用 Ubuntu 系统,主要有以下几个包不同

  • gcc-c++ -> g++
  • libuuid-devel -> uuid-dev
  • nfs-utils -> nfs-kernel-server
  • 如果要生成 FSAL_RGW 模块,需要安装 librgw2-devel
1
  yum install librgw2-devel -y
  • 如果要生成 FSAL_CEPH 模块,需要安装 libcephfs1-devel
1
  yum install libcephfs-devel -y

源码下载

克隆源码到本地

1
git clone -b V2.6-stable https://github.com/nfs-ganesha/nfs-ganesha.git --recursive

编译

  • cmake nfs-ganesha 源码

    • 如果需要生成 FSAL_RGW 模块,则在编译选项中添加: -DUSE_FSAL_RGW=ON
    • 如果需要生成 FSAL_CEPH 模块,则在编译选项中添加: -DUSE_FSAL_CEPH=ON
1
2
3
4
5
  cd nfs-ganesha
  cd src/
  mkdir build
  cd build/
  cmake -DUSE_FSAL_RGW=ON -DUSE_FSAL_CEPH=ON ../
  • cmake 的过程中会有以下输出
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
  -- Looking for ceph_ll_lookup_root in cephfs - found
  -- Found cephfs libraries: /usr/lib64/libcephfs.so
  -- Found CEPHFS: /usr/include  
  -- Looking for rgw_mount in rgw
  -- Looking for rgw_mount in rgw - found
  -- Found rgw libraries: /usr/lib64/librgw.so
  -- Found RGW: /usr (found suitable version "1.1", minimum required is "1.1") 
  ...
  -- USE_FSAL_CEPH = ON
  -- USE_FSAL_CEPH_MKNOD = OFF
  -- USE_FSAL_CEPH_SETLK = OFF
  -- USE_FSAL_CEPH_LL_LOOKUP_ROOT = ON
  -- USE_FSAL_RGW = ON

请确保 -- USE_FSAL_CEPHON ,以及 -- USE_FSAL_RGWON

  • build 目录下进行编译和安装
1
2
  make
  make install

PS: 在 make install 生成的输出中,可以看到:

– Up-to-date: /usr/share/doc/ganesha/config_samples/rgw.conf … – Up-to-date: /usr/share/doc/ganesha/config_samples/ceph.conf

这两个文件就是配置将RGWCephFS配置为ganesha-nfs的配置模板

配置 service

nfs-ganesha 源码目录下的 nfs-ganesha/src/scripts/systemd 目录下的 service 文件复制到系统 /usr/lib/systemd/system/ 目录下,将 nfs-ganesha 配置为系统服务让 systemd 接管,然后设置开机自启

1
2
3
4
5
cd nfs-ganesha/src/scripts/systemd
cp nfs-ganesha-config.service /usr/lib/systemd/system/nfs-ganesha-config.service
cp nfs-ganesha.service.el7 /usr/lib/systemd/system/nfs-ganesha.service
cp nfs-ganesha-lock.service.el7 /usr/lib/systemd/system/nfs-ganesha-lock.service
systemctl enable nfs-ganesha

The DBUS Interface

配置系统 DBUS 服务(编译安装需要手动执行这个过程)

  • 将文件 src/scripts/ganeshactl/org.ganesha.nfsd.conf 复制到该目录 /etc/dbus-1/system.d/ 。需要重新启动 DBus 服务(messagebus)才能加载此文件
1
2
  cp src/scripts/ganeshactl/org.ganesha.nfsd.conf /etc/dbus-1/system.d/
  systemctl restart messagebus
  • 重启 nfs-ganesha 服务,因为与 DBus 服务器的连接只在服务初始化时执行,所以如果之前忘了复制 org.ganesha.nfsd.conf 文件就需要重启 nfs-ganesha 服务
1
  systemctl restart nfs-ganesha
  • 可查看 nfs-ganesha 日志观察服务是否正常启动运行,通常是/var/log/ganesha/ganesha.log
1
  tail -f /var/log/ganesha/ganesha.log

编辑配置文件

其实这一步可以略过的,只是为了后面 Check Export 能检测到一个挂载点而已,如果这一步不配置,manila 也会通过 SSH 连接到主机对每个 share 进行单独的配置文件的添加

编辑 /etc/ganesha/ganesha.conf 文件,写入以下内容

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
EXPORT
{
        Export_ID=1;
        Path = "/";
        Pseudo = /;
        Access_Type = RW;
        NFS_Protocols = 4;
        Transport_Protocols = TCP;
        FSAL {
                Name = CEPH;
        }
}

启动 nfs-ganesha 服务

  • 编译安装有个坑,就是少了个 nfs-ganesha-ceph 包,导致 manila 传递过来的命令无法正常执行,需要单独使用 yum 命令进行安装(因为我没找到源码地址,也没法自己编译安装了,所以编译安装 nfs-ganesha 还不如直接用添加源的方式进行安装···)
1
  yum install nfs-ganesha-ceph
  • 执行以下命令重新启动 nfs-ganesha
1
  systemctl restart nfs-ganesha
  • 使用以下命令查看 nfs-ganesha 服务是否正常运行
1
  systemctl status nfs-ganesha

Check Export

使用以下命令检测挂载点

1
2
3
4
[root@c1 ~]# showmount -e
Export list for c1:
/ (everyone)
[root@c1 ~]# 

参考链接