CentOS7.5 集群安装...

CentOS7.5 集群安装 Sophon2.0

一、环境情况

集群规划

操作系统 外网 IP 内网 IP 内存 磁盘 角色 用户/密码

CentOS7.5

40.73.32.156 10.0.1.7 64GB 500GB Master xxx

/xxx 无 10.0.1.4 32GB 500GB Slave1

无 10.0.1.9 32GB 500GB Slave2

我的环境：

3台虚拟机即 3 个节点，系统 CentOS 7.5

az-st-cdh1 64G 内存/500G 磁盘，az-st-cdh2 32G 内存/500G 磁盘，

az-st-cdh3 32G 内存/500G 磁盘

/var/lib/registry_data 和/var/lib/transwarp-manager是 az-st-cdh1特

有的分区，

因为作为主节点，在安装包一解压释放这两个文件夹就一会占到 10GB左右，

后续还会逐渐增大

方案 1——为我的环境

文件系统 磁盘大小 挂载目录

/dev/sda1 500MB /boot

/dev/sda2 29.5GB /

/dev/sdc1 100GB /var/lib/docker

/dev/sdc2 100GB /var/log

/dev/sdc3 100GB /opt

/dev/sdd1 100GB /var/lib/registry_data

/dev/sdd2 100GB /var/lib/transwarp-manager

若资源紧张，也可参考以下方案 2 的环境

文件系统 磁盘大小 挂载目录

/dev/sda1 500M /boot

/dev/sda2 200GB /

/dev/sdc2 100GB /var/lib/docker

二、前期准备

(注意以下所有操作都需要用 root 权限操作或加 sudo 操作)

以下操作为 az-st-cdh1 的操作，其它俩节点重复进行操作

2.1 安装介质

SOPHONWEB-Image-Registry-Transwarp-2.0.0-final.tar.gz

SOPHONWEB-Basic-Component-Transwarp-2.0.0-final.tar.gz

CentOS-7-x86_64-DVD-1511.iso（用于后续配置 repo源）

run_pvc.tar.gz

2.2 修改/etc/hosts 文件(所有节点)

vim /etc/hostname

vim /etc/hosts

关于修改主机名参考：https://blog.csdn.net/xuheng8600/article/details/79983927

2.3 关闭防火墙(所有节点)

Systemctl stop firewalld.service

Systemctl status firewalld.service

2.4 禁用 SElinux(所有节点)

设置 SELINUX=disabled

2.5 配置 SSH 免密登陆(所有节点)

产生密钥对 ssh-keygen -t rsa

把公钥拷贝到各机器之间

ssh-copy-id az-st-cdh1

ssh-copy-id az-st-cdh2

ssh-copy-id az-st-cdh3

登陆验证

ssh az-st-cdh1

ssh az-st-cdh2

ssh az-st-cdh3

2.6 配置 NTP 时间同步(所有节点)

Yum install ntp

Chkconfig ntpd on

Service ntpd start

2.7 配置 docker 分区(所有节点)

直接写个 shell 脚本，在每台节点上运行即可，注意要在每一台上都运行此脚本，

因为每一台节点上都是要做 Docker 容器虚拟化操作，

三、 Sophon2.0 安装

3.1 上传安装介质

3.1.1 将以下安装介质上传到服务器/opt 目录

SOPHONWEB-Image-Registry-Transwarp-2.0.0-final.tar.gz

SOPHONWEB-Basic-Component-Transwarp-2.0.0-final.tar.gz

CentOS-7-x86_64-DVD-1511.iso（配置 repo 源）

run_pvc.tar.gz (网络文件系统这里采用的是单机安装方式)

切换到介质存放路径（我的放在了/opt）

cd /opt

执行解压命令，之后将 registry 目录移动到 transwarp 目录里面

tar -zxf SOPHONWEB-Image-Registry-Transwarp-2.0.0-final.tar.gz

tar -zxf SOPHONWEB-Basic-Component-Transwarp-2.0.0-final.tar.gz

tar -zxf run_pvc.tar.gz

mv registry/ transwarp/

注：run_pvc.tar.gz 是我后面上传的，你可以一并先上传和解压

注意：在执行./install 命令时需要修改/opt/transwarp/linuxdistros/rhel7.conf 文件，

增加支持 7.5，否则会提示找不到与安装合适的系统。

之后会提示让你访问 主节点 IP/hostname + 8179端口，此界面即为后续可视化界面

3.2 安装 Manager

打开chrome浏览器输入主节点IP和8179端口进行可视化安装，如http:40.73.32.156:8179

3.3 进入 TDH 界面

另 外 开 一 个 浏 览 器 窗 口 ， 在 地 址 栏 输 入 ( 主 节 点 IP/hostname+8180 端 口 )

http://az-st-cdh1:8180

注意：初次安装可能需要申请许可证，如若需要按下图走流程即可，

我不是初次安装，所以直接跳到了给集群取名这一步

许可证申请（可省略）

登陆 https://snowflake.transwarp.io 并注册用户，之后申请许可证，申请许可证

需要提供 Server Key，Server Key 可在安装完 TDH Manager 并开始配置集群

时获取。

获取到许可证后可将许可证另存为本地文件供后续安装集群使用

星环 TDH 证书申请：https://snowflake.transwarp.io/license

用户名（邮箱）：xxx

用户：xxx

密码：xxx

从 snowflake 下载许可证

上传许可证到 TDH

3.4 给集群取一个名字

注意：若出现主机名带域名或.的现象，如下图

解决办法：检查和修改各节点的/etc/hosts、/etc/hostname、/etc/sysconfig/network

及将/etc/resolv.conf 中内容修改为

3.5 安装 Sophon 依赖组件

继续安装

注意：以下两个 Sophon 组件（Redis Server 和 Sophon web）最好安装在同一个节点，我这

里是都安装在了 az-st-cdh1 节点

另外，因为 Sophon 依赖于下图右侧八个组件，所以你最好先把这些组件先安装完再安装

Sophon

至此，所有组件安装完成，你以为这就可以了吗？NO，你还没看到 Sophon 登入页面呢，继

续往下吧！

3.6 安全服务的选择（可忽略）

如果你的所有组件需要开启安全，那么你需要在 manager 页面上修改 sophon 组件的参数

sophon.enable.kerberos =true 然后配置服务、停止、启动；

如果你的所有组件没有开启安全，注意是所有组件，那这一步你可以省略（我当时安装时把

这个默认的 fasle 改为了 true 导致后面 Sophon 登入后一直报一个会话故障的错误）

3.7 安装 Guardian

注意：Guardian Server 、CAS Configuration Server 、CAS Server 、CAS Admin Server

这里我是安装在了 az-st-cdh1 上，因为我另外两台机器都是内网机器，

下面生成的 link URL 链接在浏览器上打不开，所以都安装在了第一台上

Guardian 管理员密码和 OpenLADP 很重要，需要牢记，后续很多地方要用到

3.8 单独开启 Sophon 的安全服务

3.9 Guardian 页面添加 hive 用户

此时再进入 Guardian 的角色页面，把鼠标停在 Guardian Server 的 Link 上，即可看到 URL

在浏览器中打开新窗口，输入 Guardian Server 的 URL，

进入 Guardian 管理页面中添加 hive 用户到 USER ADMIN，ROLE ADMIN，GROUP ADMIN。

配置完成退出 Guardian Server 管理页面，重启 Sophon 服务

3.10 HDFS 添加 Sophon 插件

在 TDH 管理界面 找到 HDFS 的服务并点击，在 HDFS 上面开启 Sophon 的插件。

3.11 Guardian 页面添加 Sophon web 用户

登入 Guardian Server 管理页面为 Sophon web 登入添加用户和密码

添加普通用户 SophonUser

添加管理员用户 SophonAdmin

退出登入 Guardian Server 管理页面，在 TDH 管理页面的 Sophon 主页，找到 Sophon web 的

URL 地址，在浏览器中打开

3.12 登陆 Sophon web

用在Guardian Server管理页面上创建的用户 SophonUser 及密码或 SophonAdmin及密码来登

陆

注意：用管理员用户登入，可以在右上角的管理选项对资源池进行编辑(增加或删除)配置

Spark 的 cores 和 memory 等参数

初始时刻，默认是有一个默认资源

至此，你就可以开心玩耍啦！！！

3.13 添加网络文件

不过不要忘记做最后一步，添加网络文件系统哦，

不然会在使用 Notebook 功能时会报 ” SchedulerPredicates failed due to Failed to get

PersistentVolumeClaim "nfs-test", which is unexpected”的错误

因为我这里先安装完 Sophon，所以我采用的是单机方式安装网络文件系统，当然你也可以

使用 ceph 方式安装

注：

“为了保证网络文件系统运行的稳定性，需要专门给网络文件系统分配一个磁盘分区，推荐

分区大小为 50 GB~1 TB。

注意，为了保证流畅运行，请尽量把网络文件系统卷组划分在数据盘下。

如果数据盘较多且存储空间过 剩，建议使用单独一块数据盘作为网络文件系统分区。

否则，建议将一块作为网络文件系统分区的数据盘进 行格式化处理。

网络文件系统的安装有两种实现方式：ceph 方式和单机方式，两者的执行时机不同。

Ceph 方式需要用户在安 装前完成规划，预留磁盘，由旧版本升级的用户同样需要额外提供

新的磁盘分区；

而单机方式则需在安装 完 Sophon 后才可进行。若系统无法提供额外分区，请采用单机方

式。”

在所有节点上执行 yum install –y nfs-utils 命令

在主节点上执行以下命令：

bash run_pvc.sh

kubectl create -f nfs-pv.yaml

kubectl create -f nfs-pvc.yaml

vim /etc/sysconfig/nfs

systemctl enable rpcbind

systemctl start rpcbind

systemctl enable nfs

systemctl start nfs

systemctl status nfs

进入页面

更多好玩功能，大家一起去探索吧！