視頻鏈接：?openEuler初始化系統(tǒng)參數(shù)及統(tǒng)一網(wǎng)卡名稱

1. 修改有節(jié)點(ceph01-05)`/etc/hosts`文件
```shell
cat > /etc/hosts <<EOF
127.0.0.1 ? localhost localhost.localdomain localhost4 localhost4.localdomain4
# public network
192.168.59.241 ceph01
192.168.59.242 ceph02
192.168.59.243 ceph03
192.168.59.244 ceph04
192.168.59.245 ceph05

# cluster network
10.168.59.241 ceph01-cl
10.168.59.242 ceph02-cl
10.168.59.243 ceph03-cl
10.168.59.244 ceph04-cl
10.168.59.245 ceph05-cl

# manage network
EOF
```
2. 統(tǒng)一網(wǎng)卡命名(選做)
> 有部分生產(chǎn)環(huán)境機型不同，網(wǎng)卡名有差異，統(tǒng)一命名便于后續(xù)管理。

> 注意：在線修改網(wǎng)卡名，可能會導致網(wǎng)絡(luò)中斷，請謹慎操作??！
>
> 在openeuler 22.03使用在centos7.9上udev綁定網(wǎng)卡名的方式已經(jīng)不生效，rocky linux 9.2 也不生效，應(yīng)該是綁定udev方式發(fā)生了變化，此處通過修改grub的方式統(tǒng)一網(wǎng)卡名。
- public ?網(wǎng)絡(luò)：eth0
- cluster 網(wǎng)絡(luò)：eth1
```shell
## 在虛擬機中，public 網(wǎng)絡(luò)的網(wǎng)卡名默認是 ens160（操作系統(tǒng)及版本不同，網(wǎng)卡名可能不同），現(xiàn)在統(tǒng)一命名為 eth0

## i. 先修改網(wǎng)卡文件命名
# mv /etc/sysconfig/network-scripts/ifcfg-ens160 /etc/sysconfig/network-scripts/ifcfg-eth0
# cat > /etc/sysconfig/network-scripts/ifcfg-eth0 <<EOF
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=no
IPV6_AUTOCONF=no
IPV6_DEFROUTE=no
IPV6_FAILURE_FATAL=no
# modify, default ens160
NAME=eth0
# modify,default ens160
DEVICE=eth0
ONBOOT=yes
IPADDR=192.168.59.241
NETMASK=255.255.255.0
GATEWAY=192.168.59.2
DNS1=223.5.5.5
DNS2=114.114.114.114
EOF
--------------------------------------------------------------------------------------------
## 在虛擬機中，cluster 網(wǎng)絡(luò)的網(wǎng)卡名默認是 ens192（操作系統(tǒng)及版本不同，網(wǎng)卡名可能不同），現(xiàn)在統(tǒng)一命名為 eth1
## 從 public 網(wǎng)絡(luò)登錄修改 cluster 網(wǎng)絡(luò)?。?！
# mv /etc/sysconfig/network-scripts/ifcfg-ens192 /etc/sysconfig/network-scripts/ifcfg-eth1
# cat > /etc/sysconfig/network-scripts/ifcfg-eth1 <<EOF
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=no
IPV6_AUTOCONF=no
IPV6_DEFROUTE=no
IPV6_FAILURE_FATAL=no
# modify,default ens192
NAME=eth1
# modify,default ens192
DEVICE=eth1
ONBOOT=yes
IPADDR=10.168.59.241
NETMASK=255.255.255.0
EOF

## 上面用`cat`命令修改網(wǎng)卡，也可以直接用`sed`命令替換網(wǎng)卡中的名字
# sed -i 's/ens160/eth0/g' /etc/sysconfig/network-scripts/ifcfg-eth0
# sed -i 's/ens192/eth1/g' /etc/sysconfig/network-scripts/ifcfg-eth1

## ii. 修改GRUB，同時關(guān)閉net.ifnames和biosdevname命名規(guī)則。
## 生產(chǎn)環(huán)境操作前，建議備份數(shù)據(jù)
## 在GRUB_CMDLINE_LINUX中增加`net.ifnames=0 biosdevname=0`
# vi /etc/default/grub
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="resume=/dev/mapper/vg00-swap rd.lvm.lv=vg00/root rd.lvm.lv=vg00/swap net.ifnames=0 biosdevname=0 cgroup_disable=files apparmor=0 crashkernel=512M rhgb quiet"
GRUB_DISABLE_RECOVERY="true

## iii. 更新grub并重啟生效
# grub2-mkconfig -o /boot/grub2/grub.cfg
# reboot
如果系統(tǒng)是UEFI啟動，則要執(zhí)行以下命令
# grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg
# reboot
```
> 上述修改網(wǎng)卡名稱，需在ceph01-05上操作，注意配置文件中IP需按實際修改。

3. 關(guān)閉防火墻和selinux
```shell
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
```
4. 關(guān)閉交換分區(qū)(選做)，生產(chǎn)環(huán)境建議關(guān)閉交換分區(qū)
```shell
swapoff -a
sed -i 's/.*swap.*/#&/' /etc/fstab
```
5. 修改內(nèi)核參數(shù)及資源限制參數(shù)
```shell
## 轉(zhuǎn)發(fā) IPv4 并讓 iptables 看到橋接流量(選做)
# cat <<EOF | sudo tee /etc/modules-load.d/ceph.conf
overlay
br_netfilter
EOF

# modprobe overlay
# modprobe br_netfilter
# lsmod | grep br_netfilter
#驗證br_netfilter模塊

## 修改內(nèi)核參數(shù)
cat <<EOF | tee /etc/sysctl.d/ceph.conf
net.bridge.bridge-nf-call-iptables ?= 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward ? ? ? ? ? ? ? ? = 1
#1. 用于對外連接的隨機端口范圍。缺省是# 32768 ? ?60999
#端口范圍開始和結(jié)束要奇偶不同，如果設(shè)置為1024 65530則在dmesg中會報ip_local_port_range: prefer different parity for start/end values.
net.ipv4.ip_local_port_range = 1024 65335

# 如果dmesg中有類似“nf_conntrack: table full, dropping packet”日志，則需要調(diào)大 conntrack 參數(shù)，默認是2621440，該值不能太大，否則會出現(xiàn)：nf_conntrack: falling back to vmalloc.
net.netfilter.nf_conntrack_max = 2621440
net.nf_conntrack_max = 2621440
# 指定了進程可以擁有的內(nèi)存映射區(qū)域的最大數(shù)目。這個設(shè)置對于使用大量內(nèi)存映射的應(yīng)用程序很重要
vm.max_map_count = 1048576 ? ? ? ? ? ? ? ? ? ? ?
#2. 如果 netstat -s | grep "buffer errors" 中errors數(shù)在增加，則需要調(diào)整如下參數(shù)
# net.ipv4.tcp_wmem 默認值：4096 ? ? ? ?16384 ? 4194304
net.ipv4.tcp_wmem = 4096 ? ? ? ?16384 ? 4194304
# ?net.ipv4.tcp_rmem 默認值：4096 ?87380 ?6291456
net.ipv4.tcp_rmem = 4096 ?87380 ?6291456
# net.ipv4.tcp_mem 默認值：381462 ?508616 ?762924
net.ipv4.tcp_mem = 381462 ?508616 ?762924
# net.core.rmem_default 默認值：212992
net.core.rmem_default = 8388608
# net.core.rmem_max 默認值：212992
net.core.rmem_max = 26214400
# net.core.wmem_max 默認值：212992
net.core.wmem_max = 26214400

# 調(diào)大文件句柄數(shù)
fs.nr_open = 16777216
fs.file-max = 16777216

#3.如果dmesg中有類似"arp_cache: neighbor table overflow"，則需要調(diào)整如下參數(shù)
# net.ipv4.neigh.default.gc_thresh1 默認值 128
net.ipv4.neigh.default.gc_thresh1 = 40960
# net.ipv4.neigh.default.gc_thresh2 默認值 512
net.ipv4.neigh.default.gc_thresh2 = 81920
# net.ipv4.neigh.default.gc_thresh3 默認值 1024
net.ipv4.neigh.default.gc_thresh3 = 102400

#4. 連接隊列滿導致丟包，需要調(diào)整半連接隊列和全連接隊列
#TCP 連接請求隊列長度，默認為1024，加大隊列長度為8192，可以容納更多等待連接的網(wǎng)絡(luò)連接數(shù)。
net.ipv4.tcp_max_syn_backlog = 65535
# 調(diào)整全連接隊列上限，即服務(wù)器同時接受連接的數(shù)量
net.core.somaxconn = 65535
# 網(wǎng)絡(luò)設(shè)備最大接收隊列長度
net.core.netdev_max_backlog = 250000
#5. 在低版本內(nèi)核中(比如 3.10)，支持使用 tcp_tw_recycle 內(nèi)核參數(shù)來開啟 TIME_WAIT 的快速回收，但如果 client 也開啟了 timestamp (一般默認開啟)，同時也就會導致在 NAT 環(huán)境丟包，甚至沒有 NAT 時，稍微高并發(fā)一點，也會導致PAWS校驗失敗，導致丟包，所以生產(chǎn)環(huán)境不建議開啟。
#### TIME_WAIT
# 默認0
# 用 SYN Cookie 防御機制
net.ipv4.tcp_syncookies = 1
# 開啟 TIME-WAIT 狀態(tài)的重用，此處為0，未開啟
net.ipv4.tcp_tw_reuse = 0
# 不建議啟用tcp_tw_recycle，會導致數(shù)據(jù)錯亂，4.12內(nèi)核已去掉這個參數(shù)
# net.ipv4.tcp_tw_recycle = 0
# 默認60
net.ipv4.tcp_fin_timeout = 30

#6.啟用fastopen，跳過tcp3次握手;第 1 個比特位為 1 時，表示作為客戶端時支持 TFO；第 2 個比特位為 1 時，表示作為服務(wù)器時支持 TFO，所以當 tcp_fastopen 的值為 3 時（比特為 0x11）就表示完全支持 TFO 功能。
net.ipv4.tcp_fastopen = 3
net.ipv4.tcp_orphan_retries = 3
# 默認0，表示如果三次握手第三步的時候 accept queue 滿了，則 server 丟棄 client 發(fā)過來的 ack；為1表示第三步的時候如果全連接隊列滿了，server 發(fā)送一個 rst 包給 client ，表示拒絕這個握手過程和這個連接
# 只有確信守護進程真的不能完成連接請求時才打開該選項，該選項會影響客戶的使用
net.ipv4.tcp_abort_on_overflow = 1
EOF

# sysctl -p ?/etc/sysctl.d/ceph.conf

## 修改資源限制參數(shù)
cat > /etc/security/limits.d/ceph.conf <<EOF
# End of file
* ? ? ? ? ? ? ? hard ? ?nofile ? ? ? ? 655360
* ? ? ? ? ? ? ? soft ? ?nofile ? ? ? ? 655360
* ? ? ? ? ? ? ? soft ? ?core ? ? ? ? ? 655360
* ? ? ? ? ? ? ? hard ? ?core ? ? ? ? ? 655360
* ? ? ? ? ?soft ? ?nproc ? ? unlimited
root ? ? ? soft ? ?nproc ? ? unlimited
EOF
```

6. 配置時間同步服務(wù)，以ceph01作為時間同步服務(wù)器
```shell
## 在ceph01上操作
# yum -y install chrony
# vi /etc/chrony.conf
pool ntp.aliyun.com iburst
...
...
allow 192.168.59.0/24
allow 10.168.59.0/24
local stratum 10

# systemctl start chronyd && systemctl enable chronyd

## 在ceph02-ceph05上操作
# yum -y install chrony
# vi /etc/chrony.conf
pool ceph01 iburst
...
# systemctl restart chronyd && systemctl enable chronyd;chronyc sources
MS Name/IP address ? ? ? ? Stratum Poll Reach LastRx Last sample ? ? ? ? ? ? ?
===============================================================================
^* ceph01 ? ? ? ? ? ? ? ? ? ? ? ?3 ? 6 ? ?17 ? ? 8 ? ?-34us[ ?-28us] +/- ? 35ms

7. 配置ssh免密登錄
```shell
## 在ceph01上操作
# ssh-keygen -t rsa
# ssh-copy-id ceph01
# ssh-copy-id ceph02
# ssh-copy-id ceph03
# ssh-copy-id ceph04
# ssh-copy-id ceph05

## 驗證ssh免密，從ceph01登錄ceph01-05看是否需要密碼
# ssh ceph0x
```