Hello anh em, sau vài ngày nghiên cứu đọc lại liệu cũng như cài cắm thủ công đủ thể loại, với vô số lỗi fail thì mình cũng cài đặt thành công cụm etcd cluster một cách thủ công. Trước giờ chuyên tạo cụm K8s trên cloud cũng như sử dụng công cụ kubeadm nên giờ setup từng bước bỡ ngỡ quá. Hy vọng bài viết này sẽ giúp anh em cài cắm và hiểu các bước setup một cụm etcd cluster một cách đơn giản nhất.
etcd có thể coi như là bộ não của Kubernetes, nơi lưu trữ toàn bộ dữ liệu dưới dạng key-values. Việc thiết kế k8s cluster trên cơ sở một cụm etcd cluster sẽ đảm bảo tính sẵn sàng (high availability) và nhất quán (consistency) trong hệ thống.
Đầu tiên mình chuẩn bị 3 server với địa chỉ IP lần lượt: node1: 10.3.4.33, node2: 10.3.4.41, node3: 10.3.4.45
Bước 1: Cài đặt etcd trên tất cả các node
- Cài đặt etcd trên tất cả các node
ETCD_NAME=node-1
ETCD_VER=v3.5.0
GOOGLE_URL=https://storage.googleapis.com/etcd
GITHUB_URL=https://github.com/etcd-io/etcd/releases/download
DOWNLOAD_URL=${GOOGLE_URL}
rm -f /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz
rm -rf /tmp/etcd-download-test && mkdir -p /tmp/etcd-download-test
curl -L ${DOWNLOAD_URL}/${ETCD_VER}/etcd-${ETCD_VER}-linux-amd64.tar.gz -o /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz
tar xzvf /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz -C /tmp/etcd-download-test --strip-components=1
rm -f /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz
/tmp/etcd-download-test/etcd --version
/tmp/etcd-download-test/etcdctl version
/tmp/etcd-download-test/etcdutl version
cp /tmp/etcd-download-test/etcd /usr/local/bin
cp /tmp/etcd-download-test/etcdctl /usr/local/bin
cp /tmp/etcd-download-test/etcdutl /usr/local/bin
- Test etcd run normaly
etcd --version
etcdctl version
etcdutl version
etcd
Bước 2: Sử dụng cfssl để generate cert/key file và cấu hình TLS-IP (trên node-1)
- Cài đặt cfssl
- Requirement: Install git, make, go
apt install git
snap install make
Guide install go: https://golang.org/doc/install
Go to: https://github.com/cloudflare/cfssl/
git clone https://github.com/cloudflare/cfssl.git
cd cfssl
make
Check install: tree bin (in /cfssl)
Expect result:
bin
├── cfssl
├── cfssl-bundle
├── cfssl-certinfo
├── cfssl-newkey
├── cfssl-scan
├── cfssljson
├── mkbundle
└── multirootca
0 directories, 8 files
Copy all file "cfssl/bin" to "/usr/local/bin"
- Cầu hình TLS-IP
git clone https://github.com/etcd-io/etcd (etcd official)
cd /etcd/hack/tls-setup
Replace all IP in host to three IP của 3 node at req-csr.json. Save
Export
export infra0={IP-0} //ip node1
export infra1={IP-1} //ip node2
export infra2={IP-2} //ip node3
cd etcd/hack/tls-setup/
Run to gen certificate/key
make
Trong thư mục etcd/hack/tls-setup/certs sẽ gen ra cert và key của 3 node cũng như ca.key và ca.crt
(lưu ý đổi tên cho phù hợp)
Copy 4 file ca.crt/ca.key/server.crt/server.key đến đường dẫn /etc/etcd với 3 node tương ứng
Bước 3: Cấu hình file etcd.conf và etcd.service (systemd)
- Cấu hình /etcd.conf (all node)
ETCD_NAME=node-1
ETCD_LISTEN_PEER_URLS="https://10.3.4.33:2380"
ETCD_LISTEN_CLIENT_URLS="https://10.3.4.33:2379"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER="node-1=https://10.3.4.33:2380,node-2=https://10.3.4.41:2380,node-3=https://10.3.4.45:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://10.3.4.33:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://10.3.4.33:2379"
ETCD_TRUSTED_CA_FILE="/etc/etcd/ca.crt"
ETCD_CERT_FILE="/etc/etcd/server.crt"
ETCD_KEY_FILE="/etc/etcd/server.key"
ETCD_PEER_CLIENT_CERT_AUTH=true
ETCD_PEER_TRUSTED_CA_FILE="/etc/etcd/ca.crt"
ETCD_PEER_KEY_FILE="/etc/etcd/server.key"
ETCD_PEER_CERT_FILE="/etc/etcd/server.crt"
ETCD_DATA_DIR="/var/lib/etcd"
ETCD_NAME=node-2
ETCD_LISTEN_PEER_URLS="https://10.3.4.41:2380"
ETCD_LISTEN_CLIENT_URLS="https://10.3.4.41:2379"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER="node-1=https://10.3.4.33:2380,node-2=https://10.3.4.41:2380,node-3=https://10.3.4.45:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://10.3.4.41:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://10.3.4.41:2379"
ETCD_TRUSTED_CA_FILE="/etc/etcd/ca.crt"
ETCD_CERT_FILE="/etc/etcd/server.crt"
ETCD_KEY_FILE="/etc/etcd/server.key"
ETCD_PEER_CLIENT_CERT_AUTH=true
ETCD_PEER_TRUSTED_CA_FILE="/etc/etcd/ca.crt"
ETCD_PEER_KEY_FILE="/etc/etcd/server.key"
ETCD_PEER_CERT_FILE="/etc/etcd/server.crt"
ETCD_DATA_DIR="/var/lib/etcd"
ETCD_NAME=node-3
ETCD_LISTEN_PEER_URLS="https://10.3.4.45:2380"
ETCD_LISTEN_CLIENT_URLS="https://10.3.4.45:2379"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER="node-1=https://10.3.4.33:2380,node-2=https://10.3.4.41:2380,node-3=https://10.3.4.45:2380"
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://10.3.4.45:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://10.3.4.45:2379"
ETCD_TRUSTED_CA_FILE="/etc/etcd/ca.crt"
ETCD_CERT_FILE="/etc/etcd/server.crt"
ETCD_KEY_FILE="/etc/etcd/server.key"
ETCD_PEER_CLIENT_CERT_AUTH=true
ETCD_PEER_TRUSTED_CA_FILE="/etc/etcd/ca.crt"
ETCD_PEER_KEY_FILE="/etc/etcd/server.key"
ETCD_PEER_CERT_FILE="/etc/etcd/server.crt"
ETCD_DATA_DIR="/var/lib/etcd"
- Cấu hình etcd.service (systemd) trên 3 node (path: /lib/systemd/system)
[Unit]
Description=etcd key-value store
Documentation=https://github.com/etcd-io/etcd
After=network.target
[Service]
Type=notify
EnvironmentFile=/etc/etcd/etcd.conf
ExecStart=/usr/local/bin/etcd
Restart=always
RestartSec=10s
LimitNOFILE=40000
[Install]
WantedBy=multi-user.target
- Reload daemon and start/enable service
sudo systemctl daemon-reload
sudo systemctl enable etcd
sudo systemctl start etcd
Bước 4: Kiểm tra kết nối 2 cách để kiểm tra kết nối
- Liệt kê các node có trong cluster
etcdctl \
--endpoints https://10.3.4.33:2379 \
--cacert /etc/etcd/ca.crt \
--cert /etc/etcd/server.crt \
--key /etc/etcd/server.key \
member list
- Gửi 1 cặp key-value đến 1 node ở cluster và check ở các node còn lại
etcdctl --endpoints https://10.3.4.33:2379 --cert /etc/etcd/server.crt --cacert /etc/etcd/ca.crt --key /etc/etcd/server.key put foo bar
etcdctl --endpoints https://10.3.4.41:2379 --cert /etc/etcd/server.crt --cacert /etc/etcd/ca.crt --key /etc/etcd/server.key get foo
Cảm ơn anh em đã đọc và hẹn gặp trong bài tiếp theo 
