版本说明

本文写于 2022-03。
esm 工具的基本用法未变；新集群若已升级到 8.x 并开启安全认证，迁移命令需额外补充认证参数（-x/-y 的 URL 中携带用户名密码或改用 --auth），迁移逻辑本身不受影响。

ESM增量同步ES数据

逻辑:每3分钟同步一次10分钟之前的数据

vim /usr/local/bin/esm.sh

#!/bin/bash
while [ true ]; do
    now=$(date +%s000)
    ten_min_ago=$(($now - 600000))
    echo $now $ten_min_ago
    /usr/bin/esm -s http://172.30.3.127:9200 -x "myindex" -d http://172.30.3.137:9200 -w 10 -t 5m -b 10 -q "updatetime:[$ten_min_ago TO $now]"
    sleep 180
done

vim /usr/lib/systemd/system/esm.service

[Unit]
Description=esm
After=network.target
 
[Service]
Type=simple
PIDFile=/var/run/esm.pid
WorkingDirectory=/usr/local/
ExecStart=/usr/local/bin/esm.sh
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
Restart=on-failure
RestartSec=5
LimitNOFILE=65536
 
[Install]
WantedBy=multi-user.target

启动

systemctl daemon-reload
systemctl start esm.service
systemctl status esm.service -l