type
status
date
slug
summary
tags
category
icon
password
Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。
前情提要
新建了一个 ES 索引，需要从 TIDB 导入一些数据到 ES 索引中。
- ES 索引名： index_test
- tidb 地址： 127.0.0.1:4000
- es 地址： 127.0.0.1:9200, 127.0.0.1:9201, 127.0.0.1:9202
下载 mysql-connector-java-8.0.21.jar 包
下载链接： https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.21/mysql-connector-java-8.0.21.jar
创建 Logstash configuration 文件
<u>tidb-to-es.tml</u>
开始导入数据
分页处理
当数据量很大的时候，Logstash 可自动分页导入数据
但是 ES 分页语句效率极其低下，于是自己写了个脚本分页
<u>paging.sh</u>
导入 100W 数据
想暂停 logstash，只需在脚本目录建立一个 stop 空文件