前言

本文作为学习记录，供大家参考：一次使用阿里云(Aliyun)1核2G centos7.5 云主机搭建Docker下的ELK环境，并导入MS SQL Server的商品数据以供Kibana展示的配置过程。

关于Docker配置，本文直接使用开源项目 docker-elk(该项目维护了一个 Docker Compose 版的 Elastic Stack), 在其上做简单修改。

参考文章：
SQL Server数据同步到ELK
使用 Docker 搭建 ELK 环境

1. 环境准备

1.1 Docker & Docker Compose

官网下载安装 Docker 和 Docker Compose

注：对于 Win/MacOS系统安装 Docker 后自带 Docker Compsoe，不需要再次安装。

Docker安装好后，建议先配置相关权限，官方文档：linux-postinstall

1.2 docker-elk 项目

git clone https://github.com/deviantony/docker-elk.git /app/docker-elk

克隆到指定目录，这里指定到 /app/docker-elk

该项目初始结构（elk version 7.13）如下：
├── docker-compose.yml
├── docker-stack.yml
├── elasticsearch
│ ├── config
│ │ └── elasticsearch.yml
│ └── Dockerfile
├── extensions
│ ├── apm-server
│ ├── app-search
│ ├── curator
│ ├── logspout
├── kibana
│ ├── config
│ │ └── kibana.yml
│ └── Dockerfile
├── LICENSE
├── logstash
│ ├── config
│ │ └── logstash.yml
│ ├── Dockerfile
│ └── pipeline
│ └── logstash.conf
└── README.md
└── .env

1.3 docker compose

据官网介绍，docker compose 是一个方便配置多 container 的工具。之前一个容器一个容器的 run ，有好多配置要直接写在命令行上，如果需要再次运行就要再写一遍参数很不方便。compose 文档：docker-compsoe

注：项目根目录下的 .env 文件中定义了一个变量，指定了 elk 的版本，默认是 latest。可自行修改，修改后需要 build 才会生效：docker-compose build。欲知详情请参考项目文档。

要运行 docker compose 项目，请切换到项目根目录，然后运行 docker-compose up [service name]命令，如果不指定 service name，则启动所有服务。至于停止运行等其他的命令，请去参考文档内容。这里建议初次使用之前至少认真阅读一遍文档。

2 Elastics Stack 的配置

首先进行下述配置：

1. 修改/etc/sysctl.conf:vm.max_map_count = 262144，修改完运行 sysctl -p使之生效或者退出当前终端重进使之生效。

2. elasticsearch.yml 配置文件中的 xpack.license.self_generated.type 修改为 basic 来禁用 X-Pack 相关收费功能。

3. 由于机器内存太小，导致实际运行中容器各种退出，我选择将 Elastic Stack 三者的 xpack.monitoring.enabled 统统关闭。打开 .yml，修改相应配置项为：

    xpack.monitoring.collection.enabled: false
    xpack.monitoring.enabled: false
   

4. 特别注意，对于阿里云服务器，还需要配置安全组规则以开放 docker 的端口，否则外网无法访问 docker 容器。本文添加端口规则如图：
   

接下来分别记录 Elastic Stack 的配置。需要说明的是，关于这三者的配置，前面提到过，编排文件可以极大的方便 docker 的容器配置，尤其是多容器场景，使 docker 更方便的 run。同时，每个容器在编排文件里的环境变量(？) enviroment 里也可以进行此容器本身的配置。也就是说，本文要配置的 Elastic Stack，既可以找到他们各自目录里的 .yml 在里面写配置项，也可以在编排文件里找到各容器的 environment 属性，在其下写配置项。

2.1 Elasticsearch

Docker compose 编排文件（docker-compose.yml）里的 Elasticsearch service 定义了 Elasticsearch 的 docker 配置，以及一些 Elasticsearch 本身的运行参数。本文主要进行了 Elasticsearch logging 写入文件并持久化保存到磁盘以及跨域开启这两点设置。

2.1.1 跨域

首先进行跨域开启设置。为了能用 elasticsearch-head 插件访问 elasticsearch，elasticsearch 需要开启跨域。

如前所述，直接在 docker-compose.yml 里配置和在 elasticsearch.yml 里配置这两种方式都可以。本文直接在编排文件里配。找到 elasticsearch service 的 environment 属性，在其下添加（参考 elasticsearch-head 文档）：

  http.cors.enabled: "true"
  http.cors.allow-origin: "*"

  http.cors.allow-headers: "Content-Type,Content-Length,Authorization"
  http.cors.allow-credentials: "true"

path.logs: /usr/share/elasticsearch/logs

- type: bind
    source: ./elasticsearch/config/log4j2.properties
    target: /usr/share/elasticsearch/config/log4j2.properties
    read_only: true

input {
  jdbc {
    jdbc_driver_library => "/usr/local/logstash-7.2.0/lib/mssql-jdbc-7.2.2/mssql-jdbc-7.2.2.jre8.jar" # 这里请灵活应变，能找到我们上一步下载的jdbc jar包即可
    jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver" # 这个名字是固定的
    jdbc_connection_string => "jdbc:sqlserver: //数据库ServerIP:1433;databaseName=数据库名;"
    jdbc_user => "数据库账号"
    jdbc_password => "数据库密码"
    schedule => "* * * * *" # Corn 表达式，请自行百度写法
    jdbc_default_timezone => "Asia/Shanghai"
    jdbc_page_size => "500" # 每一批传输的数量
    record_last_run => "true" #是否保存状态 
    use_column_value => "true" #设置为时true，使用定义的 tracking_column值作为:sql_last_value。设置为时false，:sql_last_value反映上次执行查询的时间。
    tracking_column => "LastModificationTime" #配合use_column_value使用
    last_run_metadata_path => "/usr/opt/logstash/config/last_value" #记录:sql_last_value的文件
    lowercase_column_names => "false" #将DB中的列名自动转换为小写
    tracking_column_type => "timestamp" #tracking_column的数据类型，只能是numberic和timestamp
    clean_run => "false" #是否应保留先前的运行状态，具体参考文档~~
    #statement => "SELECT * FROM 表 WITH(NOLOCK) WHERE LastModificationTime > :sql_last_value" #从DB中抓数据的SQL脚本
    statement_filepath => "/file/path/some.sql" #文件形式的SQL脚本，路径注意双引号括起来
 }
}
output {
 elasticsearch {
    index => "your_index"
    document_id => "%{Id}"
    hosts => ["elasticsearch:9200"]
    user => "elastic"
    password => "changeme"
    ecs_compatibility => disabled
 }
}

input {
 jdbc {
    jdbc_driver_library => "/usr/share/logstash/lib/sqljdbc_9.2/chs/mssql-jdbc-9.2.1.jre11.jar"
    jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
    jdbc_connection_string => "jdbc:sqlserver://yourip:1433;databaseName=yourDB;"
    jdbc_user => "user_name"
    jdbc_password => "your_passwd"
    schedule => "*/15 * * * *"
    jdbc_default_timezone => "Asia/Shanghai"
    jdbc_page_size => "500"
    record_last_run => "true"
    #use_column_value => "true"
    #tracking_column => "LastModificationTime"
    last_run_metadata_path => "/usr/share/logstash/config/last_value"
    lowercase_column_names => "false"
    tracking_column_type => "timestamp"
    clean_run => "false"
    statement_filepath => "/usr/share/logstash/item_warehouse.sql"
    #statement => "SELECT * FROM Table1 WITH(NOLOCK) WHERE (LastModificationTime >= :sql_last_value OR CreationTime >= :sql_last_value) AND IsDeleted=0"
 }
}
filter {
    mutate {
            rename => {"Field1" => "字段1" "Field2" => "字段2" }
    }
}
output {
elasticsearch {
    index => "your_index"
    document_id => "%{Id}"
    hosts => ["elasticsearch:9200"]
    user => "elastic"
    password => "changeme"
    ecs_compatibility => disabled
 }
}

log.level: info
path.logs: /usr/share/logstash/logs
log.format: plain

...
user: root
ports:
  - "5044:5044"
  - "5000:5000/tcp"
  - "5000:5000/udp"
  - "9600:9600"
...

######
input {
file {
    path => "/usr/share/logstash/logs/logstash-plain.log"
    #sincedb_path => "/usr/share/logstash/logs/sincedb"
    sincedb_path => "/dev/null"
    #tags => ["some-logs"]
}
}

filter {
grok {
    match => { "message" => "\[%{TIMESTAMP_ISO8601:tstamp}\]\[%{LOGLEVEL:loglevel} \]\[%{JAVACLASS:class}.*\] %{GREEDYDATA:logmessage}" }
}
date {
    match => ["tstamp", "ISO8601"]
}
mutate {
    remove_field => [ "tstamp" ]
}
}

output {
if "_grokparsefailure" not in [tags] {
elasticsearch {
    hosts => ["elasticsearch:9200"]
    index => "logstash_logs-%{+YYYY.MM.dd}"
    user => "elastic"
    password => "changeme"
    ecs_compatibility => disabled
}
    stdout {   }
}
}

# This file is where you define your pipelines. You can define multiple.
# # For more information on multiple pipelines, see the documentation:
# #   https://www.elastic.co/guide/en/logstash/current/multiple-pipelines.html
#
- pipeline.id: main
path.config: "/usr/share/logstash/pipeline/logstash.conf"

- pipeline.id: logs
path.config: "/usr/share/logstash/pipeline/logs.conf"

- type: bind
    source: ./logstash/config/pipelines.yml
    target: /usr/share/logstash/config/pipelines.yml
    read_only: true

---
## Default Kibana configuration from Kibana base image.
## https://github.com/elastic/kibana/blob/master/src/dev/build/tasks/os_packages/docker_generator/templates/kibana_yml.template.ts
#
server.name: kibana
server.host: 0.0.0.0
elasticsearch.hosts: [ "http://elasticsearch:9200" ]
monitoring.ui.container.elasticsearch.enabled: true
xpack.monitoring.enabled: false
##
i18n.locale: "zh-CN"
## X-Pack security credentials
#
elasticsearch.username: elastic
elasticsearch.password: changeme
#elasticsearch.username: kibana-system
#elasticsearch.password: mjHPFOvECWnAmeaKhMqf