如何轻松搭建ELK日志服务器？ (搭建elk日志服务器)

随着互联网应用的不断发展，应用系统规模和用户数量都在不断增加。对于维护人员来说，处理大量的日志数据变得越来越困难。因此，使用一个好的日志管理工具是必不可少的。现在，ELK 已经成为了非常流行的日志管理工具。本文将介绍如何轻松搭建一个基于 ELK 的日志服务器。

之一步：安装 ElasticSearch

ElasticSearch 是一个开源分布式搜索引擎，它能够快速查询大量数据。它是 ELK 架构中最核心的部分，因此首先需要安装它。

在 CentOS 或 Ubuntu 中，可以通过以下命令安装 ElasticSearch：

CentOS：

“`

sudo rpm –import https://artifacts.elastic.co/GPG-KEY-elasticsearch

sudo tee /etc/yum.repos.d/elasticsearch.repo

[elasticsearch-7.x]

name=Elasticsearch repository for 7.x packages

baseurl=https://artifacts.elastic.co/packages/7.x/yum

gpgcheck=1

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

EOF

sudo yum update && sudo yum install elasticsearch

“`

Ubuntu：

“`

wget -qO – https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add –

sudo apt-get install apt-transport-https

echo “deb https://artifacts.elastic.co/packages/7.x/apt stable mn” | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list

sudo apt-get update && sudo apt-get install elasticsearch

“`

安装完成之后，需要启动 ElasticSearch 并将其设置为开机启动：

“`

sudo systemctl start elasticsearch

sudo systemctl enable elasticsearch

“`

第二步：安装 Logstash

Logstash 是一个开源的数据收集引擎，它能够从不同的数据源收集数据并转换成指定格式。在 ELK 架构中，它主要用来收集日志数据。

在 CentOS 或 Ubuntu 中，可以通过以下命令安装 Logstash：

CentOS：

“`

sudo rpm –import https://artifacts.elastic.co/GPG-KEY-elasticsearch

sudo tee /etc/yum.repos.d/logstash.repo

[logstash-7.x]

name=Elastic repository for 7.x packages

baseurl=https://artifacts.elastic.co/packages/7.x/yum

gpgcheck=1

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

EOF

sudo yum update && sudo yum install logstash

“`

Ubuntu：

“`

wget -qO – https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add –

sudo apt-get install apt-transport-https

echo “deb https://artifacts.elastic.co/packages/7.x/apt stable mn” | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list

sudo apt-get update && sudo apt-get install logstash

“`

安装完成之后，需要编写 Logstash 的配置文件。在这个配置文件中，可以指定要收集的日志数据来源，并指定将这些数据转换成什么格式。具体的配置方式可以参考官方文档。

第三步：安装 Kibana

Kibana 是一个开源的数据可视化平台，它能够将从 ElasticSearch 中查询到的数据进行可视化展示。在 ELK 架构中，Kibana 主要用来查询和分析日志数据。

在 CentOS 或 Ubuntu 中，可以通过以下命令安装 Kibana：

CentOS：

“`

sudo rpm –import https://artifacts.elastic.co/GPG-KEY-elasticsearch

sudo tee /etc/yum.repos.d/kibana.repo

[kibana-7.x]

name=Kibana repository for 7.x packages

baseurl=https://artifacts.elastic.co/packages/7.x/yum

gpgcheck=1

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

EOF

sudo yum update && sudo yum install kibana

“`

Ubuntu：

“`

wget -qO – https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add –

sudo apt-get install apt-transport-https

echo “deb https://artifacts.elastic.co/packages/7.x/apt stable mn” | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list

sudo apt-get update && sudo apt-get install kibana

“`

安装完成之后，需要启动 Kibana 并将其设置为开机启动：

“`

sudo systemctl start kibana

sudo systemctl enable kibana

“`

第四步：配置与测试

通过上述步骤，ELK 日志服务器的基本组件就安装完成了。接下来需要进行一些配置和测试。

首先是 ElasticSearch，需要确认其是否启动成功。可以通过 curl 或浏览器访问 ElasticSearch 的默认端口 9200：

“`

curl http://localhost:9200/

“`

如果返回如下内容，则说明 ElasticSearch 启动成功：

“`

{

“name” : “yourhostname”,

“cluster_name” : “elasticsearch”,

“cluster_uuid” : “random-uuid”,

“version” : {

“number” : “7.1.0”,

“build_flavor” : “default”,

“build_type” : “deb”,

“build_hash” : “random-hash”,

“build_date” : “date”,

“build_snapshot” : false,

“lucene_version” : “8.0.0”,

“minimum_wire_compatibility_version” : “6.8.0”,

“minimum_index_compatibility_version” : “6.0.0-beta1”

},

“tagline” : “You Know, for Search”

}

“`

接下来是 Logstash，需要确认其是否能成功收集日志并将其传输到 ElasticSearch。可以通过在 Logstash 配置文件中添加一个 stdout 输出插件来输出日志数据以进行测试：

“`

input {

stdin { }

}

output {

stdout { codec => rubydebug }

elasticsearch {

hosts => [“localhost:9200”]

}

}

“`

添加完上述配置文件之后，可以通过以下方式运行 Logstash：

“`

sudo /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/myconf.conf –config.reload.automatic

“`

这样，所有从键盘读取的输入都会被输出到控制台，并且会被传输到 ElasticSearch 中，接下来可以通过 Kibana 来进行查询和分析。

最后是 Kibana，需要确认其是否能够成功连接 ElasticSearch 并展示数据。可以通过浏览器访问 Kibana 的默认端口 5601，如果返回界面如下图，则说明 Kibana 连接成功：


至此，基于 ELK 的日志服务器已经成功搭建。它能够通过收集日志数据、存储和展示数据来帮助系统维护人员更好地管理和监控系统运行状态。

相关问题拓展阅读：

• 在 K8S 上部署 ELK 7.14 集群实现采集容器日志

在 K8S 上部署 ELK 7.14 集群实现采集容器日志

1. 创建单独的 namespace

2. 生成开启 x-pack 时的 ssl 证书

3. 部署 elasticsearch master 节点

4. 部署 elasticsearch data 节点

5. 部署 elasticsearch client/ingest 节点

6. 暴露 elasticsearch service

7. 设置 elasticsearch 的密码

这时就可以通过账号 elastic 和密码 03sWFWzGOjNOCioqcbV3 登录 elasticsearch 了

8. 配置 kibana.yaml 连接 elasticsearch 的 secret

9. 部署 kibana

这时就可以通过账号 elastic 和密码 03sWFWzGOjNOCioqcbV3 登录 kiban了

10. 部署 zookeeper

11. 部署 kafka

12. 部署 filebeat

13. 部署 logstach

搭建elk日志服务器的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于搭建elk日志服务器,如何轻松搭建ELK日志服务器？,在 K8S 上部署 ELK 7.14 集群实现采集容器日志的信息别忘了在本站进行查找喔。