博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
ELK日志分析系统迁移记录
阅读量:6229 次
发布时间:2019-06-21

本文共 1540 字,大约阅读时间需要 5 分钟。

写在开始

做项目不记录日志?线上的问题永远不会知道何时发生过?只会在出现事故之后身处茫然之中。

阿里云ECS即将到期,由于之前ELK日志分析是在自己的服务器上进行试水,断断续续运行了一年多时间。

今天抽空赶紧把ELK迁移一下,由于Logstash本身就配置于各个系统之中,所以这里只是对Redis、Elasticsearch和Kibana进行了配置,当然还有一些邮件发送的配置。

看了下官网,Elasticsearch和Kibana已经进行了升级,Kibana更新到了版本5,而Elasticsearch也跟随升级到了5。由于系统环境是JDK1.7,而Elasticsearch依赖JDK1.8,同时Kibana又必须依赖Elasticsearch,只能升级作罢,按照原来的迁移。

系统架构

2731325935

平台优势

为什么要搭建ELK系统?

方便开发或者运维人员统计分析和查询日志信息。

对于错误日志统一处理并发送通知。

相关软件

Logstash-2.1.1

Redis-3.2.8

Elasticsearch-2.4.4

Kibana-4.3.1

Nginx-1.6.2

JDK-1.7

sendmail

迁移说明

配置Redis

  • 建议使用内网IP
  • 建议修改 默认端口6379
  • 配置文件在redis.conf,修改相关的host、IP以及密码
  • 启动 ./redis-server /home/tools/redis-3.2.8/redis.conf& #加&实现后台运行
  • 测试连接 ./redis-cli -h 127.0.0.1 -p 6379

文档:

配置Elasticsearch

  • 版本选择 2.4.4,由于5以上版本要基于JDK1.8以上,所以放弃。
  • 禁止使用root启动(自行创建用户),这不是一个好的主意,启动时有警告。
  • 建议内网配置通信,不要暴露IP
  • 建议修改默认端口9200
  • 最后Elasticsearch是从2版本直接跳跃到5版本的,可能是要配置kinbana

启动说明

elasticsearch -h # 查看相关参数
elasticsearch -d # 后台运行
curl -X GET # 测试是否启动

默认配置下是不允许root用户启动的,危险系数比较高。当然这里也有解决方法,但不建议使用。

编辑bin目录下的elasticsearch 加上ES_JAVA_OPTS属性即可。

ES_JAVA_OPTS="-Des.insecure.allow.root=true"

配置kinbana

  • 建议内网配置通信,不要暴露IP,可以通过Nginx做反向代理实现鉴权登陆
  • 登陆后,需要等Elasticsearch中有数据才可以创建index
  • 启动命令 nohup kibana &

注意:

当输入nohup kibana & 命令后,需要按任意键返回到shell窗口。
退出当前登录窗口用exit命令,不要直接点击窗口上的叉来关闭。

配置邮件发送

  • 安装 yum install -y sendmail
  • 配置 文件 vi /etc/mail.rc
#参数自行修改set from=admin@52itstyle.com smtp=smtp.52itstyle.com smtp-auth-user=admin@52itstyle.com smtp-auth-password=123456 set smtp-auth=login
  • 启动服务 service sendmail start
  • 检测服务 chkconfig --list |grep sendmail
  • 测试 mail -s "test" 345849402@qq.com

最后的最后,这些配置一定要配置开机启动。

转载地址:http://bpina.baihongyu.com/

你可能感兴趣的文章
leetcode第一刷_Same Tree
查看>>
高速排序之算法导论实现
查看>>
$.post()提交了数据,return不给跳转
查看>>
检测和删除多余无用的css
查看>>
pip安装使用详解【转】
查看>>
Mybatis 中延时加载
查看>>
固本清源
查看>>
Execution Plan 执行计划介绍
查看>>
聊聊连接池和线程
查看>>
Python——正則表達式(2)
查看>>
适合新人学习的iOS官方Demo
查看>>
拉开大变革序幕(下):分布式计算框架与大数据
查看>>
AndroidStudio 使用AIDL
查看>>
H.264 RTPpayload 格式------ H.264 视频 RTP 负载格式(包含AAC部分解析)
查看>>
poj 3468 A Simple Problem with Integers 【线段树-成段更新】
查看>>
CentOS---网络配置详解
查看>>
第1阶段——uboot分析之硬件初始化start.S(4)
查看>>
记dynamic的一个小坑 -- RuntimeBinderException:“object”未包括“xxx”的定义
查看>>
代写初中语文作文|代写初中语文作文技巧分享
查看>>
linux字符设备文件的打开操作
查看>>