Elasticsearch6.5+Logstash6.5安装和配置_爱睡懒觉的老舅的博客-CSDN博客
Elasticsearch6.5+Logstash6.5安装和配置
爱睡懒觉的老舅
于 2019-01-13 22:06:27 发布
2727
收藏
文章标签：
elasticsearch
搜索引擎
lucene
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ocean111best/article/details/85560670
版权
1、Elasticsearch6.5
1.1 ElasticSearch 简介
(1)基于 Apache Lucene 构建的 开源搜索引擎，提供一个分布式多用户的全文搜索引擎；
(2)提供了简单易用的 Java Restful API，是当前流行的企业级搜索引擎；
(3)轻松的横向扩展，可支持 PB 级的结构化或非结构化数据处理；
(4)可以准确实时地快速存储、搜索、分析海量的数据。在云计算中可以实时搜索。
总结来说：ElasticSearch目前主要用于大量数据的挖掘和搜索。优势是数据量较大的时候搜索速度较快，并且本身还带有分词器，可以进行分词搜索。劣势是需要添加新数据与新字段时，使用ElasticSearch进行搜索可能需要重新修改格式，之前的数据需要重新同步，一旦数据格式出现改变，会变得非常麻烦。另一个缺点是在搜索的时候，和之前的mysql不同，有许多mysql可以搜索到的东西，在ElasticSearch可能搜不到。
1.2 ElasticSearch 名称说明
索引：含有相同属性的文档集合；
类型：索引可以定义一个或多个类型，文档必须属于一个类型；
文档：文档是可以被索引的基本数据单位；
分片：每个索引都有多个分片，每个分片是一个 Lucene 索引；
备份：拷贝一份分片就完成了分片的备份；
关系数据库和 ElasticSearch 定义对比：
关系数据库    ==>  数据库(database)        ==>  表(table)     ==>           行               ==>  列(Columns)
Elasticsearch ==> 索引(Index) ==>  类型(type)  ==> 文档(Document)  ==> 字段(Fields)
字段类型：这里强调两个地方：(1) ES6.5 开始不支持 string 类型，由 text 和 keyword 类型替代；
text类型：当一个字段需要被全文搜索时，如项目名称、描述等等，应该使用 text 类型。当字段被设置为 text 类型之后，其内容会被分词器(如 analysis-ik)分成一个个词项。text 类型的字段不用于排序，很少用于聚合。一般需要模糊查询某个字段内容时应该将该字段设置为text 类型。
keyword 类型：keyword 类型适用于索引结构化的字段，且 keyword 类型的字段只能通过精确值搜索到。其他类型参见后面的参考博客链接。
1.3 ElasticSearch6.5安装和配置
为了方便和熟悉起 mac 系统，本次项目主要安装在 macbook pro 上。
首先需要安装 JDK8，注意一定要是 jdk8 及以上版本。mac 上安装 jdk8 也很方便，但是要记住 jdk 解压缩目录和环境的配置。
ES 选择的是 6.5 版本，直接在官网下载 elasticsearch-6.5.0.tar.gz 解压即可；
启动 ES，查看是否安装成功。进入解压完的 ES 目录下，输入：sh ./bin/elasticsearch 即可启动程序。启动后，看到的是starting...，最后是 started 即代表启动成功。
一般都是后台启动(为了不至于开那么多的 terminal 标签页)，进入 ES 目录下输入：./bin/elasticsearch -d
有时候需要重启 es，但是又不知道它是否已经在启动了时，可以查看所有的进程：
杀死某个进程：kill 732
配置 ES：进入 elasticsearch 安装目录下的 config 目录下 vim elasticsearch.yml ，在此配置文件末尾追加如下配置信息并保存：
http.cors.enabled: true #如果启用了 HTTP 端口，那么此属性会指定是否允许跨源 REST 请求。
http.cors.allow-origin: "*"#若http.cors.enabled的值为true，那么该属性会指定允许REST请求来自何处
cluster.name: wali #集群名称
node.name: master #节点名称
node.master: true #是否是父节点
network.host: 0.0.0.0 #设置为0.0.0.0表示允许其他电脑通过 ip 即可访问
安装 ES 的可视化操作插件 elasticsearch-head-master：
1)首先需要安装 Node6.X。mac 系统安装 node 很简单，下载完之后双击一步步安装即可。然后输入 node -v 即可查看安装版本；
2）下载elasticsearch-head包，在Github【elasticsearch-head】上面，直接选择下载的DownLoad zip到本地！
3）对 elasticsearch-head 进行解压；
4）在 /Users/mac/Documents/2018/imooc/elasticsearch-head-master 目录下使用 npm install 
5）在 /Users/mac/Documents/2018/imooc/elasticsearch-head-master 目录下 npm run start 
注意：第一次需要第 4）步，其他都不需要；
6）验证服务，在浏览器中输入 http://localhost:9100 ，出现如下图即代表启动成功
其中集群健康值有：red（差）：集群 健康状况很差，虽然可以查询，但是已经出现了丢失数据的现象 ；yellow（中）：集群健康状况不是很好，但是集群可以正常使用 ；green（优）：集群健康状况良好，集群正常使用。
注：这里面是我已经建立了好几个索引，所以有很多个，并且安装了 kibana，所以有 .kibana
至此，Elasticsearch6.5 启动和安装成功！
2、Logstash6.5安装和配置
1.1 Logstash6.5简介
Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为 c/s 架构，client 端安装在需要收集日志的主机上，server 端负责将收到的各节点日志进行过滤、修改等操作在一并发往 elasticsearch 上去。
可以理解为Logstash主要是往 elasticsearch 里面导入数据。
1.2 Logstash安装配置
注意 Logstash 的版本要和 Elasticsearch 版本保持一致！
直接在官网下载 Logstash6.5（下载 Elastic 产品 | Elastic）
解压下载下来的压缩文件：
tar -zxvf logstash-6.5.0.tar.gz
启动 Logstash6.5：进入 logstash 目录下，输入：
bin/logstash -e "input{stdin{}}output{stdout{}}"
terminal 输出 hello world 即表示启动成功
1.3 把 csv 文件导入到 elasticsearch 里面
input {
file {
path => ["/Users/mac/Documents/2018/imooc/data/test.csv"]
start_position => "beginning"
filter{
csv {
separator => ","
columns => ["id","citytr","classes","code","countytr","distinct","from","full_name","MD5","index_name","origin","provincetr","statistic_num","tag","unit","year"]
output {
elasticsearch {
hosts => ["127.0.0.1:9200"]
index => "oceanbook"
其中：
input input组件负责读取数据，使用以下插件读取不同的数据类型。        file插件读取本地文本文件，        stdin插件读取标准输入数据，        tcp插件读取网络数据，        log4j插件读取log4j发送过来的数据等等。path：csv文件路径start_position：可以设置为beginning或者end，beginning表示从头开始读取文件，end表示读取最新的，这个也要和ignore_older一起使用。
filter filter插件负责过滤解析input读取的数据 读取csv文件： separator：拆分符 columns：csv文件中的字段，注意：要和 csv文件中字段顺序一致
mutate：字段类型转换，具体可转换的数据类型，根据es版本而定，可查看官网：https://www.elastic.co/guide/en/logstash/5.5/plugins-filters-mutate.html
output hosts：主机ip index：设置es中的索引名称 document_type：索引下的type名称
对于csv文件需要注意一下几点： 1、第一行不需要存储字段名称，直接就是字段值信息 2、最后一行要换行  
参考博客：
ElasticSearch 入门总结_阿飞云-CSDN博客
ElasticSearch 6.x 学习笔记：12.字段类型_程裕强的专栏-CSDN博客
mac下配置logstash_resilient的博客-CSDN博客
https://blog.csdn.net/qq_34624315/article/details/83009482 
关注博主即可阅读全文
爱睡懒觉的老舅
关注
关注
点赞
收藏
打赏
评论
Elasticsearch6.5+Logstash6.5安装和配置
1、Elasticsearch6.51.1 ElasticSearch 简介(1)基于 Apache Lucene 构建的开源搜索引擎，提供一个分布式多用户的全文搜索引擎；(2)提供了简单易用的 JavaRestful API，是当前流行的企业级搜索引擎；(3)轻松的横向扩展，可支持 PB 级的结构化或非结构化数据处理；(4)可以准确实时地快速存储、搜索、分析海量的数据。在...
复制链接
扫一扫
logstash-6.5.4.zip
06-28
logstash-6.5.4工具安装包下载
logstash-6.5.0.tar.gz
11-21
logstash-6.5.0.tar.gz，linux系统，官网资源，真实有效，欢迎下载
参与评论
您还未登录，请先
登录
后发表或查看评论
Logstash 安装+配置+数据采集示例
zhangxm_qz的博客
06-29
1054
文章目录简介部署安装配置详解输入过滤输出读取地自定义日志输出内容到Elasticsearch
简介
Logstash是一个开源的数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据保存到指定库中，如ES。
部署安装
logstash运行需要java1.8环境，因此需要先安装java环境
下载安装文件并复制到服务器
解压后目录结构如下：
[root@localhost apps]# ll
总用量 687700
drwxr-xr-x. 9 elsearch elsearch 155 6
elasticsearch安装与使用（6）-- Logstash安装与配置
weixin_33826268的博客
02-14
62
由于elasticsearch的search guard 不支持 elasticsearch的jdbc，所以如果安装了search guard认证插件之后，基本上jdbc就废了，所以我们需要用到logstash来代替jdbc生成数据索引。
简介
Logstash是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。
在一...
Logstash配置详解
最新发布
u012017645的专栏
10-17
2006
Logstash配置详解
logstash zip linux安装,centos7.4安装测试logstash6.5.0
weixin_39807691的博客
05-14
174
接着前面ES的相关内容，本篇介绍下centos7.4使用tar.gz压缩包安装logstash6.5.0方法以及简单使用示例。一、下载安装logstash1.1 首先确认下java环境(因为我用的还是之前安装es那台虚拟机，已经配置过jdk了，这里就确认下即可)[root@imzcy ~]# su - es[es@imzcy ~]$ java -versionjava version "1.8.0...
ELK之logstash6.5
weixin_30237281的博客
12-23
174
首先安装,这里采用rpm安装:
# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
创建repo文件:
[root@node1 logstash]# cat /etc/yum.repos.d/logstash.repo
[logstash-6.x]
name=Elastic reposit...
LogStash安装
Fisher3652的博客
03-13
6568
目录1. 下载安装报2. 上传到服务器3. 启动 Logstash4. 连接 Elasticsearch
1. 下载安装报
这里选择7.14.0版本，下载地址
2. 上传到服务器
解压
tar -zxvf logstash-7.14.0-linux-x86_64.tar.gz
3. 启动 Logstash
Logstash 的启动命令位于安装路径的 bin 目录中，直接运行 logstash 不行， 需要按如下方式提供参数:
./logstash -e "input {stdin {
windowsDocker下用Logstash的logstash-input-jdbc插件实现mongodb与elasticsearch的同步
grgrgrr的博客
07-27
171
1.docker环境下 下载logstash：
docker pull logstash:7.5.2
（logstash版本要和elasticsearch和kibana版本一致）
2.下载logstash-input-jdbc插件。拉取：先进入logstash的docker容器，在logstash容器中进行
/usr/share/logstash/bin/logstash-plugin install logstash-input-jdbc
3.编写配置文件：在容器中进入/...
Logstash6.5.4安装配置
Coding Farmer的博客
03-29
5625
logshtash介绍：
https://www.elastic.co/products/logstash
Logstash is an open source, server-side data processing pipeline that ingests data from a multitude of sources simultaneously, transforms it, an...
虚拟机 CentOS 6.5 安装logstash 6.X
bugli的博客
02-28
2264
本文参照https://www.elastic.co/guide/en/logstash/current/installing-logstash.html 官方文档编写Logstash 6 需要Java 8.不支持Java 9。所以首先确认本机的java版本[root@elk /]# java -version
java version "1.8.0_161"
Java(TM) SE Runtim...
一步步建立 ELK log分析平台 --- logstash 6.5.4 安装
无法落地的技术、理论就是耍流氓--赢在实践
01-20
1388
目录
1. 下载logstash
2. 复制一个default.conf 文件
3.启动logstash
1. 下载logstash
# wget https://artifacts.elastic.co/downloads/logstash/logstash-6.5.4.tar.gz
移动到安装目录解压 #tar -zxvf logstash-6.5.4.tar.gz
2...
logstash-6.5.3.tar.gz
01-23
Logstash 是开源的服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中。
CentOS6.5 安装 Elasticsearch+Logstash+Kibana 6 记录日志 笔记
bugli的博客
03-07
1136
环境说明按照之前的文章，搭建2台CentOS6.5 服务器，主机 172.16.1.176 安装ELK+redis并配置好，主机 172.16.1.177 安装EL并配置附带一下本文Elasticsearch 的配置文件[root@elk logstash]# grep '^[a-z]' /usr/share/elasticsearch-6.2.2/config/elasticsearch.yml...
Logstash安装和基本使用
热门推荐
Sid小杰的博客
06-10
4万+
logstash是做数据采集的，类似于flume。官网http://www.elastic.co/cn/products/logstash解压 tar -zxvf logstash-2.4.1.tar.gz修改文件夹名字mv logstash-2.4.1 logstash控制台采集数据，控制台输出数据cd /app/logstashbin/logstash -e 'input { stdin { ...
Logstash6.x 入门
Ghost_02的博客
01-20
7457
简介
Logstash是一个开源的服务器端数据处理管道，可以同时从多个源获取数据。面对海量的日志量，rsyslog和sed，awk等日志收集，处理工具已经显的力不从心。logstash是一个整合型的框架，可以用以日志的收集，存储，索引构建（一般这个功能被ES取代）。
工作机制
logstash 的服务器端从redis/kafka/rabbitmq
ELK-LogStash6.5.4
陈袁的博客
04-24
1013
LogStash6.5.4安装
前言
与Elasticsearch、Kibana不同，Logstash默认并不作为系统服务安装，我们也不建议作为服务启动。主要原因为：
大多数情况下，Elasticsearch、Kibana在每台服务器上只有一个实例，可以作为服务启动；而一个Logstash实例一般只服务于一个数据流，因此一台服务器上经常运行多个实例； Elasticsearch、Kibana是服务...
CentOS 6.5搭建ELK环境ElasticSearch+Kibana+Logstash
Lee_Natuo的博客
01-11
5640
CentOS 6.5搭建ELK环境
ELK工作流程
多个独立的Agent(Shipper)负责收集不同来源的数据，一个中心Agent(Indexer)负责汇总和分析数据，在中心Agent前的Broker(使用Redis实现)作为缓冲区，中心Agent后的ElasticSearch用于存储和搜索数据，前端的Kibana提供丰富的图表展示。
Shipper表示日志收集，使用L
目前最新的6.5.4 ELK日志收集全家桶 搭建 步骤：
成熟的小孩的博客
12-29
3653
全家桶 官网：https://www.elastic.co/cn/downloads/kibana
流程图：
1.1 安装环境搭建
本文中介绍的ELK平台搭建需要用到如下六种程序，出于兼容性考虑，程序附上版本号。
JDK 1.8
1.2. elasticsearch 的安装与配置
1.2.1. ES 基本环境搭建
解压文件 elasticsearch-6.5.4.tar.gz
tar -zx...
Logstash5.2.x升级至6.5.x
weixin_34375054的博客
12-26
239
第1章环境说明：现有架构为elk+kafka+filebeat，elk各组件为5.2.x版本[root@logstash-node-1 ~]# rpm -qa |grep logstashlogstash-5.2.2-1.noarch[root@logstash-node-1 ~]# java -versionjava version "1.8.0_181"Java(TM)...
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：大白
设计师：CSDN官方博客
返回首页
爱睡懒觉的老舅
CSDN认证博客专家
CSDN认证企业博客
码龄7年
暂无认证
78
原创
6101
周排名
78万+
总排名
12万+
访问
等级
2101
积分
7539
粉丝
179
获赞
88
评论
478
收藏
私信
关注
热门文章
数据可视化学习总结
9447
JavaScript原型、闭包、继承和原型链等等总结
7636
可视化例子(11)——ECharts line3D制作三维折线图
6794
Springboot+ElasticSearch 项目实战（三）
5946
Springboot+ElasticSearch 项目实战（一）
5668
分类专栏
ArcGIS API For JavaScript
9篇
前端
19篇
Vue
16篇
可视化
16篇
WebGIS
16篇
Echarts
15篇
SuperMap iClient for MapboxGL
2篇
Map
9篇
脚本
2篇
maptalks
3篇
Mapbox
5篇
WebGL
1篇
数据库
2篇
空间数据
1篇
oracle
1篇
HighCharts
1篇
转载算法一
1篇
Javascript
8篇
HTMl
1篇
Python
7篇
CSS
SQL
4篇
Java
5篇
C#
2篇
Elasticsearch
4篇
Springboot
2篇
spark
7篇
hadoop
9篇
hive
6篇
linux
pyspark
8篇
sparksql
1篇
最新评论
Vue+OpenLayers学习系列（二）OpenLayers 读取 ArcGIS Server 发布的地图服务
爱睡懒觉的老舅:
无法连接OpenStreetMap，好像要翻墙
Vue+OpenLayers学习系列（二）OpenLayers 读取 ArcGIS Server 发布的地图服务
qq_35918015:
博主你好，请问我这个控制台一直报错是啥情况？GET https://tile.openstreetmap.org/4/6/4.png net::ERR_CONNECTION_TIMED_OUT
Vue+OpenLayers学习系列（一）OpenLayers 总体介绍+切换地图底图
cz_sjn:
感谢作者的付出，点赞
Vue+OpenLayers学习系列（十）OpenLayers读取VectorLayer矢量图层数据(GeoJson格式)
爱睡懒觉的老舅:
用官网的那个方法试下，也看下报什么错，然后实在不行重启下电脑吧
Vue+OpenLayers学习系列（十）OpenLayers读取VectorLayer矢量图层数据(GeoJson格式)
苹果味奥利奥:
我想在第二个添加的json文件是点图层，如果按照您的这个方法添加图层？添加的点图层不显示啊
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
ArcGIS API For JavaScript学习笔记
大数据学习总结（SparkSQL/PySpark空间计算）
Vue学习笔记六：element-ui中表格单元格合并（多个if else语句的优化）
2021年11篇
2020年31篇
2019年35篇
2017年4篇
2016年7篇
目录
目录
分类专栏
ArcGIS API For JavaScript
9篇
前端
19篇
Vue
16篇
可视化
16篇
WebGIS
16篇
Echarts
15篇
SuperMap iClient for MapboxGL
2篇
Map
9篇
脚本
2篇
maptalks
3篇
Mapbox
5篇
WebGL
1篇
数据库
2篇
空间数据
1篇
oracle
1篇
HighCharts
1篇
转载算法一
1篇
Javascript
8篇
HTMl
1篇
Python
7篇
CSS
SQL
4篇
Java
5篇
C#
2篇
Elasticsearch
4篇
Springboot
2篇
spark
7篇
hadoop
9篇
hive
6篇
linux
pyspark
8篇
sparksql
1篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
爱睡懒觉的老舅
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值