Elasticsearch、Logstash 和 Filebeat 安装与配置详解
一、Elasticsearch 安装步骤
Elasticsearch 是一个开源的分布式搜索和分析引擎，可以用于存储和搜索海量数据。以下是具体的安装步骤：
1. 下载 Elasticsearch

访问官网：首先，访问 Elasticsearch 的官方页面选择合适的版本进行下载。
选择合适安装包：根据您的操作系统类型（如 Windows、Linux 等）选择对应的安装包并下载。

2. 解压安装包

将下载好的 Elasticsearch 安装包进行解压，会得到一个包含 Elasticsearch 的目录结构。


3. 配置 Elasticsearch

在解压后的目录中，找到 config 文件夹，里面有一个名为 elasticsearch.yml 的配置文件。
打开配置文件，使用文本编辑器（如 VS Code、Notepad++ 等）进行编辑，可以配置例如集群名称（cluster.name）、节点名称（node.name）等。

# elasticsearch.yml 配置示例
cluster.name: my-application
node.name: node-1
network.host: 0.0.0.0
​

配置说明：

cluster.name：用于标识 Elasticsearch 集群，可以为集群自定义一个名称。
node.name：为节点指定一个名称，以方便区分。
network.host：绑定的 IP 地址，用于允许外部访问，0.0.0.0 表示允许所有 IP 访问。



4. 启动 Elasticsearch

进入解压后的 根目录。
使用以下命令启动 Elasticsearch：
./bin/elasticsearch
​

运行时会在控制台打印一些日志信息，当看到 "started" 字样时表示 Elasticsearch 已成功启动。

启动信息解析：

[INFO ][o.e.n.Node] [node_name] started：这表明 Elasticsearch 节点已成功启动并可以接受请求。

二、Logstash 安装步骤
Logstash 是一个数据收集引擎，用于从不同源收集数据、处理并传输到目标位置，如 Elasticsearch。
1. 下载 Logstash

访问官网，下载 Logstash 安装包，选择与您的操作系统兼容的版本。

2. 解压安装包

解压下载的安装包，得到 Logstash 文件夹。

3. 配置 Logstash

在解压后的目录下，创建一个名为 logstash.conf 的配置文件：
touch logstash.conf
​

使用文本编辑器打开并编辑 logstash.conf，例如：
input {
  beats {
    port => "5044"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "weblogs-%{+YYYY.MM.dd}"
  }
}
​

配置说明：

Input：从 Filebeat 监听端口 5044 接收数据。
Filter：使用 grok 过滤器处理日志数据，例如提取 Apache 日志的具体信息。
Output：将处理后的日志数据传输至 Elasticsearch，并指定索引格式为 weblogs-日期。



4. 启动 Logstash

使用以下命令启动 Logstash，并指定配置文件：
./bin/logstash -f logstash.conf
​

启动日志解析：如果启动成功，您会看到类似 "Logstash started successfully" 的信息，表示 Logstash 已启动并可以处理数据。

三、Filebeat 安装步骤
Filebeat 是一个轻量级的数据转发器，主要用来收集和转发日志数据。
1. 下载 Filebeat

访问官网，根据您的操作系统下载合适版本的 Filebeat。

2. 解压安装包

将下载好的 Filebeat 安装包进行解压，会得到一个包含 Filebeat 的文件夹。

3. 配置 Filebeat

在 Filebeat 的目录中，找到 filebeat.yml 文件，并进行配置，示例如下：
filebeat.inputs:
  - type: log
    paths:
      - /var/log/*.log

output.logstash:
  hosts: ["localhost:5044"]
​

配置说明：

filebeat.inputs：指定要收集的日志文件路径，例如 /var/log/*.log。
output.logstash：指定数据要发送的 Logstash 地址。



4. 启动 Filebeat

使用以下命令启动 Filebeat：
./filebeat -e -c filebeat.yml
​

启动说明：

-e 参数表示 Filebeat 将日志打印在控制台，以便查看运行情况。
-c 参数指定配置文件路径。



四、组件之间的协作关系 🚀
下面是 Elasticsearch、Logstash、Filebeat 的整体工作流程，帮助您更直观地理解它们的协作方式。

Filebeat 负责从日志文件中收集数据，并将其发送到 Logstash。
Logstash 接收数据后，使用过滤器进行数据处理，例如日志解析等。
Elasticsearch 最终存储这些数据，供后续的搜索和分析。

五、操作系统的适配和兼容性 🖥️



组件
支持的操作系统
安装复杂度
备注




Elasticsearch
Windows/Linux
中
需要 JDK 作为依赖


Logstash
Windows/Linux
高
配置灵活，但复杂度较高


Filebeat
Windows/Linux
低
配置简单，轻量级



六、常见问题及解决方案 ⚠️


Elasticsearch 启动失败，提示端口占用：

原因：默认情况下，Elasticsearch 运行在 9200 端口。如果该端口被其他应用占用，Elasticsearch 会启动失败。
解决方法：更改 elasticsearch.yml 中的 http.port 配置，设置为其他可用端口。



Logstash 无法与 Elasticsearch 通信：

原因：可能是 Logstash 配置中的 Elasticsearch 地址不正确。
解决方法：检查 logstash.conf 中 output 部分的 hosts 是否与 Elasticsearch 实际运行的地址匹配。



Filebeat 无法将数据发送到 Logstash：

原因：可能是 Filebeat 和 Logstash 的通信端口不一致。
解决方法：检查 filebeat.yml 和 logstash.conf 中的端口号是否一致。



七、实际应用场景分析
日志集中管理
通过 Filebeat 收集分布式系统的各个节点上的日志，并通过 Logstash 进行清洗处理后，将日志发送到 Elasticsearch 进行存储，最后通过 Kibana 进行集中式的分析与展示。
实时数据处理与分析
使用 Logstash 对实时数据流进行复杂处理，例如根据预设的过滤条件解析日志内容，将处理后的数据推送到 Elasticsearch，支持实时监控和告警。

                                                                         liunx系统压缩和解压命令
                                                                         Mac 安装homebrew Mac安装Git教程