logstash 终止导致数据重复

L、先森

2019-09-29 0 4850

>我们可以使用 Logstash 的持久化队列技术尽量保证数据可靠传输至 output；

[TOC]

#### 持久队列有什么作用
默认情况下logstash使用的是内存队列，如果主机发生宕机或者进程意外终止，则在内存中的数据会丢失。持久化队列的特性是会将消息持久化到本地磁盘上，一旦队列快满了，则会减缓/停止input的输入。
持久化队列的好处是它提供了类似于redis或kafka特性的数据缓存，至少一次运输保证消息不会丢失，重启logstash后也会尝试将未传送的持久化数据进行发送，直到成功。它的缺点是，在input阶段若没有请求响应协议或是磁盘故障则无法保证数据完整性。

#### 持久队列如何工作
工作模式为:

`input → queue → filter + output`

当 input 有事件准备好处理时，它将事件写入队列。当写入队列成功时， input 可以向其数据源发送 ack。

Logstash 只会在 filter 和 output 完成事件处理后，确认事件已完成。队列保留 pipeline 已处理的事件的记录。事件被记录为已处理（acked），当且仅当事件已由 Logstash pipeline 完全处理。

Ack 这意味着事件已由所有配置的 filter 和 output 处理。例如，如果只有一个到 Elasticsearch的输出，当 Elasticsearch output 已成功将此事件发送到 Elasticsearch 时，事件将被 ack。

#### 如何配置持久化队列
要配置持久性队列，可以在Logstash设置文件中指定以下选项：

`queue.type`：指定持久化以启用持久性队列。默认情况下，持久队列被禁用（默认：queue.type：memory）。
`path.queue`：数据文件将被存储的目录路径。默认情况下，文件存储在path.data/queue中。
`queue.page_capacity`：队列页面的最大大小（以字节为单位）。队列数据由仅附加文件称为“页面”组成。默认大小为250MB。更改此值不太可能具有性能优势。
`queue.max_events`：队列中允许的最大事件数。默认值为0（无限制）。该值在内部用于Logstash测试。
`queue.max_bytes`：队列的总容量，以字节为单位。默认值为1024MB（1GB）。确保磁盘驱动器的容量大于此处指定的值。
如果同时指定了queue.max_events和queue.max_bytes，则Logstash将使用首先达到的条件。。

还可以指定控制检查点文件何时更新的选项（`queue.checkpoint.acks`，`queue.checkpoint.writes`）。

```
queue.type：persisted
```

#### 控制 Durability
Durability 是存储写入的一种特性，可确保数据在写入后可用。

当启用持久性队列功能时，Logstash 会将事件存储在磁盘上。 Logstash以称为检查点的机制提交到磁盘。

`queue.checkpoint.writes`：Logstash 在写入指定条数事件后，进行 checkpoint。目前，一个事件计为一个写入，但这可能会在将来的版本中更改。
`queue.checkpoint.acks`：Logstash 在指定条数事件 acked 后，进行 checkpoint。此配置用来控制 Logstash 处理（filter + output）环节的 Durability。

磁盘写入具有资源成本。调整上述值或更高值将会调整 durability。例如，如果您想要所有 input 事件具备最高 durability，可以设置
```
queue.checkpoint.writes：1
```

检查点的过程是原子的，这意味着如果成功，将保存文件的任何更新。

如果 Logstash 终止，或者如果存在硬件级别故障，那么在持久性队列中缓存但尚未检查点的任何数据都将丢失。为了避免这种可能性，您可以设置 `queue.checkpoint.writes：1`，但请记住，此设置会严重影响性能。

大数据

Java 8最快的垃圾搜集器是什么？

OpenJDK 8 有多种 GC（Garbage Collector）算法，如 Parallel GC、CMS 和 G1。哪一个才...

L、先森

10个实用的PHP正则表达式

正则表达式是程序开发中一个重要的元素，它提供用来描述或匹配文本的字符串，如特定的字符、词或算式等

L、先森

Spring知识点提炼

spring框架

L、先森