一、简介

Filebeat是一个轻量级的日志采集工具，可以用于转发日志数据到Elasticsearch。如果你的日志不是通过文件读取，而是通过网络端口读取，你可以使用tcp或udp类型，或者客户端无法安装filebeat，可以采用监听网络中TCP/UDP端口来收集日志。以下是采集TCP和UDP数据的配置示例：

创建Filebeat配置文件（01-tcp-to-es.yaml），并配置输入源（TCP和UDP）和输出（Elasticsearch或其他）。

cat >01-tcp--to-es.yaml<<'EOF'
filebeat.inputs:
#监听端口8080上的UDP日志
- type: udp
  enabled: true
  max_message_size: 10KiB
  host: "0.0.0.0:8080"
  fields:
    type: udp
#监听端口9000上的TCP日志
- type: tcp
  enabled: true
  max_message_size: 10MiB
  host: "0.0.0.0:9000"
  fields:
    type: tcp
#日志输出ES
output.elasticsearch:
  hosts: ["http://localhost:9200"]
 EOF

max_message_size定义了可以接收的最大消息大小，

host指定了监听的IP地址和端口号，

fields部分用于添加自定义字段，以便在日志中区分不同的数据源，

hosts指定了ES服务器的IP地址和端口号，

请根据你的实际日志路径、端口和Elasticsearch地址进行相应的调整。

启动Filebeat时，确保指定正确的配置文件：

filebeat -e -c 01-tcp-udp-to-es.yaml

二、F5负载均衡器无法直接安装客户端（如Filebeat）如何采集日志

1.使用syslog

F5负载均衡器支持通过syslog协议发送日志。您可以在F5上配置syslog服务器，将日志发送到一个可以安装Filebeat的中间服务器上。然后在中间服务器上配置Filebeat来接收并转发这些日志。

cat >01-f5-udp-to-es.yaml<<'EOF'
filebeat.inputs:
- type: syslog
  port: 514
  protocol: udp
  enabled: true

#日志输出ES
output.elasticsearch:
  hosts: ["http://localhost:9200"]
 EOF

Filebeat监听UDP端口514上的syslog消息。

启动Filebeat时，确保指定正确的配置文件：

filebeat -e -c 01-f5-udp-to-es.yaml

2.采用tcp/udp端口

cat >01-f5-tcp-udp-to-es.yaml<<'EOF'
filebeat.inputs:
#监听端口12345上的UDP日志 假如端口是12345
- type: tcp
  enabled: true
  host: "F5负载均衡器的IP地址"
  port: 12345 # 这里替换为F5负载均衡器监听日志的TCP端口
  codec: json_lines # 假设日志是以JSON格式发送的，如果格式不同，请根据实际情况调整
#监听端口12345上的TCP日志 假如端口是12345
- type: udp
  enabled: true
  host: "F5负载均衡器的IP地址"
  port: 12345 # 这里替换为F5负载均衡器监听日志的UDP端口
  codec: json_lines # 假设日志是以JSON格式发送的，如果格式不同，请根据实际情况调整
#日志输出ES
output.elasticsearch:
  hosts: ["http://localhost:9200"]
 EOF

如果您的F5负载均衡器发送的是非JSON格式的日志，您可能需要调整codec参数以匹配实际的日志格式。例如，如果日志是纯文本格式，您可以将其更改为codec: plain。

启动Filebeat时，确保指定正确的配置文件：

filebeat -e -c 01-f5-tcp-udp-to-es.yaml