数据采集使用哪一个工具，常用的系统日志采集工具？

概述

DT时代，上亿台服务器、移动终端、网络设备每天都会产生海量日志。集中式日志处理方案有效解决了日志在完整生命周期内的消费需求，第一步是从设备上收集日志并云端化。

下面介绍并比较三种常见的日志收集工具。

01

logstash

Logstash是一个开源数据收集引擎，具有实时管道处理能力。简单来说，logstash作为数据源和数据存储分析工具之间的桥梁，通过结合ElasticSearch和Kibana，可以极大地方便数据处理和分析。logstash拥有200多个插件，几乎可以接受所有类型的数据。包括日志、网络请求、关系数据库、传感器或物联网等。

Logstash基于JRuby，可以跨平台在JVM上运行。

模块化设计，具有很强的扩展性和互操作性。

02

fluentd

Td-agent是开源社区流行的日志收集工具，是其商业版本，由宝数据公司维护，是本文选取的评测版本。

Fluentd基于CRuby实现，部分对性能至关重要的组件用C语言重新实现，整体性能不错。

流体设计简单，管道中数据传输的可靠性高。与logstash相比，它的插件支持相对较少。

03

logtail

阿里云日志服务的生产者目前运行在阿里集团的内部机器上。经过三年多的测试，它现在为阿里的公共云用户提供日志收集服务

用C语言实现，在稳定性、资源控制和管理上下了很大功夫，性能不错。与logstash和fluentd的社区支持相比，logtail功能单一，侧重于日志收集。

04

日志文件收集场景 功能对比