日志收集是系统监控和调试中的关键环节。常见的日志收集方案有多个，每种方案各有优劣，选择时应根据实际业务需求进行评估。以下是几种常用的日志收集方案及其特点，这里只是进行概括阐述，具体的细节还需要自己深入了解。
1. 常用组合
1.1 ELK Stack -> Elastic Stack
之前常说的
ELK = Elasticsearch、Logstash、Kibana；而现在ELK Stack已经演变为更广泛的Elastic Stack，包含的核心组件除了传统的 Elasticsearch、Logstash 和 Kibana 外，还包括一些扩展工具来增强日志收集、监控和数据可视化的功能。
比如现在常用的 Elasticsearch + Logstash + Kibana + Beats 的组合，其中，Beats 负责日志的采集， Logstash 负责做日志的聚合和处理，Elasticsearch 作为日志的存储和搜索系统，Kibana 作为可视化前端展示。
例如 1.6 Filebeat + ELK/EFK 就是 Elastic Stack 中的。
- 优点：
- 功能强大，可以处理大量的日志。
- 提供强大的可视化和分析功能，通过 Kibana 展现日志的趋势、查询和告警。
- Elasticsearch 支持强大的搜索和数据存储。
- 缺点：
- 资源消耗较大，维护成本高，尤其是在大规模数据情况下。
- Logstash 配置复杂，且性能相较其他方案较慢。
- 当日志量非常大时，Elasticsearch 的性能可能会成为瓶颈。
- 适用场景：适合日志量大、需要实时分析和搜索日志的场景，特别是在 DevOps 监控、生产环境中。
1.2 EFK Stack
之前的组合为：EFK = Elasticsearch、Fluentd、Kibana，但是后续推荐的组合为：EFK = Elasticsearch、Fluent Bit、Kibana；目前 Fluent Bit 被广泛用于轻量级的日志收集，而 Fluentd 则用于集中式的日志处理和管理。
Fluentd是 Kubernetes 最常用的日志收集工具之一，可以从容器中直接收集日志，推送到 Elasticsearch。Fluent Bit是 Fluentd 的轻量级版本，适合资源受限的环境和简单的日志收集任务；Fluent Bit 现在被认为是下一代解决方案。- 两者可相互补充或独立部署。
- 优点：
- Fluentd 相对于 Logstash 更轻量级，性能更好。
- 支持丰富的插件，可以方便地与各种系统集成。
- 同样提供 Elasticsearch 的强大搜索能力和 Kibana 的可视化能力。
- 缺点：
- Fluentd 配置复杂度仍然较高，调试需要一定经验。
- 对于超大规模的日志数据，Elasticsearch 仍然存在性能瓶颈。
- 在高并发日志数据处理上，可能需要一些优化。
- 适用场景：适合需要高性能日志收集和轻量级日志处理的场景。
1.3 Graylog
专注于安全性和审计的日志系统，支持对用户行为和交易记录的追踪。
- 优点：
- 专注于日志管理，使用 Elasticsearch 作为存储引擎，支持集中化日志管理和处理。
- 拥有内置的日志解析和报警功能，支持插件扩展。
- 界面友好，易于配置和管理。
- 缺点：
- 与 ELK 类似，Elasticsearch 的性能瓶颈仍然存在。
- 插件丰富度不如 Fluentd。
- 适用场景：适合中小型团队或项目，特别是需要轻量化日志管理的环境。
1.4 PLG 日志系统
PLG = Promtail+ Loki + Grafana
- 优点：
- Loki 是一种针对日志的轻量化存储方案，直接与 Promtail 和 Grafana 集成，易于安装和管理。
- Loki 仅存储日志的索引，而非全文，因此性能较好，存储需求较低。
- 与 Kubernetes 集成友好。
- 缺点：
- Loki 的日志查询不如 Elasticsearch 灵活，只支持基于标签的查询。
主要原因是 Promtail 收集日志时与 Prometheus 一样，使用是标签（如 app=webserver）来区分数据，这些标签会被存储在 Loki 中。 - 不适合需要复杂全文搜索的场景。
- 适用场景：适合容器化环境（如 Kubernetes），注重日志存储和监控的统一管理。
1.5 Splunk
Splunk 是金融行业的标杆日志管理工具，提供高度定制的安全合规性解决方案。
- 优点：
- 企业级解决方案，功能非常强大，支持复杂查询和实时分析。
- 内置机器学习分析工具，支持异常检测和高级数据分析。
- 用户界面非常友好，支持自定义仪表板和报告。
- 缺点：
- 成本非常高，通常只适用于大型企业。
- 部署和维护复杂，需要专业运维人员。
- 适用场景：适合大企业，尤其是有高性能需求且愿意支付较高费用的场景。
1.6 Filebeat + ELK
其实是 Elastic Stack 中的常用类型。Elastic Stack，包含的核心组件除了传统的 Elasticsearch、Logstash 和 Kibana 外，还包括一些扩展工具来增强日志收集、监控和数据可视化的功能。
比如现在常用的 Elasticsearch + Logstash + Kibana + Beats 的组合，其中，Beats 负责日志的采集， Logstash 负责做日志的聚合和处理，Elasticsearch 作为日志的存储和搜索系统，Kibana 作为可视化前端展示。
Filebeat 就是 Beats 中的常见的组件，主要用于收集和传输日志文件；此外常见的 Beats 还有：
- Metricbeat：用于收集系统和服务的性能指标（如 CPU、内存、网络等）。
- Packetbeat：用于网络数据流量的监控，分析 TCP、HTTP、DNS 等协议的性能。
- Auditbeat：用于收集系统审计数据，包括用户登录、文件更改等活动。
- Heartbeat：用于监控服务的可用性，通过 Ping 方式检查服务是否运行。
- 更多…
- 优点：
- Filebeat 是轻量级的日志收集器，适合边缘设备和微服务架构。
- 配合 ELK 或 EFK，能够实现强大的日志存储和可视化功能。
- 资源占用极低，易于配置和扩展。
- 缺点：
- Filebeat 仅负责日志的收集，后续分析和存储仍需借助其他工具。
- 适用场景：适合微服务架构和需要低资源占用的场景，尤其是边缘计算。
1.7 AWS CloudWatch Logs
- 优点：
- 作为 AWS 的原生解决方案，易于与 AWS 其他服务集成，支持无缝扩展。
- 支持自动化日志告警和可视化。
- 提供按使用量付费的灵活收费模式，且免维护。
- 缺点：
- 仅适用于 AWS 环境，难以在其他云或本地环境中使用。
- 对日志分析和搜索功能有限，不如专用解决方案强大。
- 适用场景：适合基于 AWS 云环境的应用程序，特别是需要快速集成和部署的场景。
1.8 阿里云日志服务
简介：阿里云日志服务是一种云原生的日志收集和分析解决方案，能够轻松收集、存储和查询日志数据。
- 优点：
- 完全托管，适合无需复杂运维的公司。
- 集成阿里云其他服务（如安全产品、监控产品）。
- 支持弹性扩展，适应大规模日志收集。
- 缺点：
- 云平台依赖，数据安全和合规需要关注。
- 需要付费使用。
- 适用场景：适合已经在 阿里云 生态环境的公司。
1.9 腾讯云 CLS（日志服务）
腾讯云提供的日志服务也是一种全托管的日志解决方案，适合中国企业，支持自动化日志收集、分析和警报。
- 优点：
- 集成腾讯云的监控和告警系统，适合已有腾讯云用户。
- 提供完善的权限管理和审计功能。
- 缺点：
- 云平台锁定，适合已经在 腾讯云 生态系统中的公司。
- 需要付费使用。
- 适用场景：适合已经在 腾讯云 生态环境的公司。
2. 推荐
【注】虽然是常用的固定搭配，但是在实际使用过程中可以根据自身需求进行自由的组合，为系统提供更好的日志服务。
- 小型或轻量级项目：
- Filebeat + ELK 是较好的选择，具有更好的性能和可扩展性。
- 如果是容器化环境，且日志设计符合标签化规范，选择 PLG 或许是一个比较好的选择；如果日志设计并不是很规范的话，使用 EFK 技术栈或许更好（支持全文检索）。
- 大中型企业：
- ELK Stack 或 Graylog 能够处理大量日志，并提供强大的搜索和可视化功能；
- 根据开源组件自研也是一个很好的方案，更加贴合自身的业务。
- 云环境：
- 国内的话可以使用阿里云与腾讯云提供的托管服务。
- 如果使用了 AWS，那么可以使用 AWS 提供的日志服务。
- 容器化环境：
- PLG 是专为容器化设计的高效日志方案，特别适合 Kubernetes。
- EFK （Elasticsearch + Fluent Bit + Kibana）也是常用的工具组合。