SpecialistOff.NET / Вопросы / Статьи / Фрагменты кода / Резюме / Метки / Помощь / Файлы

Логирование

Метки: логирование filebeat elk efk elasticsearch logstash fluentd grafana clickhouse

Общие сведения

Организация логирования решает следующие задачи:

• Отправка с источника
• Сбор и обработка
• Хранение и индексирование
• Визуализация

Отправка с источника (форвардинг)

Обычно осуществляется самим приложением непосредственно в файл, stdio или сразу на коллектор.

• Filebeat
• Rsyslog

Сбор и обработка

• Fluentd
• Logstash

Хранение и индексирование

• Elasticsearch

Визуализация

• Grafana
• Kibana

Стеки

Бесплатные/открытые

• ELK (Elasticsearch+Logstash+Kibana) наиболее часто встречающийся стек (негласно стал стандартом)
• EFK (Elasticsearch+Fluentd+Kibana)
• PGL (Promtail+Grafana Loki+Grafana)
• Logstash+Clickhouse+Grafana
• Не распространены, но возможны вариации с БД + Grafana

Проприетарные продукты (преимущественно облачные на мощностях разработчика)

ClickHouse vs Elasticsearch

ClickHouse по сравнению с Elasticsearch: ключевой компромисс - это сильно сжатое столбчатое хранилище по сравнению с полнотекстовым поиском в документах.

ClickHouse - это хранилище данных SQL, предназначенное для чрезвычайно быстрых запросов к большим наборам данных. Он использует столбчатое хранилище, сжатие и материализованные представления, чтобы сократить время отклика по сравнению с обычными базами данных, такими как MySQL или PostgreSQL.

Elasticsearch - это поисковая система, предназначенная для выполнения запросов к большим объемам полуструктурированных данных, таких как записи журнала в JSON. Он использует полнотекстовый поиск, что позволяет запрашивать данные документа без преобразования их в таблицы.

Проблемы

Для хранилищ на базе СУБД

• нужно явным образом создавать БД и таблицы с нужной структурой и типами полей до начала поступления логов;
• необходимы обёртки/прослойки/коннекторы между коллекторами и СУБД, а также между СУБД и визуализаторами;
• нужны дополнительные работы и время для сборки рабочего стенда и откатки рабочего решения на базе того же Clickhouse

Ссылки

• ClickHouse vs. Elasticsearch Comparison https://db-engines.com/en/system/ClickHouse%3BElasticsearch
• ClickHouse vs. Elasticsearch FAQ — Answers to Common Questions https://altinity.com/faqs/clickhouse-and-elasticsearch-faqs

• Что не так с ClickHouse: 10 главных недостатков https://www.bigdataschool.ru/blog/clickhouse-limitations.html