Интеграция с Prometheus

Данная функция поддерживает интеграцию с Prometheus для мониторинга служб ClickHouse Cloud. Доступ к метрикам Prometheus предоставляется через конечную точку ClickHouse Cloud API, которая позволяет пользователям безопасно подключаться и экспортировать метрики в их сборщик метрик Prometheus. Эти метрики можно интегрировать с панелями мониторинга, например, Grafana, Datadog для визуализации.

Чтобы начать, сгенерируйте ключ API.

API конечной точки Prometheus для получения метрик ClickHouse Cloud

Справка по API

Метод	Путь	Описание
GET	https://api.clickhouse.cloud/v1/organizations/:organizationId/services/:serviceId/prometheus?filtered_metrics=[true | false]	Возвращает метрики для конкретной службы
GET	https://api.clickhouse.cloud/v1/organizations/:organizationId/prometheus?filtered_metrics=[true | false]	Возвращает метрики для всех служб в организации

Параметры запроса

Имя	Местоположение	Тип
Organization ID	Адрес конечной точки	uuid
Service ID	Адрес конечной точки	uuid (необязательно)
filtered_metrics	Параметр запроса	boolean (необязательно)

Аутентификация

Используйте ваш ключ API ClickHouse Cloud для базовой аутентификации:

Пример ответа

Метки метрик

Все метрики имеют следующие метки:

Метка	Описание
clickhouse_org	Идентификатор организации
clickhouse_service	Идентификатор службы
clickhouse_service_name	Имя службы

Информационные метрики

ClickHouse Cloud предоставляет специальную метрику ClickHouse_ServiceInfo, которая является gauge, которая всегда имеет значение 1. Эта метрика содержит все Метки метрик, а также следующие метки:

Метка	Описание
clickhouse_cluster_status	Статус службы. Может принимать одно из следующих значений: [awaking | running | degraded | idle | stopped]
clickhouse_version	Версия сервера ClickHouse, на котором работает служба
scrape	Указывает статус последнего запроса. Может быть либо full, либо partial
full	Указывает, что ошибок во время последнего запроса метрик не было
partial	Указывает, что во время последнего запроса метрик были некоторые ошибки, и была возвращена только метрика ClickHouse_ServiceInfo.

Запросы на получение метрик не возобновят неактивную службу. В случае, если служба находится в состоянии idle, будет возвращена только метрика ClickHouse_ServiceInfo.

Настройка Prometheus

Сервер Prometheus собирает метрики с заданных целей через определенные интервалы. Ниже приведен пример конфигурации для сервера Prometheus, чтобы использовать конечную точку Prometheus ClickHouse Cloud:

Обратите внимание, что параметр конфигурации honor_labels должен быть установлен в true, чтобы метка экземпляра была правильно заполнена. Дополнительно, filtered_metrics установлен в true в приведенном выше примере, но должен настраиваться в зависимости от предпочтений пользователя.

Интеграция с Grafana

У пользователей есть два основных способа интеграции с Grafana:

• Метод конечной точки метрик – этот подход имеет преимущество отсутствия необходимости в дополнительных компонентах или инфраструктуре. Это предложение ограничено Grafana Cloud и требует только URL-адреса конечной точки Prometheus ClickHouse Cloud и учетных данных.
• Grafana Alloy - Grafana Alloy является независимым от поставщика дистрибутивом OpenTelemetry (OTel) Collector, заменяющим агент Grafana. Это может использоваться в качестве скрепера, его можно развернуть в вашей инфраструктуре, и он совместим с любой конечной точкой Prometheus.

Мы предоставляем инструкции по использованию этих вариантов ниже, сосредоточив внимание на деталях, специфичных для конечной точки Prometheus ClickHouse Cloud.

Grafana Cloud с методом конечной точки метрик

• Войдите в свою учетную запись Grafana Cloud
• Добавьте новое соединение, выбрав Метод конечной точки метрик
• Настройте URL-адрес сборки, чтобы указать на конечную точку Prometheus и используйте базовую аутентификацию для настройки соединения с ключом/секретом API
• Протестируйте соединение, чтобы убедиться, что вы можете подключиться

После настройки вы должны видеть метрики в выпадающем списке, которые вы можете выбрать для настройки панелей мониторинга:

Grafana Cloud с Alloy

Если вы используете Grafana Cloud, Alloy можно установить, перейдя в меню Alloy в Grafana и следуя инструкциям на экране:

Это должно настроить Alloy с компонентом prometheus.remote_write для отправки данных в конечную точку Grafana Cloud с токеном аутентификации. Пользователям нужно только изменить конфигурацию Alloy (находится в /etc/alloy/config.alloy для Linux), чтобы включить скрепер для конечной точки Prometheus ClickHouse Cloud.

Ниже показан пример конфигурации для Alloy с компонентом prometheus.scrape для сбора метрик из конечной точки ClickHouse Cloud, а также автоматически настроенным компонентом prometheus.remote_write. Обратите внимание, что компонент конфигурации basic_auth содержит идентификатор и секрет нашего ключа API Cloud в качестве имени пользователя и пароля соответственно.

Обратите внимание, что параметр конфигурации honor_labels должен быть установлен в true, чтобы метка экземпляра была правильно заполнена.

Grafana с самоуправлением и Alloy

Пользователи Grafana с самоуправлением могут найти инструкции по установке агента Alloy здесь. Мы предполагаем, что пользователи настроили Alloy для отправки метрик Prometheus в назначенное место. Компонент prometheus.scrape ниже заставляет Alloy собирать данные с конечной точки ClickHouse Cloud. Мы предполагаем, что prometheus.remote_write получает собранные метрики. Измените ключ forward_to, чтобы указать целевое назначение, если оно не существует.

После настройки вы должны видеть связанные с ClickHouse метрики в вашем исследователе метрик:

Обратите внимание, что параметр конфигурации honor_labels должен быть установлен в true, чтобы метка экземпляра была правильно заполнена.

Интеграция с Datadog

Вы можете использовать Agent и интеграцию OpenMetrics Datadog для сбора метрик с конечной точки ClickHouse Cloud. Ниже приведен простой пример конфигурации для этого агента и интеграции. Однако обратите внимание, что вам может понадобиться выбрать только те метрики, которые вам наиболее важны. Пример ниже будет экспортировать множество тысяч комбинаций метрик и экземпляров, которые Datadog будет считать пользовательскими метриками.