Observability

Что такое observability

Насколько по наблюдаемым сигналам можно понять внутреннее состояние системы:

• What: что сломалось/замедлилось?
• Where: где именно (компонент/инстанс/ручка)?
• Why: почему (причина/цепочка)?

Три "столпа"

• Metrics: агрегированные числа во времени (SLO/SLA, алерты, capacity)
• Logs: дискретные события (debug, аудит, расследования)
• Traces: причинно-следственные цепочки запросов (latency breakdown)

Практические сигналы

• RED (для запросов): Rate (RPS), Errors (доля ошибок), Duration (latency p95/p99)
• USE (для ресурсов): Utilization (загрузка ресурсов), Saturation (очереди/ожидания), Errors (ошибки оборудования)

Prometheus architecture

Prometheus Data Model

• Data Model

http_requests_total
<metric name>{<label name>=<label value>, ...}
api_http_requests_total{method="POST", handler="/messages"}

• Metric Types
  • Counter
    • network_received_bytes
    • requests_total
  • Gauge
    • go_heap_bytes
  • Histogram
    • request_duration

Prometheus query language

• Selectors

  http_requests_total
  http_requests_total{job="prometheus",group="canary"}
  http_requests_total{environment=~"staging|testing|development",method!="GET"}
  

• Ranges

  http_requests_total{job="prometheus"}[5m]
  

• Functions

  rate(http_requests_total[5m])
  

• Aggregation

  sum by (job) (rate(http_requests_total[5m]))
  
  sum by (app, proc) (
    instance_memory_limit_bytes - instance_memory_usage_bytes
  ) / 1024 / 1024
  
  topk(3, sum by (app, proc) (rate(instance_cpu_time_ns[5m])))
  

Prometheus client: expose /metrics

package main

import (
        "net/http"

        "github.com/prometheus/client_golang/prometheus/promhttp"
)

func main() {
        http.Handle("/metrics", promhttp.Handler())
        http.ListenAndServe(":2112", nil)
}

Prometheus client: Counter

func recordMetrics() {
    go func() {
        for {
            opsProcessed.Inc()
            time.Sleep(2 * time.Second)
        }
    }()
}

var (
    opsProcessed = promauto.NewCounter(prometheus.CounterOpts{
        Name: "myapp_processed_ops_total",
        Help: "The total number of processed events",
    })
)

Prometheus client: CounterVec

var (
    reg = prometheus.NewRegistry()
    requestCount = promauto.With(reg).NewCounterVec(
        prometheus.CounterOpts{
            Name: "http_requests_total",
            Help: "Total number of HTTP requests by status code and method.",
        },
        []string{"code", "method"},
    )
)

func countRequest(code, method string) {
    requestCount.WithLabelValues(code, method).Inc()
}

Example: Request Handlers

Что измерять?

Example: Request Handlers

• Traffic: http_requests_total{handler,method,code}
• Latency: http_request_duration_seconds{handler,method} (histogram)
• Errors: доля 5xx / timeouts / cancellationsё

Example: Job Queue

Что измерять?

Example: Job Queue

• Queue depth: длина очереди
• Lag/age: возраст самого старого сообщения
• Throughput: jobs/sec (поступило/обработано)
• Failures/retries: доля ретраев, причины
• Worker saturation: busy workers / concurrency

Example: Database Pool

Что измерять?

Example: Database Pool

• Connections: open/idle/in-use, % занятости пула
• Wait time: время ожидания коннекта из пула
• Query latency: p50/p95/p99 по типам запросов
• Errors: timeouts, deadlocks, "too many connections"
• DB health: реплика лаг, locks, cache hit rate (если доступно)

OpenTelemetry data model

Jaeger architecture

Как OTel и Jaeger связываются

• Trace: один "путь" запроса/операции через компоненты системы (end-to-end)
• Span: один участок работы внутри trace (например: HTTP handler, DB query, вызов RPC)
  • у span есть start/end (duration), attributes, events, status/error
  • spans образуют дерево parent/child и связываются через trace context
• OTel SDK создаёт spans и добавляет контекст
• Экспорт: OTLP (обычно) → Collector → Jaeger backend
• Propagation: перенос trace context между сервисами через заголовки

Trace API examples

var (
    tracer = otel.Tracer("rolldice")
)

func rolldice(w http.ResponseWriter, r *http.Request) {
    ctx, span := tracer.Start(r.Context(), "roll")
    defer span.End()

    roll := 1 + rand.Intn(6)

    span.SetAttributes(attribute.Int("roll.value", roll))

    resp := strconv.Itoa(roll) + "\n"
    if _, err := io.WriteString(w, resp); err != nil {
        span.RecordError(err)
    }
}

HTTP Propagation

> GET / HTTP/1.1
> Host: localhost:3001
> Accept: */*
> traceparent: 00-d4cda95b652f4a1592b449d5929fda1b-6e0c63257de34c92-01

Thank you