Всем привет, этой мой первый пост на данной платформе, прошу любить и жаловать.
Трассировка — это важный инструмент для мониторинга и диагностики микросервисов. Она позволяет понять, как запросы проходят через систему, где возникают узкие места, и как взаимодействуют различные компоненты приложения. В этой статье я расскажу про свой опыт, как интегрировал трассировку в сервис на Go, использующий GORM.
1. Основы трассировки с OpenTelemetry
OpenTelemetry — это популярная платформа для сбора, обработки и экспорта метрик, логов и трассировок. Пример настройки OpenTelemetry:
exp, err := jaeger.New(jaeger.WithCollectorEndpoint(jaeger.WithEndpoint(traceConfig.Url)))
if err != nil {
...
}
tp := tracesdk.NewTracerProvider(
tracesdk.WithBatcher(exp),
tracesdk.WithResource(resource.NewWithAttributes(
semconv.SchemaURL,
semconv.ServiceNameKey.String(traceConfig.ServiceName),
attribute.String("environment", "production"),
attribute.Int64("ID", 1),
)),
)2. Интеграция с GORM
Для интеграции трассировки с GORM важно перехватывать события до и после выполнения SQL-запросов. Это позволяет собирать информацию о времени выполнения запросов, количестве затронутых строк и возможных ошибках.
Пример плагина для GORM:
func MiddleWareGormTrace() gorm.Plugin {
return &GormTracing{}
}
type GormTracing struct {
}
func (g *GormTracing) Name() string {
return ""
}
func (p *GormTracing) Initialize(db *gorm.DB) error {
tracer := tracer.TraceClient
if tracer == nil || !tracer.IsEnabled {
return nil
}
db.Callback().Create().Before("gorm:before_create").Register("gormotel:before_create", p.before(tracer))
db.Callback().Query().Before("gorm:before_query").Register("gormotel:before_query", p.before(tracer))
db.Callback().Delete().Before("gorm:before_delete").Register("gormotel:before_delete", p.before(tracer))
db.Callback().Update().Before("gorm:before_update").Register("gormotel:before_update", p.before(tracer))
db.Callback().Row().Before("gorm:before_row").Register("gormotel:before_row", p.before(tracer))
db.Callback().Raw().Before("gorm:before_raw").Register("gormotel:before_raw", p.before(tracer))
db.Callback().Create().After("gorm:after_create").Register("gormotel:after_create", p.after)
db.Callback().Query().After("gorm:after_query").Register("gormotel:after_query", p.after)
db.Callback().Delete().After("gorm:after_delete").Register("gormotel:after_delete", p.after)
db.Callback().Update().After("gorm:after_update").Register("gormotel:after_update", p.after)
db.Callback().Row().After("gorm:after_row").Register("gormotel:after_row", p.after)
db.Callback().Raw().After("gorm:after_raw").Register("gormotel:after_raw", p.after)
return nil
}
func (p *PluginTrace) before(tracer *tracer.Tracer) func(*gorm.DB) {
return func(db *gorm.DB) {
ctx, span := tracer.CreateSpan(db.Statement.Context, "[DB]")
db.InstanceSet("otel:span", span)
db.Statement.Context = ctx
}
}
func (p *PluginTrace) after(db *gorm.DB) {
if spanVal, ok := db.InstanceGet("otel:span"); ok {
if span, ok := spanVal.(trace.Span); ok {
defer span.End()
span.SetAttributes(
attribute.String(span2.AttributeDBStatement, db.Statement.SQL.String()),
attribute.String(span2.AttributeDBTable, db.Statement.Table),
attribute.Int64(span2.AttributeDbRowsAffected, db.RowsAffected),
)
if db.Error != nil {
span.RecordError(db.Error)
span.SetStatus(trace2.StatusCodeError, db.Error.Error())
}
}
}
}Вот пример как внедрить в GORM:
dbClient, err := database.GetGormConnection(
database.DbConfig{
Driver: database.MySql,
Host: app.dbConfig.Host,
User: app.dbConfig.User,
Password: app.dbConfig.Password,
Db: app.dbConfig.Db,
Port: app.dbConfig.Port,
SslMode: false,
Logging: app.dbConfig.Logging,
MaxOpenConnections: app.dbConfig.MaxOpenConnections,
MaxIdleConnections: app.dbConfig.MaxIdleConnections,
},
)
if err != nil {
return err
}
dbClient.Use(gormtracing.MiddleWareGormTrace())3. Обработка HTTP-запросов
Трассировка HTTP-запросов позволяет отслеживать путь запроса через все слои приложения. Для этого важно использовать middleware, который будет создавать спан для каждого входящего запроса и записывать важные метаданные. При этом не стоит использовать данный middleware на все запросы, на моем горьком опыте были сервисы которые записывали health-чекеры.
Пример middleware для Gin:
func (t *Tracer) MiddleWareTrace() gin.HandlerFunc {
return func(c *gin.Context) {
if t == nil || !t.cfg.IsTraceEnabled {
c.Next()
return
}
parentCtx, span := t.CreateSpan(c.Request.Context(), "["+c.Request.Method+"] "+c.FullPath())
defer span.End()
c.Request = c.Request.WithContext(parentCtx)
c.Next()
// Обработка ошибок для сервисов использующих sdk
excep := c.Keys["exception"]
switch v := excep.(type) {
case *exception.AppException:
span.SetAttributes(attribute.Int(span2.AttributeRespHttpCode, v.Code))
if v.Error != nil {
span.SetAttributes(attribute.String(span2.AttributeRespErrMsg, v.Error.Error()))
}
default:
span.SetAttributes(attribute.Int(span2.AttributeRespHttpCode, c.Writer.Status()))
}
}
}Вот пример как внедрить MW
v1 := router.Group("/banner/v1")
v1.Use(tracer.MiddleWareTrace())Вот полный код клиента трассировки:
Данную переменную var TraceClient *Tracer вытащил в глобал, только потому, что есть реализация HTTP-Builder-а , где на каждый запрос я создаю свой спан. У нас в Go сервисах реализована слоистая архитектура, и пришлось бы данного клиента прокидывать в каждый слой для трассировки http запросов в сторонние сервис
package tracer
import (
"bytes"
"context"
"fmt"
"github.com/gin-gonic/gin"
"github.com/gookit/goutil/netutil/httpctype"
"github.com/gookit/goutil/netutil/httpheader"
"go.opentelemetry.io/otel"
"go.opentelemetry.io/otel/attribute"
"go.opentelemetry.io/otel/exporters/jaeger"
"go.opentelemetry.io/otel/propagation"
"go.opentelemetry.io/otel/sdk/resource"
tracesdk "go.opentelemetry.io/otel/sdk/trace"
semconv "go.opentelemetry.io/otel/semconv/v1.7.0"
trace2 "go.opentelemetry.io/otel/trace"
"go.opentelemetry.io/otel/trace/noop"
"io"
"net/http"
"strings"
)
var TraceClient *Tracer
const AttributeReqBody = "request.body"
const (
AttributeRespHttpCode = "http.status_code"
AttributeRespErrMsg = "error.message"
)
type TraceConfig struct {
IsTraceEnabled bool `mapstructure:"TRACE_IS_ENABLED"`
Url string `mapstructure:"TRACE_URL"`
ServiceName string `mapstructure:"TRACE_SERVICE_NAME"`
IsHttpBodyEnabled bool `mapstructure:"TRACE_IS_HTTP_BODY_ENABLED"`
}
type Tracer struct {
tp *tracesdk.TracerProvider
cfg *TraceConfig
IsEnabled bool
ServiceName string
}
// InitTraceClient - создание клиента трассировки
func InitTraceClient() (*Tracer, error) {
t := &Tracer{}
// config init
if err := t.initTraceConfig(); err != nil {
return nil, err
}
if !t.cfg.IsTraceEnabled {
return t, nil
}
// Create the Jaeger exporter
exp, err := jaeger.New(
jaeger.WithCollectorEndpoint(
jaeger.WithEndpoint(t.cfg.Url),
),
)
if err != nil {
return nil, err
}
tp := tracesdk.NewTracerProvider(
//tracesdk.WithSampler(),
// Always be sure to batch in production.
tracesdk.WithBatcher(exp),
// Record information about this application in a Resource.
tracesdk.WithResource(resource.NewWithAttributes(
semconv.SchemaURL,
semconv.ServiceNameKey.String(t.cfg.ServiceName),
//attribute.String("environment", "development"),
//attribute.Int64("ID", 1),
)),
)
otel.SetTracerProvider(tp)
otel.SetErrorHandler(otel.ErrorHandlerFunc(func(err error) {
// error handler
}))
t.tp = tp
TraceClient = t
return t, nil
}
// Shutdown -
func (t *Tracer) Shutdown(ctx context.Context) error {
fmt.Println("shutdown")
return t.tp.Shutdown(ctx)
}
// InjectHttpTraceId - записывает trace id в запрос, требует *http.Request
func (t *Tracer) InjectHttpTraceId(ctx context.Context, req *http.Request) {
otel.GetTextMapPropagator().Inject(ctx, propagation.HeaderCarrier(req.Header))
}
// MiddleWareTrace - мидлвар который записывает трассировку
// при этом контекст спана записывается в c.Request . В хэндлере рекомендуется передавать ctx.Request.Context() в слой ниже, или другую функцию
func (t *Tracer) MiddleWareTrace() gin.HandlerFunc {
return func(c *gin.Context) {
if t == nil || !t.cfg.IsTraceEnabled {
c.Next()
return
}
parentCtx, span := t.CreateSpan(c.Request.Context(), "["+c.Request.Method+"] "+c.FullPath(), "middleware")
defer span.End()
// парсинг body
if t.cfg.IsHttpBodyEnabled {
// нет смысла копировать тело запроса при наличии файла
if !strings.HasPrefix(c.GetHeader(httpheader.ContentType), httpctype.MIMEDataForm) {
bodyBytes, _ := io.ReadAll(c.Request.Body)
c.Request.Body = io.NopCloser(bytes.NewBuffer(bodyBytes))
span.SetAttributes(attribute.String(AttributeReqBody, string(bodyBytes)))
}
}
c.Request = c.Request.WithContext(parentCtx)
c.Next()
// парсинг ошибок
{
excep := c.Keys["exception"]
switch v := excep.(type) {
case *exception.AppException:
span.SetAttributes(attribute.Int(AttributeRespHttpCode, v.Code))
if v.Error != nil {
span.SetAttributes(attribute.String(AttributeRespErrMsg, v.Error.Error()))
}
default:
span.SetAttributes(attribute.Int(AttributeRespHttpCode, c.Writer.Status()))
}
}
}
}
// CreateSpan - Создает родительский спан,и возвращает контекст, этот контекст нужен для дочернего спана.
// В случае если в ctx нет контекста родителя то создается контекст родителя
// Не забыть вызывать span.End()
func (t *Tracer) CreateSpan(ctx context.Context, name string, fun string) (context.Context, trace2.Span) {
if t == nil || t.tp == nil {
return context.Background(), noop.Span{}
}
return t.tp.Tracer(t.ServiceName).Start(ctx, name)
}
// CreateSpanWithCustomTraceId - экспериментальный метод, создаем спан на основе кастомного трайс айди
func (t *Tracer) CreateSpanWithCustomTraceId(ctx context.Context, traceId, name string) (context.Context, trace2.Span, error) {
tId, err := trace2.TraceIDFromHex(traceId)
if err != nil {
return nil, noop.Span{}, err
}
spanContext := trace2.NewSpanContext(trace2.SpanContextConfig{
TraceID: tId,
})
ctx1 := trace2.ContextWithSpanContext(ctx, spanContext)
ctx1, span := t.tp.Tracer(t.ServiceName).Start(ctx1, name)
return ctx1, span, nil
}
// initTraceConfig - инициализирует конфиг трассировки, читает из файла .env переменки
func (t *Tracer) initTraceConfig() error {
if err := config.ReadEnv(); err != nil {
return err
}
traceCfg := &TraceConfig{}
err := config.InitConfig(traceCfg)
if err != nil {
return err
}
t.cfg = traceCfg
t.ServiceName = traceCfg.ServiceName
t.IsEnabled = traceCfg.IsTraceEnabled
return nil
}
4. Какие лучшие практики для продакшн-среды выявил:
Когда трассировка интегрирована и работает, важно учитывать следующие моменты для использования в продакшн-среде:
Минимизируйте нагрузку: Используйте батчинг и асинхронную отправку данных, чтобы минимизировать влияние на производительность приложения.
Соблюдайте конфиденциальность данных: Не записывайте чувствительные данные в атрибуты или логи трассировки.
Регулярный мониторинг: Следите за объемом данных, отправляемых на трассировку, чтобы избежать избыточной генерации данных и переполнения системы мониторинга.
Установите ограничения на количество данных: Ограничьте глубину и количество трассировок, особенно для высоконагруженных сервисов. На продакшн-среде мы реализовали запись трейсов 1 из 5. То есть только 1 трейс из 5 запишется в базу, остальные игнорируем.
Заключение
Трассировка — это мощный инструмент для мониторинга микросервисов. Данным инструментом повысили наблюдаемость наших сервисов, но и упростили диагностику и устранение неполадок.
P.S. В создание спанов главное правильно передавать контексты, иначе в админке увидите не точную картину ваших трейсов, не будет вложенности. Я к сожалению потратил очень много времени чтобы выявить это.
Данный пост написан для обмена опытом, мой опыт - это лишь один из возможных подходов, и приглашаю Вас к конструктивному обсуждению.