Как мы уменьшили p95 ответа API в два раза
У одного из клиентов — внутренняя панель для менеджеров. Жалоба звучала обычно: «список заказов открывается медленно». Метрики показывали p50 около 180 мс и p95 под 2,4 секунды. Среднее значение ничего не говорило, поэтому смотрели именно хвост.
Сначала измеряем
Включили профилировщик на проде на пять минут в часы низкой нагрузки. Ничего не меняли, просто сняли сэмплы. Уже на этом этапе стало видно: половину времени обработчик проводит в ожидании базы.
# короткий профиль без перезапуска сервиса
curl -s "http://127.0.0.1:9000/debug/pprof/profile?seconds=30" -o cpu.pprof
go tool pprof -top -nodecount=15 ./app cpu.pprof
Что нашлось
Классический N+1: список из 200 заказов, и на каждый — отдельный запрос за контрагентом. Плюс сериализация статусов, которая каждый раз лезла в справочник.
Правило, которое мы вынесли: если запрос выглядит как «один плюс N», то через полгода N вырастет. Лучше сразу писать одним запросом с join.
Что сделали
- Заменили цикл на один запрос с
JOINи агрегацией. - Справочник статусов загрузили в память при старте, обновление — по событию.
- Добавили индекс по
(company_id, created_at DESC). - Прикрутили порог алерта: p95 выше 800 мс — повод смотреть.
Результат
p95 упал с 2,4 с до 1,1 с, количество запросов к базе на страницу — с 204 до 3. Нагрузка на CPU уменьшилась примерно на треть, а самое приятное — жалобы прекратились в тот же день.