Як ми знайшли витік пам’яті за 12 хвилин, а не за добу

О 3:14 ночі алерт показав зростання споживання пам’яті на трьох подах поспіль. Раніше на такий розбір йшла доба — доводилося вручну зіставляти логи трьох сервісів за часовими мітками.

Цього разу ми відкрили трейс інциденту і побачили: зростання почалося одразу після деплою нового воркера черги. Кореляція логів і трейсів показала витік у пулі з’єднань, який не закривався при таймауті.

Що ми змінили в процесі

Тепер кожен деплой автоматично позначається на графіку метрик — це одразу звузило простір пошуку з «усієї історії» до «останніх 20 хвилин».