В Google дежурному SRE ставят предел: не больше двух инцидентов за 12-часовую смену. На каждый, вместе с поиском причины, исправлением и постмортемом, уходит около шести часов. В большинстве предложений о дежурстве таких норм обычно нет, там «по очереди» и сумма — например €300 в неделю. Разбираем, как перевести это в ночи без сна и о чём договориться прежде, чем сказать «да».
В Google дежурному SRE ставят предел: не больше двух инцидентов за 12-часовую смену. На каждый, вместе с поиском причины, исправлением и постмортемом, уходит около шести часов. В большинстве предложений о дежурстве таких норм обычно нет, там «по очереди» и сумма — например €300 в неделю. Разбираем, как перевести это в ночи без сна и о чём договориться прежде, чем сказать «да».
В статье есть ссылки партнеров. Это значит, что если вы что-то покупаете с нашей помощью — вы также поддерживаете dev.by. (Вот другой способ).
При этом редакция и авторы независимы в выборе темы, концепции материала, фокуса описания, подхода к услугам или товарам. Прежде чем что-то советовать, мы много читаем и смотрим по теме, говорим с экспертами.
Редакция может выражать свое мнение и пробовать всё на себе.
Если рекомендательный материал обновляется, мы указываем, что и когда поменялось, в самом начале.
Если за неделю телефон ни разу не зазвонил — это €300 за несколько проверок Slack. Но когда вас трижды разбудили ночью, а в девять утра всё равно ждут на дейли, сделка уже другая. Сумма та же, но заплатить за неё пришлось сном, вечером выходного и половиной следующего рабочего дня.
On-call обычно описывают просто: вы дежурите, компания доплачивает. Часы за ноутбуком занимают в этой сделке меньшую часть. Остальное приходится на неделю с телефоном на громком звуке.
«Слишком многие недооценивают, каково это: каждый вечер ложиться спать, зная, что в три ночи тебя могут разбудить», — пишет Лиан Юаньлинь, бывший SRE Google из команд Spanner, Meet и YouTube. По его словам, за всё дежурство в голове не остаётся ни одного спокойного угла. Жена до сих пор вздрагивает, когда звонит один конкретный рингтон Android.
Назовём это налогом на ожидание. Пейджей может не прийти ни одного, а неделя всё равно пройдёт иначе: за город далеко не уедешь, на концерт не пойдёшь, не выпьешь, телефон всегда заряжен. Для многих почти незаметно, но для кого-то — главная причина вообще не хотеть on-call.
Исследователи сна видят то же, хотя айтишников почти не изучали. Австралийские учёные свели восемь работ о дежурстве из дома и пришли к выводу, что такое дежурство, по всей видимости, сокращает сон и в большинстве случаев ухудшает его качество. Ночи с вызовами и без них эти работы, правда, не разделяли. А в 1988 году в Швеции записали ЭЭГ пяти судовых механиков на дежурстве: многие нарушения сна появлялись ещё до первого сигнала. Авторы работы предположили, что дело в тревожном ожидании.
Как этот налог выглядит в жизни, видно по посту в r/sysadmin на Reddit. Автор договаривался об условиях дежурства от имени себя и двух коллег и перечислил, чего на дежурстве нельзя: выпить, уехать к родным дальше часа езды, сходить в кино, позвать гостей. Коллеге нельзя даже принять снотворное, иначе проспит звонок.
Personal cost of being on call?
by u/InspectionRight2698 in sysadmin
Вопрос «€300 — это много или мало?» без подробностей почти ничего не значит: сначала нужно узнать, что происходит во время смены.
В 2022 году Гергей Орош, автор рассылки The Pragmatic Engineer, попросил читателей анонимно рассказать, платят ли им за дежурства и сколько. Данные пришли из 80 компаний, и разброс получился примерно от $100 до $1250 в неделю, а у отдельных компаний, например в Google, и больше. Цифрам три-четыре года, проверить их нельзя, но как ориентир годятся и сейчас.
€300 в этой выборке — в нижней части диапазона. Примерно столько платили в Adobe в Германии и в Wise в Великобритании (£300). В нидерландском банке Rabobank выходило €330, в Klarna — €500, в Amazon в Германии — около €800, в Booking.com — €950, в Zalando — €1050.
Схемы оплаты Орош делит на три: фиксированная сумма за неделю или день; фикс плюс оплата часов, отработанных на инцидентах, обычно по повышенной ставке; оплата только инцидентов. Google, судя по книге о SRE, компенсирует дежурства отгулом или деньгами, но с потолком в долю зарплаты.
DevOps-инженер из Великобритании рассказывает на Reddit, что дежурит круглосуточно неделю из трёх. Тихих недель не бывает, иногда за ночь приходит пять-десять вызовов. Платят за это £555 в месяц, около £390 за неделю дежурства, то есть больше €300. И всё равно автор спрашивает, не эксплуатируют ли его.
On Call Pay, Am I being exploited?
by u/poloralphy in devops
Если вы работаете по трудовому договору, на условия влияет ещё и закон. Суд ЕС в 2021 году разбирал дежурства техника, который обслуживал телепередающие станции в горах Словении, и немецкого пожарного. Вывод: дежурство целиком считается рабочим временем, только если ограничения «объективно и очень существенно» мешают распоряжаться свободным временем. Иначе рабочее время — только сама работа. Национальные суды должны учитывать, за сколько нужно приступить к делу и как часто в среднем вызывают.
Как платить за дежурство, директива ЕС о рабочем времени не регулирует: это решают закон страны, коллективный договор или работодатель. И законы разные. В Польше за дежурство дома Трудовой кодекс (статья 151⁵) не требует ни отгула, ни доплаты: если вызовов не было, дежурство рабочим временем не считается. А если пришлось работать, эти часы засчитываются и сверх норм оплачиваются как сверхурочные.
В Литве за каждую неделю пассивного дежурства дома положена доплата не меньше 20% среднемесячного заработка (статья 118 Трудового кодекса). При зарплате €4000 это €800, так что €300 не дотягивают и до половины. Дежурить так можно не дольше одной непрерывной недели из четырёх, а условие должно быть записано в трудовом договоре.
На B2B и самозанятых эти нормы не распространяются, если только сотрудничество по сути не трудовое: такой договор суд может признать трудовым. Подрядчику ставку, оплату вызовов и лимиты нужно вписывать в договор самому.
Как посчитать свою смену?
Сложные таблицы Excel не понадобится. Откройте историю PagerDuty, Opsgenie или того, чем пользуется команда, за последние 8–12 недель и выпишите четыре вещи.
Нужны именно числа. Один ночной вызов в месяц и три за каждую смену в описании вакансии выглядят одинаково: «дежурство по очереди».
Ориентир дают те же два инцидента за 12 часов из книги Google. Это норма десятилетней давности для SRE крупной компании, но порядок величины понятен. В её продолжении разобрана гипотетическая команда: год подряд на смену приходило пять пейджей при бюджете два, и часть инженеров ушла туда, где операционной нагрузки меньше.
Допустим, ночной инцидент занял 40 минут. В табличке это 40 минут работы. В жизни это подъём в 3:20, ноутбук, переписка, поиск причины, попытка снова уснуть и разбитое утро. Умножение «пейджи × минуты» эту часть не видит.
Пример: за смену пришло пять пейджей, два из них ночью. Каждый ночной занял около часа, а утром никаких послаблений не было. Это два лишних часа работы, которые разорвали обе ночи и съели следующий рабочий день. Если считать по ночам, €300 за такую неделю — это €150 за каждую разорванную ночь.
Отдельно посчитайте, сколько нужно, чтобы прийти в себя. Лиану после недельной смены требовалось пять-шесть недель, чтобы морально собраться на следующую. Отсюда его минимум: шесть человек в ротации. В GitLab ожидают, что после смены от пяти дней человек возьмёт день-два отгула, если нужно восстановиться.
Пять ночных вызовов — не обязательно пять аварий. Часть может оказаться ложными срабатываниями, дублями или событиями, которые спокойно дождались бы утра.
Тут разговор о деньгах становится разговором о мониторинге. Если человек регулярно просыпается из-за алерта, который не требует немедленной реакции, доплата решает только половину проблемы. Платить станут больше, а будить продолжат.
Роб Эващук, бывший SRE Google, в тексте об алертинге поставил пейджу четыре условия: он должен быть срочным, важным, требовать действия и быть настоящим. Шумные алерты Эващук советует удалять, если есть сомнения: с избыточным мониторингом справиться труднее, чем с недостаточным.
Менеджерам о том же пишет Чарити Мэйджорс, сооснователь и технический директор Honeycomb, компании, которая делает платформу наблюдаемости: «Внимательно следите, как часто поднимают команду. Относитесь всерьёз к любому алерту в нерабочее время и ставьте его исправление в приоритет». Ночные пейджи у неё — «инфаркт, а не диабет».
В продолжении книги Google есть и пример, как это чинят. В Evernote перестали поднимать людей из-за низкоуровневых сбоев инфраструктуры и стали следить за тем, что чувствует пользователь, например как быстро отвечает API. События поделили на три уровня: будит только первый, о втором приходит письмо, а разбирают его на следующий рабочий день.
К вопросу «сколько платят» стоит добавить ещё два: почему вообще будят и кто решает, что это срочно.
Когда есть цифры, разговор меняется. Вместо «€300 мне мало» можно сказать: «За последние три месяца на смену в среднем приходится четыре пейджа, два из них ночью. Времени на восстановление после ночного вызова нет. Давайте обсудим условия».
Схем оплаты, о которых стоит говорить, четыре.
Уточните и то, что обычно всплывает через месяц. Входит ли разбор инцидента в фиксированную сумму? Платят ли отдельно сверх какого-то числа часов? Оплачивается ли вызов на десять минут? Чей пейдж за пять минут до конца смены?
Ещё один пункт Мэйджорс считает обязательным: «Когда инженер на дежурстве, он не отвечает за обычную проектную работу. Точка». Компенсировать дежурство, по её словам, можно и не деньгами, например свободной пятницей на следующей неделе после смены.
Ротация весит не меньше денег. Сколько в ней человек? Есть ли второй дежурный и через сколько подключается? Есть ли follow-the-sun, когда ночные инциденты передают команде в другом часовом поясе?
Google в той же книге называет минимум: восемь инженеров в ротации на одной площадке или по шесть на двух. А follow-the-sun объясняет прямо: ночные смены вредят здоровью. Иногда другая ротация снимает больше нагрузки, чем небольшая прибавка к ставке.
Многим дежурство жить не мешает. Если пейджей немного, ночью будят редко, команда большая, эскалация работает, а после плохой ночи можно отоспаться, on-call становится понятной дополнительной обязанностью.
Кто-то готов дежурить только днём или с жёстким лимитом на ночи: например, если есть follow-the-sun или после ночного вызова рабочий день сдвигается сам собой.
А кому-то сама необходимость быть на связи обходится слишком дорого. Дело не в том, что человек «не командный»: on-call по-разному ложится на личную жизнь, сон и семью. Мэйджорс заканчивает текст жёстко: если обязательные дежурства сильно бьют по жизни, а руководитель не спешит это чинить, она надеется, что команда уйдёт от него туда, где ценят время и сон.
Если дежурства уже обернулись устойчивой бессонницей, сильной тревогой или истощением, калькулятор здесь заканчивается. С этим — к врачу или психологу: ещё одна строка в таблице такое не компенсирует.
Покупать для начала ничего не нужно: статистика алертов за пару месяцев скажет о смене больше любой книги. Но если собираетесь ещё и сокращать ночные вызовы в команде, пригодятся две книги и курс.
Если нужно понять, какой алерт вообще должен будить человека. «Practical Monitoring» Майка Джулиана, на момент выхода книги консультанта по мониторингу (O’Reilly, 2017). Теме статьи отдана третья глава: чем хороший алерт отличается от шума, как устроить дежурство и разбор инцидентов. В первой главе — типичные ошибки мониторинга, в приложении — пример runbook, инструкции для дежурного. Может подойти тем, кто собирается прийти к команде со списком алертов на удаление. Остальные главы — о мониторинге в целом; об оплате и переговорах там ничего нет. Книге девять лет, но к конкретным инструментам она намеренно не привязана.
Если готовы переделать алертинг в команде. «Implementing Service Level Objectives» Алекса Хидальго, инженера по надёжности, бывшего сотрудника Google (O’Reilly, 2020). Книга о том, как будить людей по ущербу для пользователей, а не по порогам на графиках: как выбрать целевые показатели надёжности (SLO), считать бюджет ошибок и настроить по ним алерты. Есть глава о том, как добиться поддержки, от коллег-инженеров до руководства. Отдельной главы о дежурствах нет, и если в компании SLO не используют, быстрой пользы книга не даст.
Если хочется попробовать то же руками, у онлайн-школы Edureka есть курс «Site Reliability Engineering (SRE) Principles» на Coursera. Во втором модуле там разбирают, как снижать шум алертов, собирать SLO-дашборд в Grafana на Prometheus, устраивать дежурство и эскалации, проводить постмортемы. Курс начального уровня и привязан к конкретным инструментам, так что сеньору часть покажется азами. Об организации и оплате дежурств в нём ничего нет.
Попросите у команды статистику пейджей хотя бы за два-три месяца, посчитайте по ней смену и переведите €300 в цену одной разорванной ночи.
Если телефон молчит, это одна цена. Если будят каждую ночь — другая. А если пейджей много и половина из них ложные, торговаться, возможно, стоит сначала о мониторинге. У Google есть своё число — два инцидента за 12 часов. После подсчёта должно появится и ваше.
Релоцировались? Теперь вы можете комментировать без верификации аккаунта.