(no subject)

[redtigra]

Опыт двухлетней работы экспертом по системе, склонной к регулярным лавинообразным отказам, дал интересную информацию.

Отказы случаются регулярно, в среднем раз в полгода. Неприятности валятся дружно и разом. Виной обычно какой-то базовый писец (чаще всего запущенный новый релиз или пристегнутое в связку новое приложение, которое начинает вести себя не по чину активно).

Так вот, разбор проблем показывает, что примерно 30% имеют... другую причину. Обычно вполне, что называется, операционную, чаще всего - ошибку оператора, например. Исправляются такие ошибки в рамках давно определенных процессов, статус ква возвращается на следующий день.

Но! Выглядят они так, словно и тут виновата Большая Бяка - убедительно выглядят. Выясняется это обычно, когда бяку поправили, и часть исправилась, а другая часть - с виду такая же - нет.

Если не помнить о смешении причин, можно прокопаться еще несколько дней, пытаясь найти, что там в исправлении не доделали. В итоге, самый простой факап исправляется последним, потому что все охренели и запутались.

Стр утверждает, что к обычной жизни это в полной мере применимо.

Comments

[dimas.livejournal.com]

У меня еще по опыту участия в первичной пост-поддержке двух релизов немаленького продукта, еще какая штука была: некоторые бяки могут жить годами (и кучей релизов) в продукте, но их могут не замечать за другими, большими или малыми … а с обновлением — заметить … а иногда еще и под видом “вы вот тут поломали” попытаться ускорить исправление того, что не спешили исправлять раньше …

[redtigra.livejournal.com]

понятное дело. но тут мое дело кастомерское: пока система делает что надо, и мне хорошо, а как она там это делает, пусть у программистов голова болит. а как только перестает - тут пиши пропало :).

[zloy-homyak.livejournal.com]

а у меня релизы раз в 2 недели. т.е. и хорошо и плохо одновременно. первые часа 2 после деплоймента мониторю как полный маньяк мейлы об эксепшнах. Как выяснилось, наиболее опасный сигнал - мылы начинают с задержкой приходить, т.е. эсчендж начинает ложиться. И вот тогда точно полный п. :-)