Здесь мы рассказываем о том, куда идём с точки зрения архитектуры, развития системы и захвата мира. Ревизия в Додо не бумажная: у ревизора есть планшет, где ревизор отмечает все продукты и создает отчеты. Проект SHOT ПРОВЕРКА выяснил, как ведут свои дела компании и на что жалуются сотрудники и покупатели. С этой целью в компании создали облачную информационную систему «Додо ИС» и стали глобально менять подход к видеонаблюдению. Проект SHOT ПРОВЕРКА выяснил, как ведут свои дела компании и на что жалуются сотрудники и покупатели.
Как работали раньше
- ВТИ-Сервис - эксперт автоматизации
- Как франчайзи «ДоДо Пиццы» сократили налоговые риски на 2,5 млн рублей
- Информация
- От теста до счастья
- «Мы пришли к успеху пока вы кушали пиццу». 3 франчайзи ДоДо об окупаемости и конкуренции
- О том, как разработчики пилят IT в Dodo
История архитектуры Dodo IS: путь бэкофиса
А начиналось всё с пиццерии, открытой в 2011 году в Сыктывкаре. Успешный рост сети её основатель Фёдор Овчинников связывает, в том числе, с наличием собственной информационной системы. О том, как она создавалась, какие задачи решает и к каким результатам приводит, Фёдор Овчинников и его команда рассказали в своей «Додо-книге», ключевые идеи которой мы сегодня предлагаем вашему вниманию. Досье Фёдор Овчинников, основатель сети «Додо Пицца».
Додо личный кабинет. Додо ИС менеджер.
Додо ИС персонал. Додо книга. Книга Додо пицца. Додо пицца Овчинников книга. Книга основателя Додо пицца.
Додо сотрудники. Додо витрина. Пиццерия касса. Додо пицца касса. Кассовая зона Додо.
Dodo is кабинет сотрудника. Додо пицца открытка. Додо пицца мемы. Додо Стикеры. Додо пицца рисунок.
Инструкция для Тайного покупателя. Додо тайный покупатель. Анкета Тайного покупателя Додо. Инструкция Тайного покупателя Додо. Додо пицца очередь.
База знаний Додо пицца. Очередь в пиццерию. Диспетчер пицца. Додо кабинет. Додо личный кабинет Додо.
Додо пицца персональный кабинет. Додо ИС вход в личный кабинет. Додо книжка. Додо книга прочти меня. Ценности Додо.
Книга от Додо. Dodo is. Додо номер телефона. Кабинет Додо пицца. Додо Мем.
Открытка Додо. Додо рубли. Додо маркетинг. Додо пицца иллюстрации. Карточка Додо пицца.
Карта пиццерий Додо. Додо пицца коробка. Додо таргет. Диаметр пиццы Додо. Додо ВК.
Додо пицца Размеры пицц. Костюм Додо. Костюм птицы Додо. Додо презентация. Ростовой костюм Додо.
Додо пицца на Кирова. Додо пицца Киров. Номер Додо пиццы Киров. Акции Додо Киров. Додо ИС личный кабинет сотрудника.
Личный кабинет сотрудника.
Может, дело в релизе? И во время инцидента, и после ничего плохого в коде релиза не нашли. Уже после инцидента гипотеза, что были проблемы в релизе была основной для изучения.
Мы на неделю остановили поставки новых версий, изучали вдоль и поперёк, но ничего негативного в релизе не обнаружили. В конце первой недели после сбоя накатили тот же релиз, что был в момент сбоя. Он работал хорошо. Анализ инцидента Частью описания постмортема является анализ инцидента.
Мы его делаем, отвечая на несколько вопросов: Что навредило. Что мы делали на инциденте, что нам не помогало. Это лишние или ошибочные действия. Скорее всего, скейл базы с 32 до 64-х ядер только ухудшил положение дел.
После скейла очистился кеш БД и это привело к дальнейшему каскадному сбою. Удвоение количества подов mapi, сайта было лишним и только создавало нагрузку на дальнейшие сервисы LF , увеличение количества подов LF увеличило на базу и привело к каскадному сбою. Мы полностью отводили трафик от mapi и сайта для всех стран меняли selector в k8s service , а правильнее было бы отводить трафик от Ingress до сервиса для конкретной страны. Это влияло на другие страны.
Плюс шел трафик на инстанс mapi из других стран, а это усложняло разбор. Полный возврат трафика на mapi и сайт в час пик. Как только мы включали эти сервисы — система падала. Чего нам не хватало на инциденте.
Этот вопрос помогает уже сформировать список задач на будущее. Не хватает экспертизы, чтобы смотреть метрики MySQL. У нас есть ранбук, но его никто не отрабатывал на реальных кейсах. Не сразу нашли ответственного, чтобы отключить маркетинговую рассылку пушей, не хватило актуальной схемы с зонами ответственности.
Например, по имени пользователя. Сначала эти пользователи использовались в монолите, где тоже невозможно разделить, какие части сервисов какие запросы делают. Но потом другие сервисы тоже стали использовать тех же пользователей. Не хватает информации, сколько каждый сервис может держать RPS.
Это бы помогло в расчёте, сколько можно добавить реплик приложения, сколько нужно добавить реплик LF. Мы могли бы заранее увидеть проблемы с cache и с другими настройками. Нужны дополнительные алерты. Что пошло не так.
Здесь больше случайные факторы или оставшиеся нюансы. Перестал работать мониторинг. Увеличение количества реплик приложений повлияло на количество собираемых метрик нашей системой мониторинга, из-за чего ей перестало хватать оперативной памяти, приложения мониторинга были остановлены по OOM OutOfMemory и в дальнейшем не смогли запуститься.
Нажать «Войти». Теперь можно пользоваться полным функционалом личного кабинета. При возникновении проблем с доступом к персональному аккаунту следует обратиться за помощью к оператору горячей линии в телефонном режиме. Также можно отправить сообщение на сайте компании. Мобильное приложение Вне зависимости от места работы потенциального пользователя, предоставляется возможность использования персонального профиля с помощью официального сайта либо мобильного приложения. Авторизация на сайте происходит стандартным способом, а вот использование учётной записи через приложение имеет некоторые особенности. Изначально необходимо скачать программу на мобильное устройство.
Стоит заметить, что установка мобильного приложения возможна исключительно на телефоны или планшеты, поддерживающие операционную систему iOS или Android. Чтобы приложение работало правильно, рекомендуется использовать устройства, которым не больше 6 лет, во избежание проблем с программным обеспечением. Кроме того, рекомендуется систематически обновлять программу. Чем отличается учётная запись сотрудника Персональный аккаунт на портале Додо ИС могут зарегистрировать все сотрудники организации.
«Мы пришли к успеху пока вы кушали пиццу». 3 франчайзи ДоДо об окупаемости и конкуренции
Тайная проверка Додо. Менеджер Додо обязанности. Додо ИС пока что не умеет с высокой точностью считать укомплектованность пиццерий, поэтому мы каждую неделю отслеживаем укомплектованность наших Партнеров. Додо ИС пока что не умеет с высокой точностью считать укомплектованность пиццерий, поэтому мы каждую неделю отслеживаем укомплектованность наших Партнеров. Додо ИС пока что не умеет с высокой точностью считать укомплектованность пиццерий, поэтому мы каждую неделю отслеживаем укомплектованность наших Партнеров.
Содержание
- Пицца с пола и ведро с жижей: Что творится за кулисами крупнейших российских пиццерий
- Проверка эквайринговых платежей в Додо Пицца Смоленск
- Содержание
- Корпоративные заказы
Британская пиццерия Dodo вышла из-под российского «крыла»
Сеть пиццерий работает на облачной ERP-системе «Додо ИС», которая координирует все процессы: заказы, работу кухни, доставку, рекламу и общий менеджмент. Компании «Додо Пицца» удалось построить омниканальное взаимодействие с клиентом в оффлайн-пиццериях и в собственном онлайн-приложении. Как видят сотрудники «Додо ИС» знает всё о работе пиццерии, но каждому сотруднику показывает только то, что нужно для текущей задачи.
Специалисты «Простых решений» помогают автоматизировать учет франчайзи Dodo Brands
Что самое удивительное: снова мой город! Идем в пост, читаем: «Свободные проверки ресторана на сегодня или завтра! Если и так, то он сделал это определенно не в момент публикации поста. Насколько я знаю, проверка ресторана и доставки производится раз в неделю по крайней мере в нашей пиццерии.
Следовательно, начиная с понедельника и по сей момент имеется проверка, которая недоступна многим, и в том числе мне! Я разозлился и написал в комментариях своё мнение о происходящей ситуации. Как видно, я не один такой.
А следовательно, Додо манипулирует выдачей дат проверок, которую я и разъяснил в комментарии сверху на скриншоте. Что и следовало ожидать, очередная рекламная кампания Додо-Пиццы.
Некоторые из подписчиков впоследствии сами стали франчайзи сети. К концу 2012 года у «Додо Пиццы» было 8 заведений, к 2014 году — 25, к началу 2015 — 50. За 2018 год открылось около 100 заведений, и в начале 2019 года в сети было 442 пиццерии в России и других странах, — Белоруссии , Великобритании , Казахстане , Киргизии , Китае , Литве , США , Узбекистане и Эстонии [8] [9]. По состоянию на сентябрь 2022 года, к сети относятся 833 заведения в 16 странах. Большая часть точек при этом принадлежит франчайзи [10] [11]. В октябре 2021 года основатель сети Федор Овчинников выступил с заявлением, в котором предупредил, что часть франчайзинговых точек «Додо Пицца» может быть закрыта из-за «несоответствия стандартам качества», а в одном из российских городов может быть закрыта вся сеть [11]. Германия[ править править код ] В Германии «Додо Пицца» планировала начать работать в партнёрстве с местной сетью Uno Pizza [12].
В марте 2018 года они подписали предварительное соглашение.
Публикация рейтингов помогает увидеть, что необходимо исправить в конкретной пиццерии. И незамедлительно начать действовать; Последние записи:.
Грузим все 64 ядра мощной базы. БД перезапустилась, по CPU лучше не стало. В итоге изменение свойств базы с обработкой коннектов нам не помогло. На 21:00 вся система была в разваленном состоянии. Сайт, мобильное приложение и касса ресторана не принимают заказы уже 2,5 часа. На этот момент понятно, что в базу идёт большое количество запросов, и они связаны с меню. При этом ни большое, ни малое количество реплик веб-сервисов не позволяет системе нормально работать.
Четвёртая гипотеза: может, это плохой релиз? Вернёмся чуть назад во времени. В 19:22 у собравшихся появляется идея посмотреть, что же выходило в этот день на продакшен из обновлений. Может, мы найдём в них какую-то зацепку, которая поможет починить всё. Смотрим на последний релиз монолита. Монолит делает запросы к базе монолита, в монолите находится LF, а значит, что-то могло повлиять на них. Релиз был раскатан в 11:01 23 сентября и весь день проработал нормально. Обычно перформансные проблемы в релизе проявляются достаточно быстро.
Но этот релиз был раскатан в пятницу утром в пятницу после 15 мы ничего не катим , и пока у него не было ни одного проработанного вечера. Этот вечер был первым. Пошли изучать код релиза. В релизе было 15 задач, поэтому детальное изучение занимает время. В 19:25 запускаем откат монолита России на 928 релиз. В 19:27 релиз монолита падает по причине того, что под Migrator не сумел выполнить запрос к базе из-за того, что она нагружена. Мигратор — это встроенный в релиз механизм обновления данных или схемы базы. Он используется для небольших изменений в базе, когда надо создать новую таблицу или обновить данные до 100К записей.
Для больших изменений мы используем обновление базы вне релиза. Тут происходит фатальная ошибка: вместо того, чтобы попробовать накатить релиз без мигратора, мы оставляем идею просто обновить систему и идём отрабатывать другие версии, а также изучать код всех 15 задач в поставке. Возможно, откати мы тогда, все могло бы быть иначе. После первой и единственной попытки откатить релиз отрабатываем версии с балкхэдами, точечными запросами в меню на базе и прочие. В 21:18 всё таки решаем откатить на 928 релиз. Это тот релиз, который пристально изучали и в котором ничего не нашли и тот, на который мы ещё час назад попробовали откатить, но из-за мигратора не получилось. Фактически это уже был жест отчаяния: что бы мы ни делали, восстановить работу системы не выходило. Релиз откатился примерно в 21:20.
Всё поднялось. Но что это было? Может, дело в релизе?
Проверка эквайринговых платежей в Додо Пицца Смоленск
Основатель Dodo Brands (владелец брендов «Додо Пицца» и других) Федор Овчинников объявил об уходе с поста гендиректора компании. Как отметили сотрудники «Додо Пиццы», сайт был тепло встречен профессиональной аудиторией, а формат работы над сайтом смог подчеркнуть принципы компании — качество и открытость. Додо ИС личный кабинет сотрудника. Данные по выручке и другим показателям по всем ресторанам сети Додо Пицца в России за всё время. Как мы систему тайных покупателей Додо пиццы водим вокруг пальца. Бесячая отмена проверки в Додо и её исправление.
Додо ис ревизия - фото сборник
Он может выбрать напиток по своим предпочтениям, добавить или убрать дополнительные ингредиенты, оплатить заказ свайпом в приложении, отслеживать статус выполнения заказа. При запуске приложения клиенту показывается виртуальная видеовитрина с новинками. На основании истории заказов в приложении реализована предиктивная модель: клиенту предлагаются продукты, которые он заказывает чаще всего, с учетом его предпочтений выбор вида молока, посыпки. Реализовали курьерское приложение с автоназначением заказов по автоматически расчитываемым маршрутам, чек-листом заказа для курьера и возможностью пометить заказ как проблемный в случае опоздания клиента или оставить комментарий к адресу с его особенностями. В мобильном приложении для обеих операционных систем iOS и Android — Flutter. Подробнее Приложение для курьеров Задача: Создать мобильное приложение для курьеров Додо Пицца, снижающее число ошибок и опозданий при доставке заказов, помогающее оптимизировать доставку нескольких заказов. Решение: Реализовали курьерское приложение с автоназначением заказов по автоматически расчитываемым маршрутам, чек-листом заказа для курьера и возможностью пометить заказ как проблемный в случае опоздания клиента или оставить комментарий к адресу с его особенностями. Административная часть: Мы разработали умную систему автоназначения Небесный логист, которая автоматически собирает в один большой заказ несколько близко расположенных заказов так, чтобы курьер точно успел доставить каждый из них в срок.
Также Небесный логист определяет, какой курьер забирает какой заказ, исключая ситуации, когда дальние клиенты ждут свой заказ слишком долго из-за нежелания по нему ехать. Также для менеджера смены был разработан функционал подтверждения оставленных курьером комментариев к адресам: так мы сохраняем и делаем общедоступными среди курьеров только действительно важные комментарии, такие как информация о неработающем домофоне. Мобильное Приложение: Мы разработали мобильное приложение с использованием технологии Flutter, которая позволяет одновременно разрабатывать для iOS и Android и тем самым удешевляет разработку. В приложении курьер получает уведомление о назначении заказа, узнает адрес и комментарии к нему, знает, к какому времени нужно вернуться в пиццерию после доставки и какие заказы ждут его дальше. При сборке заказа курьер может проверить сам себя по чек-листу, при использовании которого вероятность ошибки падает до нуля. При завершении сборки заказа курьер получает дополнительное напоминание по мелким дополнительным предметам, таким как соусы или салфетки, чтобы точно ничего не забыть. После доставки заказа в приложении курьер отмечает его доставленным, а если что-то идет не так: клиент не на месте, клиент ошибся адресом, — курьер может пометить заказ соответствующим флажком.
По таким заказам пиццерия не должна выдавать сертфикаты за опоздания. Тем самым мы экономим деньги наших партнеров в пиццериях на лишних сертификатах и довозах забытых продуктов.
А начиналось всё с пиццерии, открытой в 2011 году в Сыктывкаре. Успешный рост сети её основатель Фёдор Овчинников связывает, в том числе, с наличием собственной информационной системы. О том, как она создавалась, какие задачи решает и к каким результатам приводит, Фёдор Овчинников и его команда рассказали в своей «Додо-книге», ключевые идеи которой мы сегодня предлагаем вашему вниманию. Досье Фёдор Овчинников, основатель сети «Додо Пицца».
Но этот релиз был раскатан в пятницу утром в пятницу после 15 мы ничего не катим , и пока у него не было ни одного проработанного вечера. Этот вечер был первым. Пошли изучать код релиза. В релизе было 15 задач, поэтому детальное изучение занимает время.
В 19:25 запускаем откат монолита России на 928 релиз. В 19:27 релиз монолита падает по причине того, что под Migrator не сумел выполнить запрос к базе из-за того, что она нагружена. Мигратор — это встроенный в релиз механизм обновления данных или схемы базы. Он используется для небольших изменений в базе, когда надо создать новую таблицу или обновить данные до 100К записей. Для больших изменений мы используем обновление базы вне релиза. Тут происходит фатальная ошибка: вместо того, чтобы попробовать накатить релиз без мигратора, мы оставляем идею просто обновить систему и идём отрабатывать другие версии, а также изучать код всех 15 задач в поставке. Возможно, откати мы тогда, все могло бы быть иначе. После первой и единственной попытки откатить релиз отрабатываем версии с балкхэдами, точечными запросами в меню на базе и прочие. В 21:18 всё таки решаем откатить на 928 релиз. Это тот релиз, который пристально изучали и в котором ничего не нашли и тот, на который мы ещё час назад попробовали откатить, но из-за мигратора не получилось.
Фактически это уже был жест отчаяния: что бы мы ни делали, восстановить работу системы не выходило. Релиз откатился примерно в 21:20. Всё поднялось. Но что это было? Может, дело в релизе? И во время инцидента, и после ничего плохого в коде релиза не нашли. Уже после инцидента гипотеза, что были проблемы в релизе была основной для изучения. Мы на неделю остановили поставки новых версий, изучали вдоль и поперёк, но ничего негативного в релизе не обнаружили. В конце первой недели после сбоя накатили тот же релиз, что был в момент сбоя. Он работал хорошо.
Анализ инцидента Частью описания постмортема является анализ инцидента. Мы его делаем, отвечая на несколько вопросов: Что навредило. Что мы делали на инциденте, что нам не помогало. Это лишние или ошибочные действия. Скорее всего, скейл базы с 32 до 64-х ядер только ухудшил положение дел. После скейла очистился кеш БД и это привело к дальнейшему каскадному сбою. Удвоение количества подов mapi, сайта было лишним и только создавало нагрузку на дальнейшие сервисы LF , увеличение количества подов LF увеличило на базу и привело к каскадному сбою. Мы полностью отводили трафик от mapi и сайта для всех стран меняли selector в k8s service , а правильнее было бы отводить трафик от Ingress до сервиса для конкретной страны. Это влияло на другие страны. Плюс шел трафик на инстанс mapi из других стран, а это усложняло разбор.
У каждого курьера на руках есть терминал для оплаты банковской картой. Ежедневно на доставку поступает более 1500 заказов. Когда клиент делает оплату денежные средства не сразу поступают на расчетный счет организации. В связи с тем, что менеджер может в конце смены не снять сверку итогов, данные оплаты клиентов могут поступать в течение тре х банковских дней. Очень трудно проверить, все ли денежные средства поступили на расчетный счет компании, а значит, возможны злоупотребления со стороны сотрудников. С чем обратились к нам Перед нами была поставлена задача сопоставить информацию из дву х источников: первый источник — отчеты по эквайрингу Сбербанка, где указана детальная информация вплоть до конкретной транзакции по конкретному терминалу.
«Помните, кто вы, и не уходите с радаров». Как в «Додо Пицца» решили никого не увольнять в кризис
Основа франшизы «Додо Пиццы» — облачная ERP-система «Додо ИС» (Dodo IS), которая организует рабочие процессы пиццерии, включая обработку заказов, работу кухни, доставку, управление штатом и маркетинг[24]. Бесячая отмена проверки в Додо и её исправление. Додо ИС Додо. Dodo is кабинет сотрудника. Второй источник — Додо ИС, где также видны в разрезе каждого курьера, какие суммы он принимал в течение дня и по какой конкретно пиццерии.
«Додо пицца» застраховала киберриски в «Сбербанк страхование»
Dodo IS — информационная система как ядро франчайзинга. Главная» Новости» Новости додо пицца. Разработали систему учета с использованием сводных данных из «ДоДо ИС», что помогло снизить затраты на ввод первичных документов в 1С за счет использования сводных проводок. Смотрите видео онлайн «Dodo IS | Учет. Ревизия» на канале «Забавные Пушистики» в хорошем качестве и бесплатно, опубликованное 19 сентября 2023 года в 1:39, длительностью 00:12:12, на видеохостинге RUTUBE. Здесь мы рассказываем о том, куда идём с точки зрения архитектуры, развития системы и захвата мира. Основатель «Додо» Федор Овчинников с первого дня создавал компанию, основанную на открытости.
«Додо пицца»: как открыть свою пиццерию по франшизе
Памятка для сотрудников Додо. Листовки Додо. Анкета Додо. Ценности Додо пицца. Почему я хочу работать. Додо пицца открытка.
Додо пицца мемы. Додо Стикеры. Додо пицца рисунок. Додо пицца скидка. Скидка на пиццу.
Скидка 50 на пиццу. Акция скидка на пиццу. Промокод на додстер Додо пицца. Додстер в подарок. Dodo промокод додстер в подарок.
Додо реклама. График работы пиццерии работников. График работы сотрудников в пиццерии. Вячеслав Миллер Додо пицца. Додо Ростов.
Додо Туапсе. Додо Аксай. АРК ферма Додо. АРК загон для Додо. Ферма Додо АРК мобайл.
Яйцо Додо. Додстер Додо. Большая пицца Додо. Додо команда. Андрей Петелин Додо.
Лицо Додо в России. Dodo girl логотип. Додо пицца завтрак. Додо пицца бизнес ланч. Додо обед.
Додо пицца бизнес ланч меню. Додо витрина. Пиццерия касса. Додо пицца касса. Кассовая зона Додо.
Визитка Додо. Dodo brands логотип. Персонификация Додо. Надпись Додо. Додо пицца надпись.
Додо брендбук. Dodo гравюра Dodo Фея. Гравюра Фея Dodo. Святой Додо. Как выглядит Додо в прошлом веке птита.
Додо сэндвич. Dodopizza сэндвич. Сэндвич 3 Додо. Додо пицца франшиза. Додо пицца зарплата сотрудников.
Зарплата в Додо пицце. Выручка Додо пицца.
Всё поднялось. Но что это было?
Может, дело в релизе? И во время инцидента, и после ничего плохого в коде релиза не нашли. Уже после инцидента гипотеза, что были проблемы в релизе была основной для изучения. Мы на неделю остановили поставки новых версий, изучали вдоль и поперёк, но ничего негативного в релизе не обнаружили.
В конце первой недели после сбоя накатили тот же релиз, что был в момент сбоя. Он работал хорошо. Анализ инцидента Частью описания постмортема является анализ инцидента. Мы его делаем, отвечая на несколько вопросов: Что навредило.
Что мы делали на инциденте, что нам не помогало. Это лишние или ошибочные действия. Скорее всего, скейл базы с 32 до 64-х ядер только ухудшил положение дел. После скейла очистился кеш БД и это привело к дальнейшему каскадному сбою.
Удвоение количества подов mapi, сайта было лишним и только создавало нагрузку на дальнейшие сервисы LF , увеличение количества подов LF увеличило на базу и привело к каскадному сбою. Мы полностью отводили трафик от mapi и сайта для всех стран меняли selector в k8s service , а правильнее было бы отводить трафик от Ingress до сервиса для конкретной страны. Это влияло на другие страны. Плюс шел трафик на инстанс mapi из других стран, а это усложняло разбор.
Полный возврат трафика на mapi и сайт в час пик. Как только мы включали эти сервисы — система падала. Чего нам не хватало на инциденте. Этот вопрос помогает уже сформировать список задач на будущее.
Не хватает экспертизы, чтобы смотреть метрики MySQL. У нас есть ранбук, но его никто не отрабатывал на реальных кейсах. Не сразу нашли ответственного, чтобы отключить маркетинговую рассылку пушей, не хватило актуальной схемы с зонами ответственности. Например, по имени пользователя.
Сначала эти пользователи использовались в монолите, где тоже невозможно разделить, какие части сервисов какие запросы делают. Но потом другие сервисы тоже стали использовать тех же пользователей. Не хватает информации, сколько каждый сервис может держать RPS. Это бы помогло в расчёте, сколько можно добавить реплик приложения, сколько нужно добавить реплик LF.
Мы могли бы заранее увидеть проблемы с cache и с другими настройками. Нужны дополнительные алерты. Что пошло не так. Здесь больше случайные факторы или оставшиеся нюансы.
Да, это связано с вызовом метода GetMenu, который мы видели выше, когда разжали балкхэды. В обычной жизни запросы к топпингам выполняются за 0. Позже мы исследовали этот запрос и никакой неоптимальности на уровне SQL в нём не было. Этого запроса просто было слишком много и он не успевал обрабатываться. Появилось предположение, что нам немного не хватает перформанса базы, чтобы прожевать все нужные запросы. К тому же, запросы идут в базу в много потоков.
В 20:27 БД перезапустилась. До этого CPU было небольшое, а теперь опять выросло. Грузим все 64 ядра мощной базы. БД перезапустилась, по CPU лучше не стало. В итоге изменение свойств базы с обработкой коннектов нам не помогло. На 21:00 вся система была в разваленном состоянии.
Сайт, мобильное приложение и касса ресторана не принимают заказы уже 2,5 часа. На этот момент понятно, что в базу идёт большое количество запросов, и они связаны с меню. При этом ни большое, ни малое количество реплик веб-сервисов не позволяет системе нормально работать. Четвёртая гипотеза: может, это плохой релиз? Вернёмся чуть назад во времени. В 19:22 у собравшихся появляется идея посмотреть, что же выходило в этот день на продакшен из обновлений.
Может, мы найдём в них какую-то зацепку, которая поможет починить всё. Смотрим на последний релиз монолита. Монолит делает запросы к базе монолита, в монолите находится LF, а значит, что-то могло повлиять на них. Релиз был раскатан в 11:01 23 сентября и весь день проработал нормально. Обычно перформансные проблемы в релизе проявляются достаточно быстро. Но этот релиз был раскатан в пятницу утром в пятницу после 15 мы ничего не катим , и пока у него не было ни одного проработанного вечера.
Этот вечер был первым. Пошли изучать код релиза. В релизе было 15 задач, поэтому детальное изучение занимает время. В 19:25 запускаем откат монолита России на 928 релиз. В 19:27 релиз монолита падает по причине того, что под Migrator не сумел выполнить запрос к базе из-за того, что она нагружена. Мигратор — это встроенный в релиз механизм обновления данных или схемы базы.
Он используется для небольших изменений в базе, когда надо создать новую таблицу или обновить данные до 100К записей. Для больших изменений мы используем обновление базы вне релиза. Тут происходит фатальная ошибка: вместо того, чтобы попробовать накатить релиз без мигратора, мы оставляем идею просто обновить систему и идём отрабатывать другие версии, а также изучать код всех 15 задач в поставке. Возможно, откати мы тогда, все могло бы быть иначе.
Костюм Додо. Костюм птицы Додо. Додо презентация. Ростовой костюм Додо. Додо пицца на Кирова.
Додо пицца Киров. Номер Додо пиццы Киров. Акции Додо Киров. Додо ИС личный кабинет сотрудника. Личный кабинет сотрудника. Додо пицца Румыния. Магнитики Додо пицца. Додо магниты. Вход в личный кабинет сотрудника Додо.
Додо Домодедово. Додо кино. Додо 2077. Троян Додо. Дашборд Додо пицца. CRM Додо пицца. Dodo is структура. Dodo дизайн website. Управляющий Додо.
Додо обучение. Додо пицца реклама. Рекламные баннеры Додо. Скидка Додо. Визитка Додо. Dodo brands логотип. Птица Додо логотип. Персонификация Додо. АРК ферма Додо.
АРК загон для Додо. Ферма Додо АРК мобайл. Яйцо Додо. Додо логотип. Додо Мирный. Дерево Додо. Додо сэндвич. Dodopizza сэндвич. Сэндвич 3 Додо.
Додо пицца франшиза. Конкурс репостов Додо. Постеры промоутеры Додо. Костюм виде Додо. Додоша Додо. Додо пицца скидка. Скидка на пиццу. Скидка 50 на пиццу. Акция скидка на пиццу.
Стандарты Додо пицца. База знаний Додо ИС. Конкуренты Додо пиццы. Количество пиццерий в России. Доля рынка пиццерий в России. Самая крупная сеть пиццерий в России. Додо пицца Мем. Додо птица Додо пицца.