Видеоаналитика «М.Видео-Эльдорадо»: 30 000 камер, один компьютер и нейросеть

В середине 2020 года в группе «М.Видео-Эльдорадо» начали создавать собственную систему видеоаналитики «с нуля», не используя сторонние готовые платформы. В перспективе она должна охватить более тысячи магазинов торговой сети. О том, почему компания выбрала этот путь и каких результатов добилась, рассказываем в этой статье.

Фото: «М.Видео-Эльдорадо».

Тридцать тысяч глаз

Темой видеоаналитики в компании заинтересовались достаточно давно. На протяжении последних трех лет эксперты компании общались с разными потенциальными партнерами, готовыми развернуть нужное решение, но все упиралось в разные непреодолимые факторы. Чаще всего речь шла о замене камер в магазинах на те, с которыми подрядчик умел работать и для которых создал свой аналитический инструментарий.

Подобный подход категорически не подходил группе в силу больших масштабов торговой сети «М.Видео-Эльдорадо». Сегодня она состоит более чем из тысячи магазинов, в каждом из которых установлено порядка 30 камер. Причем, самых разных моделей. Полная замена этого разношерстного парка на единое стандартизированное решение вылилось бы в такие расходы, что стоимость эксплуатации готовой системы видеоаналитики, на которую ориентировались внутренние заказчики, просто потерялась бы на фоне бюджета на переоборудование.

Если никто не может тебе помочь, сделай это сам. Так в начале лета 2020 года в компании сформировали небольшую рабочую группу из молодых специалистов, по сути студентов, в которую на разных стадиях проекта входило от двух до четырех человек.

Перед коллективом разработчиков была поставлена задача «в формате хулиганства» создать единую систему видеоаналитики, которую можно было бы легко масштабировать на магазины торговой сети, причем полностью используя неоднородный набор уже установленных видеокамер.

Фото: «М.Видео-Эльдорадо».

Маленькие компоненты, большая архитектура

Так как речь, по сути, шла о внутреннем стартапе с продуктом, предназначенным для решения конкретной задачи, проектная команда получила полный карт бланш. Для начала разработчики изучили текущую структуру систем видеонаблюдения. Она выглядела достаточно просто: изображение с камер через сетевые коммутаторы поступало на видеорекордеры и не покидало периметр магазина (стандартная схема охранной системы видеонаблюдения).

Так как аналитический движок системы предполагалось сделать единым и разместить в частном облаке собственного ЦОДа компании, встал вопрос о выгрузке realtime потока в облако.

Для выгрузки было выбрано решение из семейства raspberry, которое в силу своей стоимости (~$50) отлично укладывается в концепцию «мало тратим, много получаем». Его оказалось достаточно, чтобы организовать выгрузку с камер.

Стандартная CCTV камера имеет разрешение 1080p, записывает 25 кадров в секунду кодеком H.264, поддерживает выгрузку через RTSP (Real Time Streaming Protocol), которому на это нужно 6 Мбит/с. Также на камере обычно есть возможность чтения второго, более «слабого», потока с разрешением 720p, при этом RTSP поток требует чуть менее 3 Мбит/с.

Даже если с каждой камеры выгружать «слабый» поток, учитывая количество камер в магазине и заоблачную цену на интернет в коммерческих помещениях, об окупаемости видеоаналитики можно забыть.

Проблему большого внешнего трафика рабочая группа решила в лоб: был создан сложный RTSP -фильтр, который из исходного потока брал только опорные кадры (key frames) и из них создавал новый RTSP поток с новыми, еще более редкими опорными кадрами.

Дальше надо было разработать само ядро видеоаналитики. На первом этапе от нее требовалось просто идентифицировать на изображении посетителей и помещать их на предварительно составленную карту помещений магазина. Мы хотели знать, где находятся люди.

В качестве основы решения была выбрана нейросеть yolo из-за низкого ресурсопотребления, которую предстояло дообучить надежно идентифицировать людей на изображении, и в зависимости от местоположения и ракурса камеры рассчитывать положение этих людей на плане магазина.

Первый кейс компанией был реализован в октябре 2020 года. К этому моменту система уже научилась уверенно распознавать посетителей, переводить их положение в кадре в декартову систему координат и привязывать к планограмме магазина.

Удалось добиться надежной работы этого алгоритма даже в тех случаях, когда фигура человека частично перекрывалась препятствиями – стеллажами с товаром, рекламными конструкциями, другими людьми и пр. Это позволило воплотить первые рабочие сценарии, которые разработчики назвали «одинокий покупатель», «очередь у касс» и «тепловая карта магазина».

Фото: «М.Видео-Эльдорадо».

Одна система, три сценария

Теперь, если система видеоаналитики видит, что посетитель некоторое время стоит или перемещается по залу в одиночку, она создает алерт (оповещение о проблеме) и отправляет его в чат-бот магазина. Соответствующее сообщение получает персонал текущей смены и спешит на помощь покупателю.

При реализации этого сценария пришлось решать вопрос идентификации продавцов, для того чтобы система могла присвоить им соответствующий статус и в будущем на них не реагировать. Экспериментировали с QR-кодами на форменной одежде, но это решение оказалось громоздким и ненадежным. Поэтому пока остановились на простом варианте: если человек одет в красную футболку, система его игнорирует. В будущем разработчики планируют заменить этот алгоритм на более элегантный.

Экономический эффект этого изменения трудно выделить на фоне постоянно проводящихся в магазине маркетинговых акций, но, когда количество подключенных к системе торговых точек вырастет хотя бы до пяти, рассчитать полученную выгоду станет гораздо проще.

Сценарий «очередь у касс» полностью оправдывает свое название. Если нейросеть обнаруживает, что в зоне выдачи товара и касс количество покупателей превысило норму, она снова отправляет специальный алерт, призывая консультантов на помощь. Как и в первом случае, разработчикам пока не удалось определить, какое влияние это нововведение оказывает на среднюю выручку магазина. Сейчас это одна из основных задач, которая находится в стадии решения.

Подобный информационный продукт принято называть «теплокартами», хотя правильнее было бы использовать термин «фоновая картограмма».

Имея на руках подобную картограмму, можно изучать поведенческие модели покупателей, оценивать удобство расположения стеллажей с разными группами товаров, выбирать места для размещения рекламных материалов, а при необходимости перераспределять потоки покупателей так, как этого требуют текущие маркетинговые цели.

Уже сейчас создаваемая системой картограмма полна, подробна и постоянно обновляется, что делает ее мощным инструментом развития магазина. В конце марта 2021 года разработчики планируют начать ее использовать для анализа торгового пространства и управления продажами.

Фото: «М.Видео-Эльдорадо».

Простое непростое внедрение

Несмотря на то, что изначально хотелось, чтобы процесс внедрения системы в конкретном магазине отнимал минимум времени и сил, легким этот путь не был. Прежде всего выяснилось, что на пилотной площадке, оснащенной стандартным комплектом видеокамер, полно слепых зон. Какое-то время пришлось потратить на дооснащение магазина недостающими камерами и регулировку углов обзора уже существующих для максимально полного покрытия всех помещений. Отдельно много усилий потребовалось чтобы привязать картинки с камер к планограмме.

На этом этапе стало понятно, что тиражировать внедрение в том виде, в котором оно было выполнено впервые силами самих разработчиков, не имеет экономического смысла. Для этого пришлось бы нанимать армию специалистов, которые несколько лет катались бы из магазина в магазин, раз за разом настраивая и привязывая все вручную.

Вместо этого в компании пошли другим путем. Сейчас создана типовая инструкция, подходящая для любого магазина, с помощью которой персонал сможет самостоятельно выполнить перенастройку камер.

На следующем этапе, когда требуется выполнить привязку в планограмме, сотрудники будут просто выполнять ряд несложных измерений по трем точкам и загружать полученные данные через веб-портал. Сейчас команда проекта заканчивает разработку инструмента, который позволит выполнять все остальные этапы привязки в полностью автоматическом режиме. Это обеспечит компании быстрое и дешевое масштабирование проекта.

Как проект будет развиваться дальше?

Оценив потенциал видеоаналитики даже в том виде, в котором она уже существует, в компании принято решение значительно расширить рабочую группу проекта и в ближайшее время подключить к системе еще четыре магазина. После этого начнется новый, очень важный этап развития – внедрение мультикамерного трекинга.

Принципиально нарастить возможности видеоаналитики группе «М.Видео-Эльдорадо» поможет инструмент, с помощью которого планируется научиться отслеживать перемещение покупателей между зонами ответственности разных камер.

Простой пример: на входе в магазин система присваивает посетителю идентификатор, после чего отслеживает и сохраняет весь путь покупателя по магазину. Такая возможность позволяет реализовать гораздо более сложные аналитические сценарии.

Первым и самым очевидным сценарием будет надежная идентификация персонала торговой точки без необходимости контролировать цвет их футболок. Если носитель конкретного идентификатора находится в магазине несколько часов подряд, очевидно, что это сотрудник.

Не секрет, что трафик торговых точек измеряется количеством посетителей, в то время как с маркетинговой точки зрения гораздо более ценным было бы учитывать в расчетах семью как единого покупателя. Это позволит, среди прочего, точнее рассчитывать конверсию посещений в продажи, средний чек и другие важные характеристики магазина, сезона, времени суток и пр. Появятся возможности для выстраивания поведенческой аналитики, что также принесет компании ценные бизнес-выводы.

Сейчас работа над проектом ведется очень активно. Разработчики надеются, что совсем скоро они смогут рассказать о новых интересных результатах, наблюдениях и инсайтах.

Retail.ru