«АШАН» внедрил корпоративную ModelOps-платформу на открытых технологиях

Компания GlowByte завершила проект по внедрению корпоративной ModelOps-платформы на открытых технологиях в торговой сети «АШАН Ритейл Россия». Решение позволило специалистам Data Science создать среду для проектирования и ввода в промышленную эксплуатацию ML-моделей. 

«Скорость и точность – это необходимое условие конкурентоспособности компании на рынке розничной торговли. Совместно с GlowByte мы реализовали проект по созданию единой среды для работы с большими данными, которая позволяет управлять ML-моделями, написанными на любом языке, – прокомментировал Максим Строгий, IT-директор «АШАН Ритейл Россия». – Благодаря проекту мы повысили эффективность Big Data, внедрив прогнозные и рекомендательные модели на основе машинного обучения. Отмечу гибкость и надежность платформы – мы быстро смогли перестроиться и адаптироваться к работе на новом ПО».

При построении архитектуры платформы команды руководствовались принципами MLOps-подхода к разработке ML-моделей. Это набор практик и технологий, которые объединяют Machine Learning, DevOps, Data Engineering и Model Governance в единую методологию создания, внедрения и эксплуатации моделей машинного обучения. 

Платформа интегрирована с источниками данных ритейлера, развернута в VK Cloud и состоит из различных инструментов кластера Kubernetes. Это обеспечивает гибкость инструмента, эффективное управление имеющимися вычислительными ресурсами и быстрое масштабирование.

Система для хранения персистентных данных (GlusterFS + Heketi) развернута на отечественной операционной системе Astra Linux. ML-модели разрабатываются на языке Python посредством JupyterLab, а с помощью инструмента Gitlab CI/CD построен единый пайплайн вывода модели от стадии разработки до применения в продакшене. 

Жизненным циклом ML-моделей специалисты Data Science управляют посредством Open Source-платформы на основе MLFlow. Она позволяет проводить различные эксперименты – логировать метрики и параметры модели, принимать решения о ее внедрении, выполнять ретроспективный анализ процесса изменения метрик и моделей. В качестве оркестратора применения ML-моделей используется Airflow.

«Благодаря MLOps-платформе, внедренной в торговой сети «АШАН Ритейл Россия», все ML-модели теперь разрабатываются на основе единого шаблона и имеют стандартизированный пайплайн продуктивизации для регламентного предсказания и автоматического переобучения, – сказал Александр Кухтинов, руководитель практики ModelOps GlowByte. – Сейчас на платформе отработан процесс вывода Python-моделей, но в целом гибкость инструмента позволяет работать с любыми моделями, в том числе R, Java, C/C++. Тестовые запуски показали снижение как time-to-market, так и времени на поддержание и переобучение модели, а это значит, что у дата-сайентистов и IT-подразделения появится возможность для решения большего количества задач».