MWS Cloud запустила платформу хранения больших данных для обучения ИИ

MWS Cloud, входит в МТС Web Services, сообщает о запуске платформы для хранения и обработки данных — MWS Data Lakehouse. Платформа позволяет работать с любыми типами данных — структурированными, неструктурированными и векторными, что дает возможность создать единую среду для выполнения разного типа задач: от построения оперативных отчетов до обучения и инференса ML-моделей и LLM. Платформа позволяет на 40% экономичнее использовать хранилище за счет исключения дублирования данных между разными системами, в 2,5 раза увеличить эффективность работы обслуживающего персонала за счет централизации и автоматизации функций администрирования и в 2 раза сократить время расчетов аналитических витрин.

Платформа позволяет хранить и обрабатывать любые типы данных, такие как информация о продажах и заказах, спрос на товары и логистика, информация о платежах и предоставляемых услугах. Поверх платформы можно запустить инструменты для обучения и инференса ML и больших языковых моделей. К примеру, развернуть модель для прогнозирования спроса на товар исходя из накопившейся информации о продажах, или спрогнозировать процент возврата кредитов, или найти наиболее оптимальный маршрут поставок. Компания может развернуть как свои сервисы для работы с ИИ, так и использовать готовые MLOps-инструменты MWS.

MWS Data Lakehouse — Cloud Native платформа, которая позволяет независимо масштабировать слои хранения и вычислений, что дает возможность максимально эффективно использовать имеющиеся ресурсы и размещать в ней петабайты данных. В качестве инфраструктуры для развёртывания платформы могут использоваться различные решения, среди которых, Kubernetes, объектное S3 совместимое хранилище, что позволяет снизить затраты компаний на 40% в сравнении с размещением в классических DWH-хранилищах. В платформу также встроены инструменты централизации контроля доступа, аудита и шифрования, динамического маскирования чувствительных данных, которые полностью соответствуют современным требованиям информационной безопасности.

Платформа совместима с Greenplum и Postgres. Это позволяет заказчикам сохранить свои исторические активы, сократить цикл реализации проекта по миграции, а также снизить затраты и риски, связанные с переходом на новое решение.

Платформа обладает поддержкой широкого спектра данных, включая открытые форматы Apache Parquet и Iceberg. Система оптимизирована под разнообразные рабочие нагрузки: от SQL-запросов до задач машинного обучения. Для повышения эффективности предусмотрена возможность запускать параллельно несколько вычислительных кластеров под разные продуктовые команды, приложения и типы запросов без дублирования данных и дополнительной репликации.

Администрирование сервиса происходит через единый интерфейс, позволяющий централизованно управлять пользователями, кластерами и масштабированием. Поддерживается динамическое изменение ресурсов вычислительных кластеров, обеспечивая непрерывность работы и отсутствие простоев при масштабировании.

«Lakehouse в данный момент является самой передовой технологией для работы с данными в мире. Десятки тысяч западных компании уже используют ее для работы с BigData. MWS Data Lakehouse позволяет компаниям на 40% эффективнее хранить данные в сравнении с DWH и Data Lake, в 2 раза сократить время расчетов аналитических витрин и в 2,5 раза экономить время ИТ-специалистов за счет централизации и автоматизации функций администрирования. Архитектура платформы позволяет компаниям работать как со структурированными, так и с неструктурированными данными, что особенно важно для обучения и инференса моделей искусственного интеллекта. Это делает успешное внедрение ИИ в бизнес-процессы компании практически невозможным без использования платформы», — отметил CEO MWS Cloud, исполнительный директор МТС Web Services Игорь Зарубинский.

Платформа является частью комплекса сервисов MWS по работе с данными — MWS Data. Всего в него входит более 25 продуктов для хранения, обработки и трансформации данных, а также сервисы бизнес-аналитики и AI-агенты для работы с данными.