SberCloud объявил о масштабном обновлении ML Space

Поставщик облачных услуг компания SberCloud (входит в экосистему Сбера) расширила возможности ML Space — платформы для совместной ML-разработки полного цикла, работающей на базе суперкомпьютера «Кристофари».

Кроме использования предустановленных в ML Space библиотек и фреймворков, пользователи облачной платформы получили возможность загружать и запускать собственные Docker-образы в специальном хранилище Docker registry, которое также доступно для совместной работы. А удаленный доступ по ssh позволяет отлаживать необходимые процессы как с персонального компьютера, так и из терминала привычного ПО (Jupyter Notebook или JupyterLab). Функциональные возможности Docker registry при работе с пользовательскими Docker-образами и возможность ssh-доступа позволяют обучать на платформе любые модели.

Еще одним новым обновлением платформы стал модуль DataHub. Разработчикам и дата-сайентистам стали доступны предобученные модели, дата-сеты (специально подготовленные наборы данных) и контейнеры*, хранящиеся в DataHub. Пользователям ML Space больше не нужно тратить время на поиск и скачивание моделей, дата-сетов, docker-контейнеров из внешних источников, проверять их EULA (пользовательское соглашение) и отсутствие в них вирусов. Если клиенту ML Space нужны дата-сеты, модели и контейнеры для решения AI-задач, то специалисты SberCloud сами найдут и разместят их в DataHub.

Так, например, модели GPT-3 на 760 млн и 1,3 млрд доступны в DataHub с заготовленными скриптами для дообучения и развертывания на высокопроизводительной инфраструктуре SberCloud. А самую большую языковую модель в мире — GPT-3 (13 млрд параметров), которой еще нет в открытом доступе, можно развернуть в DataHub ML Space в несколько кликов.

Также в новом модуле доступна подборка специальных контейнеров NVIDIA NGC (NeMo, RAPIDS и др.), адаптированных для использования в ML Space и решения задач обработки естественного языка (NLP), компьютерного зрения (CV), работы с данными (ETL), развертывания ML-моделей в облаке и многих других кейсов. Популярный контейнер Transfer Learning Toolkit будет доступен уже в июне 2021 в новой версии DataHub. В бета-версии DataHub весь контент — дата-сеты, модели, контейнеры доступен абсолютно бесплатно.

С появлением новой функциональности ML Space при разработке продуктов с использованием машинного обучения больше не требуются дополнительные DevOps инженеры и привлеченные администраторы вычислительной инфраструктуры, что упрощает, ускоряет и демократизирует разработку AI-продуктов.

Пользователям ML Space доступна совместная работа на всех этапах ML-разработки, гибкий выбор инфраструктуры: CPU, GPU и возможность запуска распределенного машинного обучения до 1000+ GPU Tesla v100 суперкомпьютера «Кристофари».

ML Space уже активно используется как экосистемой Сбера, так крупными коммерческими компаниями, стартапами, а также научными организациями.

На прошедшей в Москве конференции для разработчиков SmartDev были представлены последние клиентские кейсы компаний:

• Aitarget Tech — обучение модели на ML Space для автоматизированного создания и масштабирования рекламных креативов;
• EORA — решение задачи Kaggle по сопоставлению фотографий на платформе ML Space;
• SberDevices — распределенное обучение в ML Space для моделей-трансформеров GPT-3;
• GetTransfer — обучение модели для предсказания match-сделки между клиентом и водителем, с использованием библиотеки LightAutoML и платформы ML Space;
• группа компаний ЦРТ — технологии и API для решения задач речевой аналитики в сложных акустических условиях.

Обновление ML Space делает ML-разработку еще более доступной. Сегодня компания SberCloud предлагает самые низкие цены — на российском и международном рынках — от 3 руб. за 1 GPU/мин и 0.12 руб. за 1 СPU/мин обучения и препроцессинга, а также 0.06 руб. за 1 GPU/сек за развертывание моделей на «Кристофари». Оплата осуществляется по модели — Pay as you go.

Ранее, в рамках конференции для разработчиков SmartDev SberCloud также объявила о расширении возможностей SberCloud ML Space за счет применения открытой, кросс-архитектурной модели программирования oneAPI, что позволяет разработчикам эффективно использовать возможности различных архитектур, включая популярные процессоры Intel Xeon, без изменения кода для каждой аппаратной платформы.

Генеральный директор SberCloud Eвгений Колбин: «Наша облачная платформа ML Space, использующая ресурсы самого мощного российского суперкомпьютера «Кристофари», была запущена всего 5 месяцев назад, но уже сейчас мы видим, насколько это мощный, высокотехнологичный и при этом доступный инструмент для разработки AI-сервисов».