VK Cloud представила сервис для потоковой обработки данных

11 июня 2023, 05:46 🇷🇺 2 мин

VK Cloud запустила облачный сервис для потоковой обработки данных в режиме реального времени — Cloud Streams. Он работает на базе Arenadata Streaming и позволяет оперативно построить корпоративное хранилище данных, создать аналитические сервисы для обработки сотен сообщений в секунду и получать инсайты из неструктурированной информации.

Компании могут использовать Cloud Streams, чтобы создавать приложения для работы с потоковыми данными с помощью графического интерфейса и оперативно масштабировать ресурсы в облаке с учетом роста или снижения нагрузки. В VK Cloud всего парой кликов можно добавить в облачный кластер новые вычислительные мощности или отключить ненужные.

Cloud Streams может получать и обрабатывать данные из корпоративных и разрозненных внешних систем, хранить их в течение заданного периода времени и возвращать пользователям с требуемой нагрузкой. Сервис также можно использовать как шину данных между корпоративными приложениями.

Сервис легко интегрировать с компонентами Cloud Big Data, со всеми управляемыми СУБД в VK Cloud, а также с инструментами Elasticsearch, Couchbase, Cassandra благодаря широкому набору API. Кроме того, Cloud Streams совместим с Arenadata Hadoop (на базе экосистемы сервисов Apache Hadoop) и Arenadata DB на базе Greenplum. Это позволяет построить комплексное решение для всех этапов работы с большими данными с помощью продуктов из реестра российского ПО.

В основе сервиса — брокер сообщений Apache Kafka и инструмент для автоматизации потоков данных Apache NiFi. Эти компоненты будут доступны пользователям Cloud Streams как управляемые сервисы. Kafka и NiFi — стандарты в построении систем для работы с большими массивами данных. Они позволяют реализовать обмен сообщениями между серверными приложениями и управлять потоками данных из разных источников.

«Cloud Streams предоставляет компаниям стек технологий для обработки информации в режиме реального времени. Облачные сервисы позволяют быстро разворачивать необходимые инструменты и по клику управлять ресурсами при изменении нагрузки. Это актуально для компаний, работающих с большими объемами потоковых данных. Среди них, например, стриминговые сервисы, компании из финансового сектора, поставщики промышленных решений на базе интернета вещей. Решение построено на базе продуктов российского вендора — Arenadata — и находится в облаке VK Cloud, что обеспечивает повышенную защиту чувствительных данных», — комментирует, Михаил Тутаев, директор по продукту VK Cloud.
«Вместе с нашим партнёром VK Сloud мы предлагаем полностью российское решение для разнопрофильной работы с данными в облачной среде. Мы вкладываем значительные ресурсы в адаптацию наших программных продуктов, чтобы у заказчиков была возможность полноценно использовать ПО Arenadata в облаках. Уверен, что возможность быстро получить необходимые дата-сервисы в рамках единой отечественной cloud-платформы высоко оценят многие организации на нашем рынке», — комментирует Антон Чевычалов, директор по информационным технологиям Arenadata.

Подключение сервиса в VK Cloud позволяет компаниям выполнить требования к работе с персональными данными по стандартам 152-ФЗ вплоть до УЗ-1, а инструменты Cloud Streams для разграничения прав доступа пользователей к потокам данных помогут повысить защищенность решений.