Arenadata Hyperwave: работа с геопространственными данными, новые функции безопасности и управления

Группа Arenadata представила новую версию гибридной платформы данных Arenadata Hyperwave (ADH). Релиз ADH 4.3.0 сфокусирован на расширении возможностей аналитики, повышении уровня безопасности и улучшении эксплуатационных характеристик.

В новой версии продукта добавлена поддержка Apache Sedona — расширения для работы с геоданными в Spark3. С его помощью пользователи смогут решать задачи пространственного анализа: определение вхождения объектов в заданную область, расчёт расстояний и маршрутов, агрегация данных по сетке координат. Эти функции востребованы в логистике и транспортных системах, градостроительстве, экологическом мониторинге, картографических сервисах, ритейле и телеком-инфраструктуре.

В состав Arenadata Hyperwave включены новые средства администрирования и обеспечения отказоустойчивости. Добавлен компонент Trino History Server для постоянного хранения истории выполнения запросов в Trino — федеративном аналитическом SQL-движке. Реализована поддержка режима высокой доступности для веб-интерфейса HUE с помощью компонента HAproxy, который обеспечивает балансировку нагрузки между несколькими экземплярами сервиса и автоматическое переключение при сбоях.

В релизе появились новые функции безопасности. В HUE реализована поддержка OpenBao/Vault для хранения чувствительных параметров конфигурации. Добавлена интеграция Spark Connect, протокола для удалённого подключения к кластерам Spark3, и многопользовательского шлюза Kyuubi, предоставляющая функциональность изоляции пользователей и аутентификации через LDAP и Kerberos. Кроме того, для Kyuubi внедрена поддержка аутентификации SPNEGO.

Александр Анисимов, технический руководитель продукта Arenadata Hyperwave: «Традиционно параллельно с развитием продукта мы закрываем вопросы безопасности кластеров — это критичное требование enterprise-сегмента. Помимо расширения возможностей сервисов по обеспечению централизованного управления секретами, апгрейды компонентов в рамках регулярного цикла развития платформы сопровождались масштабными проверками со стороны безопасности, были превентивно исправлены уязвимости, обнаруженные в опенсорс-библиотеках».

Расширены возможности работы с хранилищами данных: добавлена поддержка HBase в объектном хранилище Ozone, реализована активация Kerberos в кластерах с уже установленным Ozone без повторного развёртывания. ADB Spark Connector теперь поддерживает Greengage DB 7, что позволяет обеспечить высокоскоростной обмен данными между Spark и новейшей версией Arenadata DB (ADB).

Выполнено обновление компонентов Arenadata Hyperwave, добавлена поддержка Java 11 и Java 25, а также российской операционной системы Astra Linux 1.8. Внедрён режим обслуживания на уровне хостов с возможностью отключения сервисов на отдельных узлах.

Вместе с Arenadata Hyperwave обновлена подсистема безопасности Arenadata Platform Security. Релиз 2.2.0 включает обновление версий сервисов, совместимость с Astra Linux 1.8, а также возможность установки преднастроенного кластера с помощью ADCM Wizard и поддержку SSL для сервиса Arenadata Monitoring.

Полный список изменений версии Arenadata Hyperwave 4.3.0.
Полный список изменений версии Arenadata Platform Security 2.2.0.

Возможности Arenadata Hyperwave

Arenadata Hyperwave (ADH) — универсальная платформа на основе open source компонентов и проприетарных решений, предназначенная для хранения, обработки и анализа данных вне зависимости от их структуры и объёма. ADH предоставляет набор инструментов и сервисов для реализации современных паттернов — от Data Lake до Lakehouse и Data Mesh.

Решаемые задачи:
• хранение, обработка больших объёмов структурированных и неструктурированных данных любого типа (системы управления документами и контентом, хранение и регистрация событий, данные датчиков, каталоги товаров, резервное копирование других СУБД);
• распределённая обработка информации;
• построение озёр данных, lakehouse и data mesh (единый центр всех данных компании, быстрое развёртывание и сворачивание «песочниц» для пилотных проектов и проверки статистических гипотез, работа с аналитическими инструментами в единой среде);
• машинное обучение и искусственный интеллект;
• импортозамещение и разгрузка систем зарубежных вендоров.

На Arenadata Hyperwave получено свидетельство о государственной регистрации программы для ЭВМ. Продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных, а также в реестр системы сертификации средств защиты информации по требованиям безопасности информации.