VK открывает доступ к инструментам анализа больших данных

Фото: cloud.vk.comСервис Cloud Spark позволяет сократить до 60% стоимости вычислительных ресурсов при работе с большими данными за счет автоматического масштабирования Kubernetes в зависимости от текущей нагрузки. Он обеспечивает распределенную пакетную и потоковую обработку неструктурированных и слабоструктурированных данных из разных источников. За счет оптимизации и кэшированию в памяти, сервис выполняет аналитические запросы к данным практически любого объема.

С его помощью можно оперативно и с минимальными затратами на инфраструктуру решать задачи Data Science и аналитики, в том числе проводить разведочный анализ данных (EDA), а также обучать модели машинного обучения на данных компании. Все пользователи также могут управлять сервисом из любого удобного окружения, в том числе с локального компьютера и из JupyterHub, за счет встроенной клиентской библиотеки.

Cloud Spark развернут на базе управляемого сервиса Kubernetes от VK Cloud, который позволяет автоматически масштабировать и сокращать вычислительные ресурсы в зависимости от текущей нагрузки. Таким образом, компания может гибко управлять и оптимизировать затраты на сервис, экономя до 60% стоимости инфраструктуры.

«Облачный сервис Cloud Spark делает технологии корпоративного уровня доступными для компаний любого размера. Бизнес получает масштабируемый инструмент для работы с большими данными без необходимости самостоятельно запускать, настраивать и администрировать Spark или Kubernetes», — отмечает Александр Волынский, технический менеджер продукта VK Cloud.