Для крупных финансовых организаций аналитическая отчетность — это одновременно и инструмент управления бизнесом, и обязательная часть регуляторных требований. В одном из ведущих банков страны работа с данными ведется в очень больших масштабах: объемы на уровне десятков петабайт, зрелые практики управления данными, включая data governance и data quality, а также архитектурный контроль их оборота.
На этом фоне руководство банка поставило практическую задачу: обеспечить устойчивую, производительную и управляемую платформу для аналитических витрин и отчетности. Она необходима как для получения точной отчетности для регуляторов и внутренних потребителей, так и для реализации аналитических сценариев, где допустимы приближенные расчеты, например, в маркетинге.
В статье расскажем, как крупный системообразующий банк внедрил ПАК «Боцман Клик» на базе ClickHouse для аналитической отчетности. Разбираем задачи проекта, миграцию с Oracle Exadata, сложности интеграции, вопросы резервного копирования и полученные результаты.
Задачи проекта
Проект внедрения ПАКа «Боцман Клик» строился вокруг прикладных потребностей, а не просто замены ради самой замены. Команде требовалось перевести часть отчетов и витрин, ранее работавших на машинах Oracle Exadata, в контур ClickHouse именно там, где решаются аналитические задачи. Важно было ускорить и stabilизировать формирование отчетности на больших объемах данных, а также перейти к промышленной модели эксплуатации, когда масштабирование, сопровождение и ответственность за результат не вызывали бы никаких сложностей.
Отдельный пласт задач был связан с встраиванием решения в банковскую ИТ-среду. Предстояло интегрировать аналитические инструменты со служебными сервисами, мониторингом, журналированием, ИБ-системами и, что не менее значимо, оптимизировать процессы миграции, резервного копирования и восстановления.
Еще одним практическим направлением стало многоуровневое хранение информации и ее корректная обработка в целевой архитектуре, поскольку это напрямую влияет на экономику хранения и эксплуатационную устойчивость.
Проект был нацелен не на количественное замещение оборудования Oracle Exadata, а на развитие конкретных бизнес-сценариев аналитической отчетности.
ClickHouse как инструмент для банковской аналитики
ClickHouse — колоночная СУБД, спроектированная для онлайн-аналитической обработки, то есть запросов со сложными вычислениями, фильтрами и агрегациями над очень большими наборами данных. В официальной документации продукта прямо отмечается, что в колоночной архитектуре при выполнении запроса система читает с диска только те столбцы, которые действительно нужны, а операции над столбцами, такие как фильтрация и агрегирование, выполняются значительно быстрее, чем в строковых базах данных. Для банковских витрин это означает практичную выгоду: отчеты, где используются далеко не все поля «широких» таблиц, получают ускорение за счет снижения лишних операций ввода-вывода и лучшего использования ресурсов.
Еще одно следствие колоночного подхода — эффективное сжатие данных, что особенно важно при масштабах, измеряемых петабайтами, когда стоимость хранения и скорость чтения становятся критичными параметрами. Наконец, ClickHouse хорошо «ложится» на кластерную модель: производительность и емкость наращиваются добавлением узлов и перераспределением данных, что позволяет поддерживать «органический рост» аналитического контура. Имеются механизмы, которые помогают обменивать точность на производительность там, где это допустимо, например, в отдельных агрегатных функциях или при работе с выборками, что в реальном банке удобно для сочетания строгой отчетности и исследовательской аналитики в одном технологическом стеке.
СУБД ClickHouse не позиционируется как база для транзакционного процессинга: ее сильная сторона — аналитика и отчетность, где обрабатываются миллиарды строк и важна скорость получения ответа.
Почему ПАК, а не «самосбор»
До закупки ПАКа заказчик уже использовал «ванильную» версию ClickHouse на стандартном оборудовании, и этот этап позволил подтвердить правильность выбора аналитической СУБД. Однако по мере роста нагрузки и требований к эксплуатации заказчик пришел к выводу, что дальнейшее развитие стоит строить на более «упакованном» решении, где заранее согласованы и проверены компоненты, а поддержка устроена как единый сервис.
Формат программно-аппаратного комплекса снижает типичный риск сложных корпоративных внедрений, когда в инциденте или узком месте участвуют разные поставщики и ответственность «разъезжается» между ними. С ПАКом клиент получает единое окно для сопровождения и развития, а также предсказуемую эксплуатационную основу. Дополнительным аргументом стала практика подбора конфигурации под конкретную нагрузку, когда целевые запросы анализируются, и сайзинг делается не по справочнику, а под реальные сценарии отчетности.
ПАК «Боцман Клик»
ПАК «Боцман Клик» — это программно-аппаратное решение для управления и организации аналитических витрин и эффективной эксплуатации кластеров ClickHouse. С подобной моделью запуск и сопровождение упрощаются за счет уже созданной, протестированной и апробированной среды, которая работает прямо «из коробки», имеет понятные процедуры технической поддержки и дорожную карту.
Разработчиком ПАКа заявлены функции и характеристики, важные для корпоративного сегмента: прогнозируемая масштабируемость, оттестированная среда, инструменты администрирования, мониторинга и управления, а также снижение времени, которое уходит на запуск и обслуживание. На уровне эксплуатации описываются такие возможности, как управление составом кластера, сопровождение ZooKeeper-операторов, изменение числа узлов и перераспределение данных, а также обеспечение безопасного взаимодействия компонентов. В качестве отдельных преимуществ производитель выделяет шифрование компонентов через mTLS, модернизацию управления ZooKeeper, биллинг потребляемых ресурсов и интеграцию с системами журналирования и SIEM. ПАК «Боцман Клик» включен в реестр отечественного ПО и сертифицирован ФСТЭК России.
Реализация проекта
Отбор и закупка
В 2023 году команда заказчика приступила к изучению рынка ПАК-решений, ориентированных на ClickHouse, и провела конкурс. «Боцман Клик» выглядел предпочтительнее альтернативы благодаря совокупности функциональных возможностей. Закупку инициировали в конце того же года, а активная фаза поставок и ввода оборудования пришлась на 2024 год; инсталляция оборудования была завершена к маю 2024 года.
Масштаб внедрения
В банк были поставлены три программно-аппаратных комплекса, каждый из которых включает одиннадцать серверов. В составе одного комплекса предусмотрены три управляющих сервера и восемь серверов данных, на которых работает СУБД ClickHouse. Перед выходом в промышленный контур решение «обкатывали» в тестовой среде, адаптировали прикладные компоненты и настройки, чтобы использовать возможности платформы максимально эффективно.
Переход в промышленную эксплуатацию
В промышленный контур ПАК перевели в декабре 2024 года. Сегодня решение находится в эксплуатации, отдельные нюансы выявляются в процессе и последовательно устраняются.
Сложности проекта и их преодоление
Самыми «чувствительными» моментами оказались вопросы миграции и восстановления данных. Первая попытка восстановления была неудачной, а успешный результат потребовал совместной работы команды банка и поддержки ПАКа, включая значительную долю ручных операций.
Дополнительным фактором была жесткость технологического окна, в которое нужно было уложиться. В дальнейшем подход к резервному копированию переработали и оптимизировали так, чтобы надежно попадать в регламент. Отдельной сложностью на старте стала работа многоуровневой инфраструктуры хранения. Изначально сценарий тиринга не заработал в планируемом виде, и на его исправление ушло порядка полугода. После доработки функционала заказчик пересмотрел практики разметки данных и резервного копирования с учетом S3-совместимого слоя, чтобы обеспечить предсказуемость восстановления и экономику хранения.
Третьим блоком стали интеграции в корпоративную среду банка. Для промышленной эксплуатации потребовалось установить и настроить служебные утилиты и подключиться к внутренним сервисам, в том числе контурам журналирования и другим инфраструктурным компонентам. Эта работа заняла время, но была доведена до положительного результата.
Результаты и эффект
Результаты проекта можно разделить на два направления. Во-первых, заказчик отмечает рост производительности ClickHouse-контуров за счет архитектуры и сайзинга, подобранных под конкретные запросы и профиль нагрузки. Во-вторых, эксплуатация стала более управляемой за счет «единого окна» поддержки, что снижает затраты времени при поиске границ ответственности и ускоряет путь к исправлению проблемы.
Планы на будущее
Проект создал основу для дальнейшего наращивания мощностей. Заказчик планирует масштабировать его на 25%, в том числе через увеличение числа узлов обработки данных в составе каждого комплекса.