Статьи Arenadata Catalog

HeadHunter сделал каталог данных Arenadata Catalog рабочим инструментом для аналитиков и ИИ-агентов

Крупнейшая российская компания интернет-рекрутмента HeadHunter завершила проект по внедрению Arenadata Catalog (ADC) — отечественной системы управления корпоративными данными, которая помогает организациям выстраивать процессы Data Governance.

В результате каталог данных стал операционной системой для аналитиков, дата-инженеров и внутренних ИИ-сервисов. Сегодня через ADC проходят ключевые процессы поиска, описания и сопровождения данных, а также сценарии работы с искусственным интеллектом.

От собственного каталога к рыночному решению

Команда по работе с данными HeadHunter зафиксировала потребность в инструментах Data Governance ещё в 2022 году. Объём данных на платформе и число сотрудников постоянно росли, усложнялись аналитические задачи, и компании понадобилось единое пространство для работы пользователей.

На первом этапе HeadHunter развивал собственный каталог метаданных усилиями внутренней команды. Однако к 2024 году стало очевидно, что стратегию развития необходимо пересмотреть. Команда продолжила доработку внутреннего решения и параллельно начала оценивать зрелость продуктов на рынке.

Чтобы выбрать оптимальный вариант, в HeadHunter создали рабочую группу и подготовили сравнительную таблицу предлагаемых решений. В ней сравнивали open source и коммерческие решения. Ряд из них к этому моменту уже не был доступен в России, а часть продуктов не удовлетворяла команду из-за интерфейса, неудобного для бизнес-пользователей, отсутствия необходимого функционала и вендорской поддержки.
Когда мы поняли, что потребности в компании в дата-каталоге всё время растут, развивать свой продукт стало нерационально. В итоге экономически эффективнее оказалось взять решение с рынка.

Для нас было важно не только закрыть текущие потребности, но и выбрать решение с понятной перспективой развития.
СЕЛИМ АЛКАДАРСКИЙ,
руководитель направления Data Platform HeadHunter.
По итогам сравнительного анализа Arenadata Catalog оказался максимально близок к ожиданиям HeadHunter по функциональности и дорожной карте развития. Для компании это стало ключевым аргументом: нужен был инструмент, который будет развиваться синхронно с внутренним дата-ландшафтом.

Масштаб и охват корпоративного ландшафта данных

Активная фаза внедрения заняла около трёх месяцев. Проект команда HeadHunter реализовывала своими силами, точечно привлекая техническую поддержку Arenadata. После запуска каталог начали постепенно наполнять данными и продвигать внутри компании. Сначала к нему подключили аналитиков и технических пользователей, затем расширили использование: ADC стали применять для описания данных, поиска владельцев и навигации по взаимосвязям между объектами.

На текущий момент Arenadata Catalog покрывает ландшафт данных аналитического хранилища объёмом 5,8 ПБ. Дополнительно в систему загружены метаданные систем-источников суммарным объёмом около 40 ТБ, а также kafka-топики, которые помогают находить первоисточники таблиц и определять зоны ответственности за исправления. На практике это делает каталог удобной точкой входа в дата-ландшафт компании, где легче ориентироваться в структуре и связях между объектами.
Около 800 бизнес-пользователей объединены в 45 команд, среди которых около 100 активных пользователей каталога. Команды одновременно являются владельцами данных.

В системе:

  • описано 99 590 таблиц;
  • отсканировано 487 баз данных;
  • 1203 kafka-топика,
  • каталогизировано и автоматически обновляется информация о 405 Airflow DAG и 40 783 задачах Airflow.
Существенную часть каталога составляют объекты аналитического слоя хранилища:

  • в ADC отражены 1768 дашбордов,
  • описано более 200 KPI и бизнес-терминов.

Объекты помечаются кастомизируемыми классификаторами, число которых уже превысило 100.

Рабочий инструмент для аналитиков, инженеров и ИИ-сценариев

В HeadHunter каталог используют аналитики, технические специалисты и команды, отвечающие за качество данных. Аналитики обращаются к нему за описаниями таблиц, схем, колонок, терминов и метрик.

Технические специалисты просматривают информацию о владельцах, стюардах и связях между объектами. В процессах, связанных с качеством данных, каталог стал узловой точкой, через которую проходят алерты и назначение ответственных. На протяжении всего проекта DAU (количество уникальных активных пользователей за день) стабильно составляет более 30 сотрудников.

Есть и более прикладные сценарии использования. Если дата-инженерам нужно поставить задачу на переливку таблицы или kafka-топика в аналитическое хранилище, ссылка на соответствующий объект в каталоге теперь обязательна. Аналитики используют Arenadata Catalog для обмена описаниями метрик вместе со скриптом их подсчёта, что помогает поддерживать единую методологию в разных командах.

После того как в компании начали активнее развивать ИИ-сценарии, роль каталога усилилась. Документация теперь ведётся в отдельном репозитории в Git, после чего описания попадают в Arenadata Catalog. На этой основе в HeadHunter разработали MCP-сервер, который предоставляет ИИ-агентам доступ к метаданным, техническим описаниям и скриптам.

В этом смысле каталог работает уже не только на людей, но и на внутренние ИИ-сервисы. Накопленные в нём данные используются и в операционной деятельности, и как контекст для интеллектуальных сценариев, которые компания строит поверх своей дата-инфраструктуры.

Во внутреннем опросе HeadHunter:

  • 72% респондентов подтвердили, что регулярно используют Arenadata Catalog для поиска описаний таблиц, схем и колонок, то есть физической модели данных;
  • 48% обращаются к сведениям о владельцах и стюардах таблиц;
  • 40% используют описания терминов и метрик, что отражает профиль запросов бизнес-пользователей;
  • 28% просматривают лайнэйдж;
  • 24% открывают описания таблиц и колонок, к которым у них нет физического доступа.
Эти ответы показывают, что каталог используется в разных рабочих сценариях. Для HeadHunter он стал частью инфраструктуры, через которую проходят поиск, согласование, описание и сопровождение данных. Привычная роль Arenadata Catalog как справочника метаданных в практике HeadHunter трансформируется в полноценную командную операционную систему, где каждый артефакт — от таблицы до kafka-топика.
ИГОРЬ МОИСЕЕВ,
директор по развитию бизнеса DataCatalog (входит в Группу Arenadata.
2026-09-24 12:00