Arenadata Catalog: построение отчётности по показателям Data Governance

Встроенные в Arenadata Catalog (ADC) диаграммы позволяют быстро взглянуть на типовой список метрик. Они доступны непосредственно из меню «Аналитика» в интерфейсе продукта (рис. 1).

Каталог данных может содержать информацию о десятках тысяч объектов метаданных и других данных, с которыми работают десятки пользователей. В этой статье разберём насущный вопрос, каким способом можно взглянуть на эти показатели в комплексе и таким образом контролировать процессы Data Governance.

В крупных организациях возможностей и гибкости встроенной аналитики может быть недостаточно. Насущной задачей для директора по работе с данными становится выбор простого способа проанализировать накопленные в каталоге данных и наглядно отобразить необходимые показатели и KPI. Наиболее удобный вариант — визуализация в специализированном программном обеспечении BI.

Подключив внешний BI-инструмент к внутренней базе Arenadata Catalog, пользователь получит возможности по отображению на привычных дашбордах любой аналитики по объектам каталога, визуализации достижения поставленных KPI и управлению прогрессом Data Governance в динамике. Например, специалист по качеству данных может оценивать ежедневный прогресс в выполнении тестов качества данных, определять их суммарное количество, фильтровать параметры выполнения и полученные результаты. Директор по данным — анализировать количество пользователей системы и выявлять самых активных. Дата-инженеру будет полезно видеть статус профилирования объектов, которые требуют особого внимания. Совокупность этих процессов назвали построением кастомизированной отчётности (рис. 2).

Возможности для подобного анализа практически не ограничены, ведь во внутреннем репозитории Arenadata Catalog хранится вся история данных, накопленных в организации. Архитектура продукта позволяет гибко подойти к построению визуализации, опираясь на принятые на предприятии стандарты и паттерны разработки BI. Чтобы подключить внешний BI, требуются совсем небольшие усилия дата-инженера. Витрина строится на основе служебных таблиц баз данных, а для построения и обновления данных может использоваться любой удобный способ, например базовый sql, процедуры, функции, airflow или nifi либо иные способы в соответствии с наличием той или иной экспертизы в организации.

В качестве примера, на демонстрационном стенде, мы создали витрину в соседней схеме той же базы данных и подключили к ней BI систему Superset (рис. 2). В промышленных же реализациях рекомендуем выносить витрину в отдельный инстанс СУБД. Это позволит снизить нагрузку на внутреннюю базу ADC и создать дополнительные возможности для масштабирования. Подобную интеграцию под силу выполнить дата-инженеру или BI-аналитику самостоятельно, специалисты DataCatalog готовы оказать при этом необходимую помощь и консультации.

Полезным сценарием выглядит каталогизация и описание в ADC созданных кастомных диаграмм (рис. 3).

Каталог данных Arenadata Catalog поддерживает широкий спектр BI, которые можно применить для отображения кастомизированной отчетности по показателям Data Governance. Среди поддерживаемых платформ иностранные, такие как Tableau, FineBI или Qlik, открытые платформы, например Superset, и российские Luxms BI, Visiology, «Форсайт». На момент публикации статьи ADC поддерживает более 15 популярных систем (рис. 4), и этот список регулярно расширяется, что позволяет пользователю выбрать любой из инструментов визуализации или сразу несколько.

Таким образом, предложенный способ разработки и визуализации кастомизированной отчётности — наиболее простой и удобный вариант комплексного анализа показателей Data Governance для средних и крупных организаций.