v. 1.0.0

16.04.2025

✦ ADC

Домены и дата-продукты

Домены помогают разложить активы по бизнес-областям, отделам или зонам ответственности. Дата-продукты — представить данные как понятные, описанные и поддерживаемые сущности для использования. Доменное владение упрощает навигацию по каталогу, делает владение данными явным и поддерживает децентрализованную модель управления, где каждая область отвечает за качество, безопасность и сопровождение своих данных.

Дата-продукт — это не просто набор объектов, а упакованный актив данных с назначением, описанием, владельцем, метаданными и понятным способом потребления. Такой подход делает данные более обнаружимыми, понятными и пригодными для повторного использования в аналитике, интеграциях и AI-сценариях.

В интерфейсе системы Arenadata Catalog для пользователя доступно осуществить выбор домена для применения глобальной фильтрации объектов системы. Если осуществить выбор определенного домена, то в разделах "Обзор" и "Глоссарий" для пользователя будут доступны для поиска и взаимодействия только те объекты, которые включены в выбранный домен.

Arenadata Catalog предлагает полноценно ввести в системе сущности доменов и дата-продуктов:

Определять владельцев,
Описывать,
Производить разметку классификаторами,
Управлять доступом,
Кастомизировать, расширяя атрибутивный состав,
Использовать кастомные связи для создания связей с объектами системы.

Управление сущностями происходит в разделе «Домены». Подробнее - в пользовательской документации Домены и дата-продукты.

Сертификация объектов каталога

Уровень сертификации и рейтинг объекта являются дополнительными инструментами для пользователей системы, которые используются для обеспечения контроля актуальности, качества, полноты ведения объектов каталога. В метриках расчета сертификации участвует, в том числе, пользовательская оценка, благодаря чему потребители данных могут оперативно отзываться о качестве используемого объекта.

Функциональность сертификации обеспечивает быстрое переопределение рейтинга и уровня сертификации объекта, немедленно реагируя на вносимые изменения в его карточку. А возможность пользовательской настройки данной функциональности позволяет подстраивать механизм расчетов под индивидуальные потребности организаций.

Для релиза 1.0.0 необходимо в настройках в разделе "Сертификация" нажать кнопку "Сохранить и обновить" для инициации автоматического расчета рейтинга и определения уровня сертификации.

Подробнее - в пользовательской документации Сертификация объектов каталога.

Data Quality

В Arenadata Catalog появилась возможность расширять алгоритмы проверок через интерфейс системы. При запуске тестов качества данных будут использоваться заложенные в алгоритмах настройки.

В разделе "Качество данных" пользователь может управлять алгоритмами: просматривать и редактировать существующие, создавать новые и удалять неактуальные.

Data lineage

В релизе 1.0.0 обновлен пользовательский интерфейс взаимодействия с происхождением данных объекта.

Определение типа lineage и выбор режима просмотра.

В ADC теперь доступно определить тип lineage: Детальный или Обзорный.
Выбор режима просмотра происхождения данных позволяет управлять возможностями просмотра объектов на диаграмме визуализации в зависимости от потребностей пользователей в детализированном или высокоуровневом происхождении данных объекта.

Архивация потоков происхождения и выбор режима просмотра.

Доступно мягко удалять потоки происхождения, скрывая их в режиме просмотра активных потоков для просмотра исторической информации о связях происхождения объектов.

Экспорт S2T-файла с настроенным представлением происхождения данных.

Настроив представление на диаграмме происхождения, пользователю теперь доступно сформировать и экспортировать S2T-файл.

В S2T-файле можно получить дополнительную информацию:

О примененной фильтрации;
О примененном режиме отображения активных/архивных потоков;
О примененном режиме отображения типа lineage;
О примененном режиме просмотра качества данных.

Поиск

Теперь доступно осуществлять поиск по таким объектам, как:

Хранимые процедуры SQL;
Модели данных BI;
Схемы баз данных;
Базы данных.

Каталог данных

Кастомизация карточек объектов каталога.

Возможности кастомизации объектов каталога теперь реализованы через единый механизм. Для кастомизации доступно использовать все атрибуты Реестра атрибутов.

Обзор

Обновлен дизайн раздела.

Настройка представления объектов.

В режиме просмотра "Таблица" для объектов доступна пользовательская настройка отображения состава столбцов, благодаря чему представление подстраивается под потребности пользователей системы.

Настройка меню вкладок типов объектов.

Доступна пользовательская настройка порядка вкладок левого бокового меню.

Сохранение глобальных настроек представления.

Администратор может отредактировать состав и порядок вкладок типов объектов, применить фильтры, отредактировать состав колонок в табличном представлении, сохранив новые настройки, как глобальные. Пользователю будет доступно глобальное представление администратора, а также управление представлением и сохранение своего личного.

Осуществление фильтрации по значениям кастомных атрибутов.

Объекты выбранного типа доступно отфильтровывать по значениям атрибутов.

Приоритетное отображение пользовательского описания в случае наличия.

Управление процессами и Управление загрузками

Новые разделы системы.

В ADC в настройках доступны разделы "Управление процессами" и "Управление загрузками".

В разделе "Управление процессами" можно управлять процессами системы, такими как: импорт объектов, экспорт объектов, групповое обновление объектов, переиндексация, обновление типа объекта глоссария/каталога, перерасчет сертификации.

В разделе "Управление загрузками" можно управлять созданными DAG Airflow в едином месте.

Настройки системы

Обновление раздела Настройки.

В разделе упорядочен список подразделов;
Раздел "Типы объектов" переименован в "Конфигурация карточек";
Раздел "Email" переименован в "Почтовый сервер"
Блок "Пользовательские атрибуты" исключен в связи с трансформацией кастомизации карточек объектов каталога: Очередей сообщений, Дашбордов, Конвейеров, ML-моделей, Контейнеров;
Раздел "Поиск" поглощен разделом "Управление процессами";
Раздел "Администраторы" объединен с разделом "Пользователи";
Раздел "Отчет аналитики" объединен с разделом "Аналитика".

Лицензирование пользователей

Метрика пользователи-редакторы.

Раздел "Пользователи" обновил дизайн пользовательского представления. Кроме того, появился счетчик количества созданных пользователей-редакторов в системе, благодаря чему доступно отслеживать задействованное количество редакторов.

Возможности по отслеживанию метрики будут развиваться в следующих релизах.

Политики доступа

Добавлена поисковая строка для регистронезависимого поиска политик доступа по частичному и полному совпадению.

Бизнес-глоссарий

Теперь при сворачивании и разворачивании связей на вкладке "Визуализация связей" корректно отображаются элементы "+" и "-" на соответствующих кнопках.

Добавлена возможность редактирования заполнения кастомных атрибутов в карточках пользователя и команды, открытых в разделе "Глоссарий".

В UI Airflow доступно настроить конфигурацию для автоматического связывания объектов глоссария и колонок объектов каталога данных по полному соответствию наименования и частичному соответствию технического наименования.

Импорт

Отправка объектов глоссария на публикацию.

Доступно отправить импортированные объекты глоссария на публикацию из раздела "Импорт".

Управление задачами

Обсуждение объекта

Теперь в карточке объекта в истории версий появилась возможность просмотреть обсуждение, которое велось в рамках задачи на согласование данного объекта. Из карточки задачи также появилась возможность просмотреть комментарии из карточки самого объекта.

✦ DQF

Интеграция Реестра проверок DQF с ADС для выполнения расширенных проверок качества данных

С релиза v1.0.0 доступно создание группы правил для таблицы из ADC в интерфейсе ADC.DQF, используя все доступные правила из ADC.DQF. В интерфейсе ADC будет возможно просмотреть статус выполнения теста, и, по завершении выполнения теста, получить агрегированный результат.
Детализированный отчет по результатам будет доступен в ADC.DQF "Планировщик задач".

Поддержка дозапросов данных в формате XML

Расширены возможности дозапросов данных – помимо HTTP, GraphQL, JDBC-запросов появилась возможность дозапросов данных в формате XML с использованием протокола SOAP. Дозапрос данных осуществляется в рамках базового алгоритма «HTTP запрос», необходимо указать соответствующие заголовки, тело сообщения, а также указать что ожидается результат в формате XML. Полученные данные будут преобразованы в JSON и могут быть использованы в следующих шагах правила.

Расширены возможности настройки правил для строк: поддержка функций uppercase, lowercase, replaceAll, replaceFirst, replaceLast

Доступна возможность привести строковые значения к верхнему или нижнему регистру, а также заменить конкретный набор символов или подстроку, определяемую регулярным выражением, на указанное значение. Таким образом можно удалить из строки лишние символы или комбинации символов, привести сравниваемые строки к одинаковому регистру для осуществления более точных проверок качества данных.

Доступна возможность указать описание для правила и группы правил

Поддержан российский провайдер аутентификации Avanpost, сертифицированный ФСТЭК

Совершенствование продукта ADC.DQF

Доступна возможность настройки ролей через интерфейс Arenadata Catalog.

Изменен интерфейс: поддержан фирменный стиль Arenadata Catalog, исправлено отображение неподдерживаемых алгоритмов.

Переименованы результаты проверок в «Успех», «Ошибка» и «Прервано».

Настроена возможность записи событий аудита в файл лога.

Проведены работы по оптимизации.

✦ AI DS

Агент описания таблиц и колонок таблиц.

В Arenadata Catalog доступна генерация пользовательских описаний таблиц и колонок таблиц с помощью агента генерации описания.

Доступно генерировать пользовательские описания таблиц как по единичному FQN, так и по массиву значений, в ускоренном виде, не теряя качества, предлагая заполнение описания для большого количества объектов в виде заявок на изменение для вынесения решения по ним ответственным пользователем.

Агент классификации данных.

В Arenadata Catalog доступна генерация разметки таблиц и колонок таблиц потенциальными классификаторами с помощью агента генерации разметки.

С помощью агента доступна генерация гипотез по разметке классификаторами для объектов каталога, которые создаются в виде заявок на изменение для вынесения решения по ним ответственным пользователем.

Совершенствование продукта ADC

Модуль сохранения в S3 включен в дистрибутив ADC.

В тайтле вкладки в браузере отображается полное наименование объекта и тип объекта.

Изменен дизайн системных оповещений.

Обновлен Apache Airflow до версии 2.11.

Оптимизирована нагрузка на базу данных при многопоточном импорте объектов глоссария.

Для Luxms BI изменен алгоритм формирования "name" дашбордов.

Оптимизация продукта

Бизнес-глоссарий:

Добавленные в тип объекта пользовательские атрибуты корректно отображаются в карточке объекта этого типа;
При сохранении представления корректно отображается заданное наименование представления;
Оптимизировано раскрытие содержания колонок в случае наличия длинного значения;
Оптимизировано отображение незаполненных полей в карточке объекта глоссария;
В фильтре на вкладке "Визуализация связей" объекта глоссария теперь корректно отображаются типы связей;
Корректное сохранение заполнения атрибута в карточке предметной области;
Оптимизирован поиск по полному наименованию объекта для создания связи;
Оптимизировано отображение связанных объектов каталога на вкладке "Визуализация связи";
Оптимизировано заполнение карточки предметной области кастомными атрибутами;
История версий объекта глоссария открывается теперь без ошибок;
Поиск стал динамическим в соответствующих полях в типе объекта при добавлении правил ввода и их зависимостей для атрибутов;
Оптимизировано отображение наименования глоссария в шапке раздела "Глоссарий";
Оптимизировано сохранение настроек представления объектов глоссария с корректным сохранением наименования представления;
Ошибка при редактировании правил ввода при добавлении нового атрибута в тип объекта больше не возникает;
Оптимизирована ширина строк таблицы с представлением объектов глоссария при клике рядом с чекбоксом для выбора объекта;
Оптимизировано отображение заданных правил ввода в карточке объекта глоссария;
Оптимизировано отображение текста ошибки при добавлении правила ввода после использования стилей из маркдауна в карточке объекта глоссария: текст ошибки отображается в виде обычного текста;
Оптимизировано поведение при заполнении поля атрибута "Математическая формула" с символом "-";
Оптимизировано отображение выбранных пользователей в модальном окне при заполнении поля "Стюарды" в карточке объекта глоссария;
Ошибка в процессе согласования, приводящая к отправке объекта глоссария на согласование предыдущему владельцу объекта, больше не возникает;
Оптимизировано поведение: сохраненные изменения вкладок в типе объекта корректно отображаются у всех пользователей с доступом к объектам этого типа;
Изменения в типах объектов для политик доступа сохраняются корректно;
Оптимизировано отображение контента раздела "Реестр связей" при создании связи;
Оптимизировано поведение: корректно присутствует возможность скрыть длинный текст поля "Описания" в карточках предметной области/глоссария;
Оптимизирована возможность добавления типа объекта для фильтрации в представлении объектов глоссария;
Оптимизировано отображение компонентов стрелок для переключения типов объектов на UI в шапке представления объектов глоссария;
Оптимизировано отображение информации на странице с отчетом об ошибках при групповом удалении;
Оптимизировано отображение кнопки для сортировки по колонкам раздела Реестр типов связей;
Оптимизирован поиск значения справочника для создания связи с объектом глоссария в карточке объекта;
Оптимизировано поведение: при настройке представления объектов глоссария доступно корректно скрыть отображение колонки "Объект";
Оптимизировано отображение описания коробочных и кастомных типов связей в модальном окне выбора связи с объектом;
Оптимизировано отображение описания в карточке объекта глоссария;
Ссылка на связанный тест качества теперь корректно ведет в тест качесства;
В модальном окне выбора типа связи с объектом теперь локализовано описание коробочных типов связей и корректно отображается описание кастомных связей;
Оптимизировано отображение двух наименований типов связей на визуализации связей;
Оптимизирован вид фильтра по ролям в карточке команды;
Оптимизировано отображение связей с объектами в окне проверки при импорте объекта глоссария;
Ошибка при обращении к направленной связи при создании связи между объектами глоссария больше не возникает;
Исправлена ошибка, приводящая к возможности создания дубля по наименованию объекта глоссария с использованием нумератора в наименовании.

Сервисы:

После удаления сервиса теперь корректно открывается страница, объединяющая типы сервиса;
Оптимизирована установка соединения с Visiology v3 и построение lineage;
Оптимизировано построение lineage PXF для Oracle;
Оптимизировано построение автоматического lineage Fine BI от таблиц БД Postgres;
Оптимизирована загрузка профилирования для коннектора Postgres;
Ошибка при сканировании MSSQL-базы из-за схем с недопустимыми символами в имени больше не возникает;
Оптимизировано отображение колонок типа fixedstring в примерах данных;
Оптимизировано подтягивание владельцев и описаний дашбордов Superset;
Оптимизировано отображение преднастроенной информации модели данных в карточке дашбордов;
Оптимизирована настройка поведения кастомных атрибутов в типе объекта "Таблицы" на корректное поведение без возможности задать обязательность заполнения;
Оптимизирована загрузка примеров данных через коннектор Kafka;
Оптимизировано поведение при редактировании поколоночной связи для таблиц;
Оптимизирована установка соединения с Hive в части сохранения ввода пароля;
Ошибка при загрузке метаданных для Airflow из-за большого sql запроса больше не возникает;
Корректно импортируются представления коннектором Oracle, долгая работа загрузки при сканировании метаданных представлений исправлена;
Ошибка при открытии истории изменения топика очереди сообщений больше не возникает;
Ошибка загрузки метаданных дашбордов Power BI через PowerBI Local больше не возникает;
Оптимизирован импорт DAGs Airflow 2.6.3 и с использованием запуска по датасетам;
Оптимизировано подключение к S3 и загрузка метаданных;
Оптимизирована поддержка GSSAPI для интеграции с Kafka;
Оптимизирована загрузка метаданных дагов Airflow в Arenadata Catalog.

Data lineage:

Оптимизировано построение lineage с помощью импорта файла в систему;
Оптимизировано поведение: при редактировании описания связи между таблицами поколоночная связь не удаляется;
Оптимизировано поведение: при удалении поколоночной связи некорректное системное оповещение больше не отправляется;
Оптимизировано применение цветовой легенды для новых связей, построенных в интерфейсе системы;
Оптимизировано: при удалении связи между столбцами больше не удаляется описание связи между таблицами;
Оптимизировано поведение: при поиске на происхождении искомый столбец фокусно подсвечивается;
Оптимизирован поиск объектов при построении происхождения.

Конфигурация рабочего потока:

Оптимизирована отправка оповещений на указанную роль в настройке оповещений в конфигурации рабочего потока;
Исправлены ошибки, возникающие для пользователя в процессе согласования;
Оптимизировано отображение таблицы с конфигурациями на UI;
Корректное отображение автора задачи, отправленной на согласование ответственному;
Скорректирован текст ошибки при согласовании задачи пользователем, который не является участником согласования;
Оптимизировано отображение типов объектов при создании конфигурации.

Качество данных:

Оптимизировано отображение количества тестов качества данных в дашбордах;
Оптимизировано поведение при создании теста качества данных: на UI корректно отображается ограничение на кол-во символов в наименовании;
Оптимизировано обновление дополнительной информации теста качества данных: при присвоении владельца статус теста не сбрасывается;
Оптимизировано удаление связи с объектом глоссария со стороны теста качества данных;
Оптимизирована пагинация тестов качества данных в разделе "Качество данных";
Оптимизировано отображение кнопок взаимодействия с наборами тестов в соответствии с правами пользователя.

Обзор:

Оптимизирован поиск со спец. символами, фильтры и suggest-ы: регистронезависимые, работают по частичному совпадению по всем типам сущностей;
Оптимизировано: при удалении из карточки владельца он корректно не отображается в обзоре до переиндексации;
Оптимизировано отображение фильтров в расширенном поиске;
Оптимизирован поиск по полю "Синоним";
Оптимизировано поведение фильтра NOT IN в расширенном поиске: корректно отображаются соответствующие результаты поиска;
Оптимизирован поиск объектов с вводом символа "!" в поисковой запрос.

Общее:

Оптимизировано поведение: пользователя системы нельзя создать с указанием почты, которая уже зарегистрирована в системе для другого пользователя в другом регистре;
Оптимизировано поведение: при редактировании или удалении дефолтной политики система ADC работает корректно;
Поисковой помощник теперь работает корректно;
Скорректировано дублирование раздела GlossaryTermsWorkflowConfigs в Arenadata Catalog Apis;
При экспорте объектов файл экспорта корректно открывается без необходимости восстановления;
Ошибка при регистрации пользователей больше не возникает.

Импорт:

Оптимизировано создание/редактирование термина с символом "-" в наименовании и полном наименовании;
При импорте в случае возникновения ошибки корректно подтягивается наименование кастомного типа связи;
Оптимизировано отображение блоков компонентов на UI в разделе;
Ошибка при отмене процесса импорта больше не возникает;
Оптимизирован импорт объектов глоссария со связями с сервисами сообщений, конвейеров, хранилищ, баз данных, дашбордов.

Политики:

В соответствии с правами пользователя оптимизировано отображение возможных действий в карточках объектов системы;
Оптимизировано поведение: для администратора доступен раздел "Конфигурация рабочего потока";
Оптимизировано поведение: при отсутствии прав на объект корректно отображается информация об отсутствии прав;
Оптимизирована возможность удаления созданных объявлений пользователем;
Оптимизирован поиск по наименованию в списке ролей при добавлении в политику.

Типы объектов:

Изменение порядка атрибутов в типе объекта метаданных больше не вызывает ошибку;
Оптимизировано отображение атрибутов в типе объекта при создании правил ввода и зависимостей;
Оптимизирована работа механизма блокировки типа объекта глоссария.

Реестр справочников:

Оптимизированы возможности действий в разделе в соответствии с правами пользователя;
Оптимизировано отображение шапки таблицы справочников в интерфейсе системы;
Оптимизировано отображение компонента "Владелец" в карточке справочника.

Пользователи:

На вкладке "Мои данные" корректно отображается карточка справочника в случае, если пользователь является его владельцем;
Оптимизирован поиск пользователей в разделе;
В разделе "Пользователи" теперь корректно отображается display name.

Индексация:

Ошибка при переиндексации объектов глоссариев, таблиц больше не возникает;
Оптимизировано отображение количества проиндексированных объектов системы.

Карточки объектов каталога:

Оптимизировано обновление информации о созданных связях с объектами глоссария на вкладке "Связанные объекты" при создании связи и без последующего обновления страницы;
Оптимизировано отображение истории версий хранимых процедур.

Настройки интерфейса:

Оптимизировано поведение: при сбросе настроек цветов элементы больше не выделяются некорректно.

Реестр типов связей:

Корректное отображение скроллера на странице.

Классификаторы:

Корректное выделение наименования классификации при ее выборе вне зависимости от наличия спец. символов в наименовании.

Файлы шаблонов:

Оптимизировано отображение кнопки "Загрузить в систему" в соответствии с правами пользователя в системе.

Обсуждения:

Оптимизирован поиск пользователей с точкой в наименовании при попытке упоминания пользователя.

Профиль пользователя:

Корректный переход в профиль пользователя из раздела "Роли" вкладка "Пользователи".

Оповещения:

Корректное отображение оповещений и пагинация в разделе.

Объявления:

Оптимизировано отображение блока даты в интерфейсе системы при создании нового объявления.

Заявки:

Локализован текст состояний согласований запросов на изменение.

Поиск:

Оптимизирована реиндексация объектов системы.