v. 0.8.5

25.11.2025

Бизнес-глоссарий

Теперь фильтры, уникальные для типа, объект которого создан в глоссарии, деактивируются при переключении между типами объектов.

При деактивации они не влияют на тот тип объекта, который выбран для настройки представления объектов глоссария, и доступны для удаления.

В представлении объектов глоссария атрибуты со значениями в виде других объектов системы теперь отображаются с двумя наименованиями: коротким и полным.

В файле экспорта данные атрибуты представлены в виде двух колонок: колонки с коротким и полным наименованиями.

Данная доработка позволила привести к единому и полному виду представление объектов глоссария в интерфейсе системы и в файле экспорта в части отображения информации о связанных объектах.

Внутри типа объекта глоссария теперь доступно настроить необходимость уникального заполнения отдельных атрибутов.

Полный список доступных атрибутов представлен в документации — Настройка уникальности заполнения полей в типе объекта глоссария

Благодаря новой функциональности появилась возможность предупреждения возникновения дублей значений атрибутов объектов глоссария, если требуется предусматривать их уникальность.

Настройка уникальности заполнения значения атрибута проверяется при создании объекта через форму создания в интерфейсе системы, посредством API-запроса и посредством импорта файла в систему.

Внутри типа объекта глоссария теперь доступно настроить необходимость согласования значений отдельных атрибутов.

При активной настройке необходимости согласования объект глоссарий, в случае обновления значения атрибута, должен пройти процесс согласования. Если согласование для атрибута не требуется, изменение значений атрибута не будет изменять статус объекта глоссария и вызывать необходимость запуска процесса согласования. Более подробная информация представлена в документации —Настройка необходимости согласования значений атрибутов

Благодаря новой функциональности облегчен процесс ведения бизнес-глоссария в части согласования изменений объектов глоссария.

Заданная настройка будет применима при обновлении значений атрибутов объекта глоссария в интерфейсе системы, посредством API-запроса и посредством импорта файла в систему.

При множественном выборе объектов глоссария теперь доступен счетчик количества выбранных объектов.

Доступно экспортировать настроенную диаграмму визуализации в двух форматах: svg, png

Теперь на визуализации связи группируются по типу.

Доступен параллельный импорт объектов глоссария для нескольких пользователей одновременно, осуществляющих импорт объектов глоссария в систему ADC посредством загрузки файла.

В разделе Глоссарий уменьшена шапка таблицы атрибутов представления объектов глоссария.

Качество данных

Возможность сохранения детализированных результатов тестов качества данных.

Функционал Data Quality ADC предоставляет возможности сохранения результатов проверок качества данных в соответствии с задачами пользователя: это может быть историческое хранилище для фиксации ошибочных строк и проведения дальнейшего анализа по изучению деталей ошибок, доступно сохранить данные в формате csv и прочих форматах для дальнейшей работы с ними, а также данные по результатам могут поступать в Jira для заведения специфических задач по исправлению ошибок.

С ADC доступно анализировать данные как прошедшие проверку качества успешно, так и неуспешно. Результаты проверок передаются ADC в Apache Kafka, откуда пользователи могут самостоятельно забрать данные, используя подходящее для собственных целей ПО.

Сохранение результатов доступно для коробочных тестов качества данных, проводимых для контроля качества столбцов таблиц баз данных:

«Длина значения столбца должна быть в диапазоне»;
«Значения столбца должны быть в диапазоне»;
«Значения столбца должны соответствовать набору»;
«Значения столбца не должны соответствовать набору»;
«Значения столбца не должны быть нулевыми»;
«Значения столбца должны быть уникальными»;
«Значения столбцов должны соответствовать регулярному выражению»;
«Значения столбцов не должны соответствовать регулярному выражению».

А также для пользовательских SQL-тестов, но с исключениями:

поддерживается возможность сохранения только ошибочных строк;
подходят тесты стратегии ROWS (тип теста качества данных, который проверяет каждую строку таблицы на соответствие заданному правилу).

При создании теста в конфигурации заполняются параметры для указания хранения ошибочных строк:

Количество прошедших проверку;
Количество не прошедшие проверку;

Более подробная информация представлена в документации — Сохранение результатов тестов качества данных

Обновлены виджеты тестов качества данных. Добавлена возможность фильтрации по статусу теста качества данных в карточках объектов глоссария и таблиц, в разделе «Качество данных» на вкладке «Тесты».

Возможность фильтрации по статусам тестов качества позволяет проводить аналитику по тестам в разрезе статусов и в разрезе общего числа созданных тестов.

Data lineage

В релизе 0.8.5 вышли крупные обновления функционала Data lineage в системе ADC, направленные на улучшение удобства работы с диаграммами происхождения данных, а также на развитие функционала Data lineage.

Доступен режим просмотра качества данных, при просмотре которого информация о результатах тестов качества данных отображается на элементах диаграммы визуализации происхождения данных.

Данный режим позволяет отследить влияние качества данных на связанные объекты, использующие эти данные. Режим наглядно демонстрирует зависимость качества данных в data lineage.

Если объект имеет проваленные тесты качества данных, то для него добавляется влияние на все связанные целевые потоки.

Для диаграммы визуализации происхождения данных обновлены возможности поиска.

В выпадающем списке представлены только те объекты первого и второго уровня, которые присутствуют на визуализации. При клике на значение из списка, для удобства теперь выделяются и подсвечиваются выбранные объекты второго уровня, а также связи, созданные между объектами второго уровня.

Объекты типов Хранимая процедура и Конвейер могут быть добавлены в качестве атрибута потока происхождения, если требуется описать связь между объектами — как данные переходят из одного объекта в другой. При добавлении атрибута потока информация о нем будет доступна по нажатию на иконку на соответствующем потоке.

Данная функциональность позволяет описывать процесс происхождения данных любой сложности, без визуального отягощения обилием объектов.

Доступен режим просмотра детальной информации. В этом режиме для объектов на визуализации доступен просмотр объектов второго уровня. Кроме того, при переходе в режим редактирования, доступно создание связи между объектами второго уровня, что позволяет наглядно и точно отобразить происхождение конкретных полей объектов.

Для диаграммы визуализации происхождения данных теперь доступна фильтрация объектов.

Несколько фильтров возможно объединять между собой с условием И, а значения внутри одного фильтра работают с условием ИЛИ.

Ограничение на максимальную глубину просмотра по потоку снято. Теперь пользователю доступно подгрузить объекты в соответствии с пользовательской настройкой.

При настройке глубины по потоку обратите внимание, что большое количество объектов будет влиять на общую производительность браузера.

Доступно выгрузить настроенную визуализацию диаграммы происхождения в двух форматах: svg, png.

Потоки происхождения теперь доступно скрыть прямо на диаграмме визуализации.

Каталог данных

В карточке схемы баз данных для ER-диаграммы теперь доступен экспорт в двух форматах: png, svg.

Совершенствование продукта

Добавлен коннектор Polymatica Dashboards;
Добавлен коннектор Greengage;
Проведена оптимизация процесса индексации: оптимизация индексирования объектов с множеством связей, оптимизирована структура хранения объектов в индексе.

Оптимизация продукта

Бизнес-глоссарий:

Оптимизирована возможность ввода формулы расчета в карточке объекта глоссария в значении атрибута;
Оптимизировано отображение объектов глоссария при просмотре в представлении с выбором предметной области, в том числе - при выборе родительской;
Оптимизирована работа фильтров при использовании нескольких фильтров для фильтрации объектов глоссария;
Оптимизировано обновление FQN объекта глоссария при обновлении объекта глоссария посредством файла импорта;
Оптимизирован текст ошибки при отправке объекта глоссария на согласование;
Оптимизировано обновление объектов: в файл экспорта объекта попадает актуальное наименование;
Оптимизировано поведение: в представление объектов глоссария фильтры по типам объектов глоссария добавляются в панель фильтров корректно;
Оптимизирован поиск и сортировка результатов в модальном окне выбора объектов для связывания;
Оптимизировано отображение наименования объекта с нумератором в наименовании в модальном окне выбора объекта для связывания;
Оптимизировано поведение: при обновлении полного наименования глоссария/предметной области объекты глоссария доступны в представлении объектов глоссария;
Оптимизирована сортировка в представлении объектов глоссария по атрибутам;
Оптимизирована диаграмма визуализации связей: связи с объектами каталога отображаются корректно;
Оптимизировано отображение таблиц в описание объектов глоссария;
Оптимизирован выбор объектов в представлении объектов глоссария: чекбокс работает корректно;
Оптимизировано отображение атрибутов в выпадающем списке при создании требования к заполнению;
Оптимизировано отображение выбранных пользователей в качестве стюарда в модальном окне выбора пользователя;
Оптимизирована возможность изменения порядка фильтров в общем представлении объектов глоссария;
Оптимизирован поиск в фильтре в представлении объектов глоссария;
Оптимизировано соответствие фильтров атрибутам объектов глоссария в общем представлении объектов глоссария;
Оптимизировано отображение наименований объектов глоссария в модальном окне при настройке связи;
Оптимизирована возможность настройки пользовательского интерфейса раздела Глоссарий с помощью drag-and-drop;
Оптимизирована работа фильтра на вкладке "Визуализация связей";
Оптимизирована фильтрация объектов с большим количеством связей;

Сервисы:

Оптимизирована загрузка lineage для pxf-таблиц Oracle;
Оптимизирована работа коннектора Hive: ошибка при импорте метаданных не возникает;
Оптимизировано построение lineage для коннектора Superset;
Оптимизирована подключение и загрузка метаданных Foresight.

Импорт:

Оптимизировано поведение: некорректное изменение полного наименования при импорте объектов глоссария больше не происходит;
Оптимизирован импорт объектов глоссария со связью с объектами каталога данных: для подобных объектов ошибка при импорте больше не возникает;
Оптимизирован импорт записей справочника: ошибка при импорте подобных объектов больше не возникает;
Оптимизировано поведение: файл ошибок, возникших при импорте, заполняет корректно в соответствии со структурой файла и экспортируется из системы корректно;
Оптимизировано поведение: импорт проходит корректно при обновлении отдельных значений атрибутов объекта глоссария;
Оптимизирована работа фильтра: при импорте объектов глоссария с незаполненными обязательными полями проверка отрабатывает корректно.

Конфигурация рабочего потока:

При отправке объекта глоссария на согласование с вводом длинного комментария, поле комментария теперь отображается корректно;
Оптимизирован текст ошибки при отправке на согласование объекта глоссария;
Оптимизирована смена статуса объекта глоссария в представлении объектов глоссария при согласовании;
Оптимизировано отображение таблицы созданных конфигураций в системе при скролле.

Качество данных:

Оптимизирована возможность переключения страниц cо списком тестов качества данных при фильтрации и поиске;
Оптимизирован тест качества «Наименование столбцов таблицы соответствует набору» в части правила ввода наименований столбцов;

Карточки объектов каталога данных:

Оптимизировано отображение и возможность удаления пользовательских атрибутов;
Локализована ошибка сохранения дублирующегося SQL-запроса на вкладке «Запросы».

Обзор:

Оптимизирована работа условия «NOT IN» в фильтре расширенного поиска в разделе «Обзор»;
Оптимизирована работа фильтра по категории классификатора.

Общее:

При авторизации больше не всплывает ошибка «type не должен быть null»;
Раскрывающийся список пользователей и команд системы для назначения владельца раскрывается корректно.

Индексация:

Оптимизирован процесс индексации — ошибка больше не возникает.

Поиск:

Оптимизирована возможность поиска таблиц со спец. символом в наименовании;
Оптимизирован поиск объектов глоссария;
Оптимизирован счетчик объектов при применении фильтров в разделе "Обзор".

Ролевая модель:

Исправлена ошибка: при назначении нескольких ролей одному пользователю, роли теперь дополняют права пользователя на полномочия в системе.

Интерфейс:

Оптимизирована иконка и текст ошибки, возникающей при нахождении пользователя в интерфейсе системы в процессе обновление системы.

Бот:

Для коробочной роли «Бот загрузки метаданных» оптимизирован состав и настройка политик доступы в рамках ролевой модели.

Команды:

Оптимизирована возможность создания команды с разрешенными спец. символами в наименовании.

Заявки на изменение:

Оптимизирован процесс принятия заявки на изменение пользовательского описания схемы: ошибка больше не возникает.

Пользователи:

Оптимизировано отображение пользователей в общем списке: окончательно удаленных пользователей в списке нет.

Data lineage:

Оптимизировано удаление поколоночного lineage.

Профиль пользователя:

Оптимизировано отображение контейнеров в списке "Мои подписки", если пользователь является подписчиком объекта;
Оптимизирована работа фильтра "Статус" на вкладке "Мои задачи".

Реестр справочников:

Оптимизирован выбор атрибутов для назначения главным: базовые больше не попадают в список возможных для назначения.