Во время преобразования данных (ETL, ELT) часть ценной информации оказывается потерянной или повреждённой. Такое происходит достаточно часто при сложных преобразованиях. Для быстрого поиска ошибки достаточно предоставить дата-инженеру информацию о связях между данными, о их происхождении от источника до потребителя, включая все промежуточные стадии трансформации.

В Arenadata Catalog связи между источниками данных формируются автоматически, для неочевидных случаев пользователь может связать данные вручную. Для отслеживания и редактирования происхождения данных создано графовое представление, с возможностью создавать связь не только между источниками данных, но и указывать на конкретные атрибуты.

Продвинутые пользователи Arenadata Catalog положительно оценивают возможность создавать собственные проверки качества данных, используя SQL-запросы в едином интерфейсе программы.

При оценке качества данных часть атрибутов помечается как обязательные для заполнения. Например, при проверке карточки клиента, номер его телефона и адрес электронной почты обязателен для заполнения, а адрес проживания требуется не всегда.

При запуске теста качества Arenadata Catalog выявит все записи о клиентах, где эти данные внесены не полностью либо внесены с ошибками, например, адреса электронной почты клиента не соответствует принятому формату. Опираясь на эту проверку, руководитель отдела продаж, запуская рекламную кампанию, будет уверен, что все клиенты получат рекламные сообщения по электронной почте или телефону.

Показатель, который определяет, нет ли в источниках ненужных дублей и копий. Контроль уникальности является наиболее важным в борьбе за качество.

ADC позволяет настроить загрузку данных из источника с профилированием, считывающую как уникальные, так и пустые значения. Эту проверку можно настроить по расписанию либо запускать по мере необходимости. Результаты каждой проверки наглядно видны в интерфейсе Arenadata Catalog. Более того, отчеты интегрируются по API с внешними системами.

Позволяют обеспечить точный анализ, который, в свою очередь, помогает менеджменту организации принимать верные бизнес-решения, не допускать ошибок в подготовке корпоративной отчетности и разработке стратегии развития организации.

Достоверные и полные данные нужны не только людям. Даже такие распространенные цифровые сервисы, как голосовые помощники, проходят обучение на массивах информации. Результаты работы более сложных инструментов, таких как машинное обучение и искусственный интеллект, также зависят от достоверности используемой ими информации. Таким образом контроль и управление качеством данных оказывает решающее значение на точность бизнес-аналитики, правильность сделанных на ее базе управленческих решений и на результаты работы цифровых сервисов.

Только достоверные и полные данные могут обеспечить точный анализ, который, в свою очередь, помогает принимать надежные бизнес-решения.

Arenadata Catalog

Функциональность | Качество данных