Главная / Функциональность / Качество данных

Качество данных

Достоверные и полные данные нужны не только людям. Даже такие распространённые цифровые сервисы, как голосовые помощники, проходят обучение на массивах информации. Результаты работы более сложных инструментов, таких как машинное обучение и искусственный интеллект, также зависят от достоверности используемой ими информации.

Таким образом контроль и управление качеством данных оказывает решающее значение на точность бизнес-аналитики, правильность сделанных на её базе управленческих решений и на результаты работы цифровых сервисов.

Только достоверные и полные данные могут обеспечить точный анализ, который, в свою очередь, помогает принимать надёжные бизнес-решения.

Позволяют обеспечить точный анализ, который, в свою очередь, помогает менеджменту организации принимать верные бизнес-решения, не допускать ошибок в подготовке корпоративной отчётности и разработке стратегии развития организации.

Организации, применяющие Arenadata Catalog, получают консолидированное представление о качестве корпоративных данных, оценивают показатели качества в динамике, используя как встроенные проверки, так и путём создания алгоритмов проверки качества различной глубины и сложности.

Эту проверку можно настроить по расписанию либо запускать по мере необходимости.

Результаты каждой проверки наглядно видны в интерфейсе Arenadata Catalog. Более того, отчёты интегрируются по API с внешними системами.

Показатель, который определяет, нет ли в источниках ненужных дублей и копий. Контроль уникальности является наиболее важным в борьбе за качество.

ADC позволяет настроить загрузку данных из источника с профилированием, считывающую как уникальные, так и пустые значения.

Уникальность данных

Опираясь на эту проверку, руководитель отдела продаж, запуская рекламную кампанию, будет уверен, что все клиенты получат рекламные сообщения по электронной почте или телефону.

При оценке качества данных часть атрибутов помечается как обязательные для заполнения. Например, при проверке карточки клиента, номер его телефона и адрес электронной почты обязателен для заполнения, а адрес проживания требуется не всегда.

При запуске теста качества Arenadata Catalog выявит все записи о клиентах, где эти данные внесены не полностью либо внесены с ошибками, например, адреса электронной почты клиента не соответствует принятому формату.

Полнота, точность
и валидация данных

В Arenadata Catalog связи между источниками данных формируются автоматически, для неочевидных случаев пользователь может связать данные вручную.

Для отслеживания и редактирования происхождения данных создано графовое представление, с возможностью создавать связь не только между источниками данных, но и указывать на конкретные атрибуты.

Во время преобразования данных (ETL, ELT) часть ценной информации оказывается потерянной или повреждённой. Такое происходит достаточно часто при сложных преобразованиях.

Для быстрого поиска ошибки достаточно предоставить дата-инженеру информацию о связях между данными, о их происхождении от источника до потребителя, включая все промежуточные стадии трансформации.

В Arenadata Catalog связи между источниками данных формируются автоматически, для неочевидных случаев пользователь может связать данные вручную.