Качество данных

Результаты нового опроса Anaconda показывают, что на очистку и подготовку данных они расходуют почти половину своего рабочего времени.

Сейчас правки в устаревшие фактические сведения — цифры, даты, имена, географические названия и т. п. — волонтеры вносят вручную.

Данные — топливо для систем искусственного интеллекта, сырье для аналитических алгоритмов и основа для систем автоматизации бизнес-процессов. Однако наивно ожидать, что данные изначально будут чистыми и пригодными для обработки, а если исходные данные некорректны, то и результаты будут соответствующими. Что можно сделать для устранения дефектов в данных? Как определить, что следует исправить, а что нет? Как узнать, когда надо устранить проблему, а когда лучше ничего не трогать? Иначе говоря: как управлять качеством данных?

Обсуждение «цифровизации» сегодня обычно вращается вокруг технологий больших данных, машинного обучения, прогнозной аналитики, но цифровизация — это не про технологии, а про управление данными, бизнес-модели и культуру работы с данными. Деньги бизнесу всегда приносили люди, а не технологии.

Применение методов исследования данных в процессах разработки ПО позволяет выиграть в конкурентной борьбе. Например, в программной инженерии получила распространение методика измерения характеристик программного обеспечения, однако без средств автоматизации невозможно разобраться в огромных массивах получаемых с помощью этой методики данных и учесть все их взаимозависимости.

Внедрение смарт-контрактов увеличивает прозрачность, скорость и детализацию принятия решений, а благодаря постоянной проверке данных повышается и качество решений.

В Москве прошла конференция «Качество данных 2020».

В торговой сети реализуется проект автоматизированной верификации информации, среди целей которого : повышение безопасности перевозок, сокращение хищений, обеспечение надежности поставок товара, выявление неблагонадежных водителей.

Без выполнения работ по нормативно-справочной информации невозможно обеспечить эффективную трансформацию материально-технического обеспечения компании, снизить запасы, сократить неликвиды и увеличить оборачиваемость ресурсов. Всего этого можно достигнуть с помощью тиражируемой системы для нормализации основных данных. Все подробности на конференции «Качество данных — 2020».

Без выполнения работ по нормативно-справочной информации нельзя обеспечить эффективную трансформацию материально-технического обеспечения компании, снизить запасы, сократить неликвиды и увеличить оборачиваемость ресурсов. Тиражируемая система для нормализации основных данных KPMG Normalization System for Master Data позволяет адаптироваться к используемым на предприятиях программным платформам и системам ERP, учитывать особенности организации бизнеса и ускорить нормализацию за счет исключения рутинных операций.

Универсальная платформа создания систем управления данными позволяет решать общие задачи обеспечения качества данных, их целостности и актуальности, а также настраивать систему для учета особенностей работы с корпоративными данными конкретного предприятия.

Цифровая трансформация требует переосмысления понятия «данные» и подходов к их управлению — достижению этих целей служит руководство «DAMA-DMBOK: Свод знаний по управлению данными».

Эффективное применение технологий машинного обучения для работы с текстами невозможно без средств предварительного семантического анализа, которые в будущем должны использоваться при подготовке и разметке обучающих выборок.

«Выпас данных» — так можно перевести название новой специальности data wrangling, в задачу представителей которой входит подготовка больших массивов данных для последующего их анализа.