Бесплатно ли качество данных?

Data Governance – неотъемлемый элемент любой современной компании, желающей быстро и создавать качественные data-продукты. После проведения исследования в компании «Интерлизинг» стало ясно, что одна из ключевых проблем – низкое качество данных, проявляющееся в неконсистентности данных внутренних информационных систем, в несоответствии данных и бизнес-процессов, в ошибках в карточках клиентов и предметах лизинга. Все это мешало созданию качественной операционной и управленческой отчетности и собственной модели вероятного дефолта, а также порождало проблемы при передаче данных во внешние компании (Национальное бюро кредитных историй и пр.). Требовалось разработать процесс управления качеством данных и внедрить соответствующий инструмент. Выбор пал на OpenSource-систему Openmetadata. Доклад посвящен обсуждению особенностей управления данными в лизинге, конкретного подхода к обеспечению качества данных, а также проблем промышленной эксплуатации выбранного инструмента. Особое внимание уделено анализу результатов внедрения и его подводных камнях, влияющих, как правило на скорость ввода в эксплуатацию и на итоговую стоимость «бесплатного» инструмента.

Метаданные – основа управления качеством данных

Управление данными включает несколько связанных друг с другом направлений: MDM, DQ, управление метаданными, архитектура, DWH и BI, Data Governance и т.д. При этом сложно одинаково эффективно управлять каждым из этих направлений тем, например качество данных проверяется в системах, конвейерах, витринах и в отчетности. Однако, имея описание всех этих элементов на всех уровнях метаданных (техническом, логическом, операционном) можно выстроить комплексное управление качеством данных на всем их жизненном цикле. Доклад посвящен обсуждению роли управления метаданными в обеспечении качества данных – с чего начать и какие шаги нужны для реализации стратегии управления метаданными.

Качество данных: от желаний к реализации

Доклад посвящен анализу практики управления качеством данных, начиная от формирования требований и заканчивая процессом инцидент-менеджмента. Особое внимание уделено обсуждению метрики качества данных и ответу на вопрос: как найти баланс между превентивными и реактивными контролями?

Кто и как обеспечивает «здоровье» данных

Здоровье данных – ключевой аспект успешного бизнеса современных компаний, обеспечивающий возможность принятия взвешенных управленческих решений на основе достоверных и актуальных сведений, вне зависимости от того, кто их принимает: сотрудники или искусственный интеллект. Однако, сотрудников и моделей может быть много, уровень их компетенций и обученности может быть различным, что порождает проблемы при принятии решений, не говоря уже о том, что и инструментов, и разнородных данных в масштабах современного крупного розничного бизнеса очень много. В свою очередь требуемый уровень здоровья данных достигается и поддерживается только за счет непрерывной и комплексной работы по обеспечению их качества. Доклад посвящен обсуждению многолетнего опыта управления командой обеспечения качества данных в крупнейшей федеральной сети розничных магазинов: от появления ресурсного пула до стандартизации деятельности. Особое внимание уделено анализу особенностей решения актуальных практических задач: ключевые показатели эффективности и система мотивации, организация ежедневной работы, обеспечение взаимодействия с другими участниками жизненного цикла данных и пр.

Обеспечение качества данных: информационная безопасность

Изначальное предназначение любых проектов по информационной безопасности – решение задачи обеспечения целостности, доступности и конфиденциальности данных. И, конечно, качество данных, среди прочих факторов (дублирование, неактуальность, несогласованность, фрагментарность и пр.) зависит именно от того, насколько успешно решаются подобные задачи. Не были ли данные изменены злоумышленником? Имеют ли легитимные пользователи доступ к данным? В последнем случае качество последних вообще значения уже не имеет. Доклад посвящен «возврату к основам» решений по информационной безопасности, изначально предназначенных для предоставления легитимным пользователям своевременного доступа к данным с предоставлением гарантий исключения их искажения/недоступности либо с оперативным уведомлением о произошедшем инциденте и действиях по реагированию на него. Особое внимание уделено обсуждению конкретных примеров злонамеренного искажения данных.

Пилотируем Data Mesh: от нуля к единице

Меняются технологии, тенденции сменяют одна другую, но всегда актуальна потребность в доступных и качественных данных для аналитики. Парадигма Data Mesh, бурно обсуждаемая в мировом профессиональном сообществе в последние годы, предлагает удовлетворить эту потребность, но не дает готовых рекомендаций и руководств. Доклад посвящен обсуждению подхода к пилотированию и внедрению Data Mesh в корпорации, анализу различных аспектов децентрализованного управления аналитическими данными: ответственность за данные, понимание данных и их качество. Особое внимание уделено разбору минимально достаточного для Data Mesh инструментария.

Качество данных и системы гарантирования доходов

Цель любого бизнеса – получение дохода, минимизируя потери и неконтролируемые издержки. Система гарантирования доходов призвана обнаруживать несоответствия или расхождения данных и вовремя оповещать об этом персонал. Подобные системы могут встать в ряду основных систем-индикаторов для всей компании, позволяя четко и быстро выявлять проблемы с качеством данных, помогая предотвращать и оценивать потери для бизнеса. Как обеспечить качество данных? Как повышать доверие к данным? Сколько стоит проверка качества данных? Доклад посвящен ответам на эти и другие вопросы, а также обсуждению опыта формирования доменных подходов к данным и влияния системы гарантирования доходов на качество данных не только в пределах собственного домена, но и всех смежных доменов компании. Особое внимание уделено разбору процесса поиска проблем, связанных с качеством данных, а также анализу примеров расчета стоимости проверки качества.

Аналитика данных – основа антикризисного управления

Влияние аналитики на обеспечение стабильного роста компании в условиях быстро изменяющейся внешней среды трудно переоценить. Особенно важную роль аналитика играет в проектах антикризисного управления на складах площадью сотни тыс кв. м. Какие цели стояли на старте проекта и что было достигнуто по факту? Может ли продуктовый подход помочь при выполнении проекта? Доклад посвящен ответам на эти и другие вопросы. Особое внимание уделено обсуждению роли данных и аналитики в логистических проектах.

Контроль клиентских данных: сложности первых шагов внедрения

Каждая несчастливая семья несчастлива по-своему – примерно так можно охарактеризовать проекты решения общепонятной, на первый взгляд, проблемы обеспечения качества данных, успешное решение которой, однако, в каждом конкретном случае зависит от индивидуальных особенностей компании. Доклад посвящен анализу опыта разработки стратегии управления качеству данных с акцентом на решении прикладных задач на этапе старта проекта.

Сервис проверки качества данных для систем-источников

Особой популярностью в профессиональном сообществе сегодня пользуются истории про внедрение систем контроля качества данных – почти все уже умеют обеспечивать контроль на хранилищах, однако главные проблемы возникают при контроле систем-источников. Здесь надо провести согласования с владельцами данных, запланировать время на инсталляцию решения, уложившись в свободный квант с продуктовыми задачами и договориться со всеми потребителями данных. И когда все, наконец, получилось выясняется, что вышел новый регуляторный документ и все поменялось – можно начинать с начала. Решение есть – вместо контроля на источниках можно создать сервис валидации – DQFirewall, своеобразный контрольно-пропускной пункт, куда подключаются системы со своим дата-сетом, проверяемым в синхронном режиме. Вся тяжесть контроля и его поддержка лежит теперь на стороне сервиса, а система обеспечения качества на своей стороне выполняет вызов и обрабатывает ответ. Доклад посвящен обсуждению опыта создания и эксплуатации сервиса проверки качества данных для систем-источников. Особое внимание уделено разбору преимуществ, которые дает финансовым организациям такой простой и очевидный подход «наоборот».

Как аналитические модели помогают работать с обратной связью клиентов

Сегодня рынок становится все более клиентоцентричным – отслеживание и оценка клиентского опыта становится основным приоритетом бизнеса. Как компаниям реализовать клиентоцентричные стратегии? Как с помощью аналитических моделей выявить ключевые тематики негатива клиентов в огромном потоке обратной связи и сэкономить время на рутине? Конечно, технологии машинного обучения могут помочь сегодня в оптимизации работы с отзывами клиентов, но этого недостаточно. Как увеличить скорость поиска инсайтов в омниканальном опыте клиентов, минимизировав ресурсы на выявление ключевых причин негатива? Доклад посвящен ответам на эти и другие вопросы на основе анализа опыта «Альфа-Банка», реализовавшего полный цикл бизнес-процесса управления клиентским опытом. Особое внимание уделено обсуждению шагов по трансформации клиента-критика в союзника компании, а также рассмотрению разных типов качественных данных, которые могут помочь в улучшении опыта клиентов.

Моделирование, консолидация и очистка данных

Консолидация данных из разнородных источников, предусматривающая очистку, валидацию, обогащение, устранение дублирования и создание эталонных записей – сложная проблема, обычно решаемая с помощью различных инструментов. Однако, применение единой парадигмы онтологического моделирования позволяет решить все эти задачи в рамках одной программной системы. Доклад посвящен обсуждению подхода к решению проблемы консолидации данных, позволяющего в единой парадигме онтологического моделирования и в рамках одной программы управлять моделью, поступающими из различных источников данными и множеством правил их обработки.

Управление данными – от истоков до настоящего. Система КПЭ участников процессов управления данными

Как давно направление «Управление данными» – существует в мировой практике? Как оно развивалось: внедрение и вплетение в культуру отечественных организаций? Приведенный в докладе исторический экскурс дает возможность участникам мероприятия сопоставить свой собственный опыт реализации инициатив по управлению данными с общемировой практикой. Единое понимание стратегических целей и устремлений организации всеми вовлеченными сотрудниками – половина успеха, ведь именно от людей и их личного и профессионального вклада в ежедневную работу зависит эффективность решения задач на операционном уровне. Каким образом мотивировать сотрудников для участия в процессах управления данными и обеспечения их качества? Какие метрики применять для оценки достижения результата при внедрении практик управления данными в организации? Как правильно совмещать стратегические цели организации с персональным целеполаганием владельцев данных, data stewards или архитекторов данных? Зависит ли матрица КПЭ от уровня зрелости процессов управления данными организации? Ответам на все эти вопросы посвящен доклад, подкрепленный практическими примерами.

Проверка данных методами статистического анализа

По мере расширения использования больших данных в системах искусственного интеллекта, компании приходят к печальному выводу – работа с беспорядочными данными низкого качества приносит лишь вред. Вместе с тем, проверка большого объема данных на полноту, актуальность и достоверность требует много ресурсов только для определения критериев качества, а коридор допустимых значений выбирается с большим запасом и обычно не учитывает индивидуальных особенностей объекта. Применение методов статистического анализа позволяет минимизировать затраты на проверку данных, получая при этом более точные результаты. Как измерить качество данных и обеспечить его регулярный мониторинг? Можно ли доверять данным и действительно ли они отражают реальное состояние дел в компании? Как настроить системный процесс по управлению качеством данных? Доклад посвящен ответам на эти и другие вопросы. Особое внимание уделено особенностям применения методов статистического анализа для проверки данных.

Управление мастер-данными в металлургии: процессы и инструмент

Сегодня все более востребованы системы управления нормативно-справочной информацией – значимость основных данных стала очевидна не только аналитикам, но и руководству предприятий и компаний. Как Трубная металлургическая компания пришла к решению использовать систему класса MDM? С какими особенностями внедрения столкнулась компания? Как выбранная система помогает решать задачи бизнеса? Почему MDM-системы становятся все популярнее именно в металлургической отрасли? Доклад посвящен ответам на эти и другие вопросы.

Построение платформы данных

Как прокачать свое корпоративное хранилище до полноценной платформы данных? Совместное выступление компаний «Р-Фарм» и Navicon посвящено обсуждению опыта построения и развертывания системы класса Management Information System. Особое внимание уделено вопросам консолидации данных с помощью MIS, анализу подходов data-команд к построению платформы данных и ответам на ряд других вопросов построения и эксплуатации платформы данных.

Важнейший инструмент в федеративной модели управления данными

С переходом компаний от стратегии заказной внешней разработки к внутренней продуктовой становится актуальным вопрос построения децентрализованной модели разработки в общих хранилищах данных. Как обеспечить высокий уровень качества данных и разработок над хранилищами в случае федеративной модели управления и разработки? Как не потерять контроль над процессами, одновременно предоставив пользователям гибкость и свободу? Доклад посвящен ответам на эти и другие вопросы. Особое внимание уделено разбору процесса и инструментов управления качеством данных – ключевых элементов федеративной модели управления данными.

Данные. Понять. Принять. Применить

На входных данных основывается принятие решений и выполнение любой производственной задачи – чем достовернее будут эти данные, тем меньше вероятность появления ошибочных управленческих решений. Основную часть данных можно оперативно добыть из корпоративных информационных систем, однако разные части этой информации хранятся и в разных форматах, и в разных системах. В докладе обсуждается методология работы с такими данными на основе онтологической модели. На примере проектов в нефтедобывающей отрасли показаны подходы и правила оценки достоверности информации, а также разбирается опыт применения соответствующих инструментов.

Повышение качества данных в эпоху self-service

В эпоху, где данные являются основой для принятия решений, их качество становится ключевым фактором успешного функционирования компаний. Недостоверные данные могут привести к ошибочным выводам и решениям, которые могут иметь серьезные последствия для бизнеса или функционирования организации. Для обеспечения точности и достоверности информации необходимо не только обучение сотрудников, соблюдение стандартов и процессов, поддержка актуальности данных, но и визуализация данных. Визуализация – мощный инструмент для анализа и интерпретации информации, позволяющий превратить сложные наборы разрозненных сведений в понятные, наглядные графики и диаграммы, помогающие выявлять закономерности, тенденции и взаимосвязи между данными для повышения эффективности процесса принятия решений. Путем визуализации можно выявить ошибки, аномалии и пропуски в данных, что способствует повышению качества данных и обеспечивает более точный и информативный анализ. Доклад посвящен обсуждению преимуществ систем визуализации данных, основанных на концепции Self-Service – возможности пользователям создавать собственные отчеты без обращения к ИТ-специалистам, что ускоряет процесс принятия решений и повышает эффективность работы.

Обеспечение сохранности и релевантности информации

Обеспечение качества данных – важнейшее направление деятельности любой организации, направленное на обеспечение гарантии того, что используемые в бизнес-процессах данные точны, полны и актуальны. Это помогает предотвращать ошибки в принятии решений, снизить риски возникновения проблем в работе компании и повысить производительность. Кроме этого, точные данные позволяют обеспечивать требования законодательства и нормативные акты в области защиты персональной информации. Существует множество угроз и рисков, способных привести к потере или изменению данных. Некоторые могут быть вызваны внешними факторами, такими как несанкционированный доступ, а другие – внутренними: ошибки персонала, технические сбои и пр. Доклад посвящен описанию решений, позволяющих компании построить многоуровневые системы проверки качества данных, используя гибкий инструмент для сокрытия конфиденциальной информации.

Как определить актуальную рыночную цену?

Определение актуальных рыночных цен на товары – одна из важнейших задач бизнеса, от успешного решения которой зависит успех процессов оптимизации закупок, выявления мошенничества, формирования прайс-листов, управления товарными запасами и т.п. Категорий товаров очень много, они по-разному описываются, номенклатура непрерывно меняется – все это усложняет задачу. Требуется систематизация и стандартизация номенклатуры товаров, интеграция с учетными системами и пр. Доклад посвящен обсуждению опыта решения задачи определения актуальной рыночной цены на конкретных примерах.

Качественный soft для качества данных

Что такое качественное ПО? Возможно ли качественное импортозамещение зарубежных MDM-систем? Может ли качество данных (DQ) и руководство данными (DG) работать вместе в одном продукте? Доклад посвящен обсуждению опыта создания и развертывания качественного ПО как для управления данными в целом, так и для обеспечения их качества, в частности. Особое внимание уделено культуре работы с данными и актуальным проблемам управления качеством данных, а также анализу практического опыта применения качественного ПО для управления качеством данных в промышленности.

Промышленные решения обеспечения качества данных

.

Компонентный подход к качеству данных

«Качество данных» – это не монолитная единая величина со значениями «0» или «1», а комплекс величин, каждая со своим происхождением, методами измерения, ценностью и влиянием. Разложим монолит на составляющие, посмотрим на них с разных сторон, оценим и подберем адекватные методы и инструменты для оценки, измерения, реагирования и информирования. А потом соберем обратно. Все это в докладе.

Ошибки, которые мы избегаем. Качество данных глазами пользователя

«А давайте не будем ломать бизнес-процессы, а просто соберем все наши данные `как есть`, а там решим, зачем и что с ними делать?» – не работает! «Срочно вручную правим сводные аналитические данные, чтобы они сошлись с учетными!» – постоянно продолжают возникать ошибки! «Хотим использовать `универсальный` инструмент для работы со всеми данными для решения всех бизнес-задач», – пользователи жалуются, что не могут быстро получить нужную информацию! Рассказ о том, с какими проблемами работы с данными сталкиваются бизнес-пользователи, и как научиться их решать при создании и модернизации информационных систем.

Инструменты искусственного интеллекта для обеспечения качества и достоверности основных данных

Современные продукты по управлению данными содержат в своем составе модуль Data Quality Management (DQM), механизмы которого, как правило, основаны на статичных правилах, запросах и проверках. В докладе рассматриваются возможности применения новых инструментов с использованием искусственного интеллекта для вариативных запросов, обеспечивающих качество данных. Особое внимание уделено обсуждению на конкретных примерах функционала нового модуля ИИ, включенного в состав решения «1С:MDM Управление нормативно-справочной информацией» 2.5.

Реализация моделей управления качеством данных

В современных условиях цифровизации и импортозамещения отечественные компании массово переходят на российское ПО. Успех подобных проектов миграции во многом зависит от эффективного решения проблемы обеспечения качества данных: миграция без потерь, устранение дублирования, очистка данных и пр. Доклад посвящен обсуждению реализованного в решении «1С:MDM Управление нормативно-справочной информацией» подхода, позволяющего удовлетворить спроса отечественных корпораций на создание моделей и систем управления качеством основных данных.

Качество медицинских записей: быть или не быть?

Доверие между врачами разных профилей основывается на признании результатов работы коллег и доверительном использовании полученных выводов – врачи обычно заново не проверяют все доказательства, которые были уже проведены коллегами. Однако, безусловное доверие к медицинским записям, образующим карту пациента в медицинском сообществе отсутствует – неконтролируемые риски искажения медицинской информации способны привести к ошибкам при принятии врачебных решений. Особенно остро эта проблема проявляется при масштабном использовании во врачебной практике систем ИИ, решения в которых принимаются исключительно на основе данных. С 1 февраля 2024 года вступают в силу предварительные национальные стандарты ПНСТ 847-2023 «Искусственный интеллект. Большие данные. Функциональные требования в отношении происхождения данных» и ПНСТ 848-2023 «Искусственный интеллект. Большие данные. Обзор и требования по обеспечению сохранности данных», в которых впервые введено понятие «происхождение данных». Поставщики данных будут теперь обязаны обеспечивать потребителей сведениями об историческом пути данных в соответствии с операциями их жизненного цикла. В докладе рассматриваются требования предварительных национальных стандартов применительно к задаче обеспечения доверия к медицинским данным.

Библиотека качества данных. Где хранить тесты?

Качество данных – ключевой фактор успеха бизнеса, однако для обеспечения предприятия качественными данными необходимо постоянно уделять внимание их описанию, структурированию и связке с ключевыми бизнес-сущностями. Создание «Библиотеки качества данных» позволяет избежать ошибок и упущений при проверке данных, упростить процесс тестирования и дает возможность отследить уровень качества данных по ключевым бизнес-объектам. Все это, в свою очередь, улучшит как качество данных, так и эффективность бизнес-процессов. Доклад посвящен обсуждению возможностей подобной библиотеки – инструмента организации совместной работы с данными в компаниях.

Искусственный интеллект для контроля качества данных

Развитие инструментов искусственного интеллекта, в том числе появление больших языковых моделей (LLM) открывает новые возможности для решения задач управления качеством данных. В докладе рассмотрены ключевые области управления качеством данных, для которых применимы инструменты искусственного интеллекта, а анализируются результаты экспериментов по использованию общедоступных LLM для идентификации ошибок в описаниях данных предприятий розничных сетей. Основное внимание уделено выводам о текущих возможностях и ограничениях LLM, а также условиях для повышения надежности результата их применения.