Конференция «Качество данных 2024»

Внедрение централизованной НСИ для 4000 организаций

Головным компаниям корпораций или производственных холдингов требуется качественная аналитика для принятия стратегических решений и контроля деятельности дочерних организаций. Однако, получить объективные данные сложно – «дочки» часто по-разному ведут учет, используют множество отраслевых и несогласованных справочников. Например, сводные отчеты могут содержать недостоверную или устаревшую информацию — непригодную для планирования. Доклад посвящен обсуждению возможностей централизованной системы НСИ для управления более 4 тыс. организаций, помогающей экономить и повышать качество данных для принятия взвешенных управленческих решений. Доклад предназначен руководителям головных компаний, объединенных центров обслуживания, аналитических отделов, а также руководителям проектов.

Повышение качества данных в межведомственном информационном обмене

Качество данных в государственных информационных системах определяет качество сервисов, предоставляемых гражданам и бизнес-сообществу, что является одной из ключевых задач Минцифры России. Минцифры РФ является оператором системы межведомственного электронного взаимодействия – посредством СМЭВ ведомства-поставщики данных осуществляют информационный обмен. Доклад посвящен обсуждению планируемых министерством мер регулирующего, организационного и технологического характера, направленных на измерение и повышение качества данных, участвующих в информационном обмене, а также мер по привлечению к этой работе различных ведомств-поставщиков соответствующих данных.

Управление качеством инженерных данных

Деятельность любой вертикально-интегрированной компании по добыче углеводородов невозможна без интегрированной системы, объединяющей месторождения, средства добычи, газо- и нефтепроводы, перерабатывающие мощности, а иногда и сеть реализации нефтепродуктов. Основа такой системы – инженерные данные, возникающие на каждом этапе жизненного цикла переработки сырья, начиная от разведки месторождений, добычи, переработки углеводородного сырья и кончая реализацией потребителям готовых продуктов. От качества инженерных данных непосредственно зависит успех бизнеса компании и реализации ее проектов. Доклад посвящен обсуждению особенностей использования стандартов и библиотек справочных данных, организации бизнес-процессов обеспечения качества инженерных данных, обеспечивающих их консолидацию, исключение дублирования и неопределенностей.

Автоматизация процессов контроля качества данных

Данные – это, в конечном счете, информация. А кто владеет миром? Тот у кого эта информация корректна и актуальна. Успех любой современной компании определяется ее умением обеспечивать качество данных – нельзя доверять сведениям, приблизительно, с ошибками или задним числом отражающим реальное состояние бизнес-процессов. Однако, разнообразие, изобилие источников и объем данных, которая компания вынуждена сегодня обрабатывать в динамике усложняют задачу обеспечения качества данных – без средств автоматизации и инструментов самообслуживания качественных данных получить невозможно. Доклад посвящен обсуждению особенностей расстановки приоритетов при решении задачи управления качеством данных, выбору соответствующих инструментов автоматизации, а также секретам интеграции с уже существующими корпоративными информационными системами. Особое внимание уделено анализу опыта и результатов внедрения автоматизированной системы управления качеством данных, используемой сегодня в режиме промышленной эксплуатации.

Функциональность и безопасность систем искусственного интеллекта: качество данных

Возможности систем искусственного интеллекта во многом определяются качеством обучающих, тестовых наборов данных, а также данных, используемых на стадии эксплуатации для дообучения. В докладе представлена модель жизненного цикла системы ИИ и проанализированы возможные причины снижения качества используемых наборов данных. Показывается, как нарушение целостности и конфиденциальности наборов приводит к ухудшению функциональных характеристик системы искусственного интеллекта и компрометации данных как о самой системе, так и о третьих лицах, принимавших участие в ее создании и эксплуатации. Предлагается подход к анализу качества используемых данных, проиллюстрированный, в том числе, на примере обезличивания персональных данных. Кроме того, на конкретных отраслевых примерах в докладе рассмотрены три группы рисков, обусловленных нарушением функциональности систем и приводящих к реализации угроз физической, ментальной и экономической безопасности в отношении как пользователей систем ИИ, так и третьих лиц.

Как сделать большую компанию data-driven

Сегодня все компании заявляют о своем намерении стать «data-driven», чтобы на основе данных принимать управленческие решения, надеясь более качественно реализовывать бизнес-инициативы, что в определенный момент может стать конкурентным преимуществом, которое другим игрокам рынка будет крайне сложно повторить, потому что основу решений составляет сочетание конкретных инструментов, процессов и корпоративной культуры. Однако на этом пути возникает множество вопросов, от ответов на которые и будет зависеть успех движения компании по пути к data-driven.Как измерить в компании степень ее управляемости на основе данных? Какие надо использовать инструменты и методы анализа данных и машинного обучения? Какую роль играет качество данных и как обеспечить управление им? Ответам на эти и другие вопросы посвящен доклад, построенный на анализе опыта движения компании СберМаркет к управляемой данными, путем, в частности, развертывания у себя аналитических решений и систем машинного обучения. Кроме этого в докладе обсуждаются особенности построения и применения дерева метрик, дальнейшие пути развития в компании культуры работы с данными, а также инструменты коммуникаций, помогающие на пути к data-driven.

Как привлечь бизнес к управлению качеством данных?

Розничный бизнес в масштабах компании «Магнита» означает наличие огромного объема данных, поступающих из сотен систем, с которыми регулярно взаимодействует более 10 тыс. сотрудников, работающих с отчетами и результатами аналитики ad-hoc. Эффективно управлять процессами в этих условиях можно только при использовании качественных данных и однозначного понимания пользователями их смысла. Всего этого невозможно добиться без вовлечения в процесс всех субъектов жизненного цикла данных – от поставщиков сырых сведений до конечных потребителей информации с четким разделением ответственности, назначением ролей и правил. Доклад посвящен обсуждению опыта внедрения операционной модели управления качеством данных. Особое внимание уделено инструменту – движущей силе внедрения политики качества данных, а также разбору опыта проведения мероприятий по вовлечению бизнеса в процесс управления качеством данных.

Обеспечение качества данных: информационная безопасность

Изначальное предназначение любых проектов по информационной безопасности – решение задачи обеспечения целостности, доступности и конфиденциальности данных. И, конечно, качество данных, среди прочих факторов (дублирование, неактуальность, несогласованность, фрагментарность и пр.) зависит именно от того, насколько успешно решаются подобные задачи. Не были ли данные изменены злоумышленником? Имеют ли легитимные пользователи доступ к данным? В последнем случае качество последних вообще значения уже не имеет. Доклад посвящен «возврату к основам» решений по информационной безопасности, изначально предназначенных для предоставления легитимным пользователям своевременного доступа к данным с предоставлением гарантий исключения их искажения/недоступности либо с оперативным уведомлением о произошедшем инциденте и действиях по реагированию на него. Особое внимание уделено обсуждению конкретных примеров злонамеренного искажения данных.

Пилотируем Data Mesh: от нуля к единице

Меняются технологии, тенденции сменяют одна другую, но всегда актуальна потребность в доступных и качественных данных для аналитики. Парадигма Data Mesh, бурно обсуждаемая в мировом профессиональном сообществе в последние годы, предлагает удовлетворить эту потребность, но не дает готовых рекомендаций и руководств. Доклад посвящен обсуждению подхода к пилотированию и внедрению Data Mesh в корпорации, анализу различных аспектов децентрализованного управления аналитическими данными: ответственность за данные, понимание данных и их качество. Особое внимание уделено разбору минимально достаточного для Data Mesh инструментария.

Качество данных и системы гарантирования доходов

Цель любого бизнеса – получение дохода, минимизируя потери и неконтролируемые издержки. Система гарантирования доходов призвана обнаруживать несоответствия или расхождения данных и вовремя оповещать об этом персонал. Подобные системы могут встать в ряду основных систем-индикаторов для всей компании, позволяя четко и быстро выявлять проблемы с качеством данных, помогая предотвращать и оценивать потери для бизнеса. Как обеспечить качество данных? Как повышать доверие к данным? Сколько стоит проверка качества данных? Доклад посвящен ответам на эти и другие вопросы, а также обсуждению опыта формирования доменных подходов к данным и влияния системы гарантирования доходов на качество данных не только в пределах собственного домена, но и всех смежных доменов компании. Особое внимание уделено разбору процесса поиска проблем, связанных с качеством данных, а также анализу примеров расчета стоимости проверки качества.

Аналитика данных – основа антикризисного управления

Влияние аналитики на обеспечение стабильного роста компании в условиях быстро изменяющейся внешней среды трудно переоценить. Особенно важную роль аналитика играет в проектах антикризисного управления на складах площадью сотни тыс кв. м. Какие цели стояли на старте проекта и что было достигнуто по факту? Может ли продуктовый подход помочь при выполнении проекта? Доклад посвящен ответам на эти и другие вопросы. Особое внимание уделено обсуждению роли данных и аналитики в логистических проектах.

Контроль клиентских данных: сложности первых шагов внедрения

Каждая несчастливая семья несчастлива по-своему – примерно так можно охарактеризовать проекты решения общепонятной, на первый взгляд, проблемы обеспечения качества данных, успешное решение которой, однако, в каждом конкретном случае зависит от индивидуальных особенностей компании. Доклад посвящен анализу опыта разработки стратегии управления качеству данных с акцентом на решении прикладных задач на этапе старта проекта.

Сервис проверки качества данных для систем-источников

Особой популярностью в профессиональном сообществе сегодня пользуются истории про внедрение систем контроля качества данных – почти все уже умеют обеспечивать контроль на хранилищах, однако главные проблемы возникают при контроле систем-источников. Здесь надо провести согласования с владельцами данных, запланировать время на инсталляцию решения, уложившись в свободный квант с продуктовыми задачами и договориться со всеми потребителями данных. И когда все, наконец, получилось выясняется, что вышел новый регуляторный документ и все поменялось – можно начинать с начала. Решение есть – вместо контроля на источниках можно создать сервис валидации – DQFirewall, своеобразный контрольно-пропускной пункт, куда подключаются системы со своим дата-сетом, проверяемым в синхронном режиме. Вся тяжесть контроля и его поддержка лежит теперь на стороне сервиса, а система обеспечения качества на своей стороне выполняет вызов и обрабатывает ответ. Доклад посвящен обсуждению опыта создания и эксплуатации сервиса проверки качества данных для систем-источников. Особое внимание уделено разбору преимуществ, которые дает финансовым организациям такой простой и очевидный подход «наоборот».

Как аналитические модели помогают работать с обратной связью клиентов

Сегодня рынок становится все более клиентоцентричным – отслеживание и оценка клиентского опыта становится основным приоритетом бизнеса. Как компаниям реализовать клиентоцентричные стратегии? Как с помощью аналитических моделей выявить ключевые тематики негатива клиентов в огромном потоке обратной связи и сэкономить время на рутине? Конечно, технологии машинного обучения могут помочь сегодня в оптимизации работы с отзывами клиентов, но этого недостаточно. Как увеличить скорость поиска инсайтов в омниканальном опыте клиентов, минимизировав ресурсы на выявление ключевых причин негатива? Доклад посвящен ответам на эти и другие вопросы на основе анализа опыта «Альфа-Банка», реализовавшего полный цикл бизнес-процесса управления клиентским опытом. Особое внимание уделено обсуждению шагов по трансформации клиента-критика в союзника компании, а также рассмотрению разных типов качественных данных, которые могут помочь в улучшении опыта клиентов.

Качество данных как продукт: от концепции к реальности

В современном мире, где данные — это ценный ресурс, качество данных и эффективность их использования играют ключевую роль в успехе деятельности любой организации и компании. Вместе с тем путь от абстрактных идей о работе с качественными данными к конкретным, практически применимым внутренним продуктам банка не устлан розами. Выступление посвящено обсуждению опыта проведения такой трансформации абстрактных представлений в конкретные продукты. Основной фокус доклада — на методах оценки качества данных, стратегии улучшения и поддержки качества данных на протяжении всего их жизненного цикла, а также важности соответствующей корпоративной культуры и управленческой политики.

Моделирование, консолидация и очистка данных

Консолидация данных из разнородных источников, предусматривающая очистку, валидацию, обогащение, устранение дублирования и создание эталонных записей – сложная проблема, обычно решаемая с помощью различных инструментов. Однако, применение единой парадигмы онтологического моделирования позволяет решить все эти задачи в рамках одной программной системы. Доклад посвящен обсуждению подхода к решению проблемы консолидации данных, позволяющего в единой парадигме онтологического моделирования и в рамках одной программы управлять моделью, поступающими из различных источников данными и множеством правил их обработки.

Управление данными – от истоков до настоящего. Система КПЭ участников процессов управления данными

Как давно направление «Управление данными» – существует в мировой практике? Как оно развивалось: внедрение и вплетение в культуру отечественных организаций? Приведенный в докладе исторический экскурс дает возможность участникам мероприятия сопоставить свой собственный опыт реализации инициатив по управлению данными с общемировой практикой. Единое понимание стратегических целей и устремлений организации всеми вовлеченными сотрудниками – половина успеха, ведь именно от людей и их личного и профессионального вклада в ежедневную работу зависит эффективность решения задач на операционном уровне. Каким образом мотивировать сотрудников для участия в процессах управления данными и обеспечения их качества? Какие метрики применять для оценки достижения результата при внедрении практик управления данными в организации? Как правильно совмещать стратегические цели организации с персональным целеполаганием владельцев данных, data stewards или архитекторов данных? Зависит ли матрица КПЭ от уровня зрелости процессов управления данными организации? Ответам на все эти вопросы посвящен доклад, подкрепленный практическими примерами.

Проверка данных методами статистического анализа

По мере расширения использования больших данных в системах искусственного интеллекта, компании приходят к печальному выводу – работа с беспорядочными данными низкого качества приносит лишь вред. Вместе с тем, проверка большого объема данных на полноту, актуальность и достоверность требует много ресурсов только для определения критериев качества, а коридор допустимых значений выбирается с большим запасом и обычно не учитывает индивидуальных особенностей объекта. Применение методов статистического анализа позволяет минимизировать затраты на проверку данных, получая при этом более точные результаты. Как измерить качество данных и обеспечить его регулярный мониторинг? Можно ли доверять данным и действительно ли они отражают реальное состояние дел в компании? Как настроить системный процесс по управлению качеством данных? Доклад посвящен ответам на эти и другие вопросы. Особое внимание уделено особенностям применения методов статистического анализа для проверки данных.

Управление мастер-данными в металлургии: процессы и инструмент

Сегодня все более востребованы системы управления нормативно-справочной информацией – значимость основных данных стала очевидна не только аналитикам, но и руководству предприятий и компаний. Как Трубная металлургическая компания пришла к решению использовать систему класса MDM? С какими особенностями внедрения столкнулась компания? Как выбранная система помогает решать задачи бизнеса? Почему MDM-системы становятся все популярнее именно в металлургической отрасли? Доклад посвящен ответам на эти и другие вопросы.

Построение платформы данных

Как прокачать свое корпоративное хранилище до полноценной платформы данных? Совместное выступление компаний «Р-Фарм» и Navicon посвящено обсуждению опыта построения и развертывания системы класса Management Information System. Особое внимание уделено вопросам консолидации данных с помощью MIS, анализу подходов data-команд к построению платформы данных и ответам на ряд других вопросов построения и эксплуатации платформы данных.

Важнейший инструмент в федеративной модели управления данными

С переходом компаний от стратегии заказной внешней разработки к внутренней продуктовой становится актуальным вопрос построения децентрализованной модели разработки в общих хранилищах данных. Как обеспечить высокий уровень качества данных и разработок над хранилищами в случае федеративной модели управления и разработки? Как не потерять контроль над процессами, одновременно предоставив пользователям гибкость и свободу? Доклад посвящен ответам на эти и другие вопросы. Особое внимание уделено разбору процесса и инструментов управления качеством данных – ключевых элементов федеративной модели управления данными.

Данные. Понять. Принять. Применить

На входных данных основывается принятие решений и выполнение любой производственной задачи – чем достовернее будут эти данные, тем меньше вероятность появления ошибочных управленческих решений. Основную часть данных можно оперативно добыть из корпоративных информационных систем, однако разные части этой информации хранятся и в разных форматах, и в разных системах. В докладе обсуждается методология работы с такими данными на основе онтологической модели. На примере проектов в нефтедобывающей отрасли показаны подходы и правила оценки достоверности информации, а также разбирается опыт применения соответствующих инструментов.

Повышение качества данных в эпоху self-service

В эпоху, где данные являются основой для принятия решений, их качество становится ключевым фактором успешного функционирования компаний. Недостоверные данные могут привести к ошибочным выводам и решениям, которые могут иметь серьезные последствия для бизнеса или функционирования организации. Для обеспечения точности и достоверности информации необходимо не только обучение сотрудников, соблюдение стандартов и процессов, поддержка актуальности данных, но и визуализация данных. Визуализация – мощный инструмент для анализа и интерпретации информации, позволяющий превратить сложные наборы разрозненных сведений в понятные, наглядные графики и диаграммы, помогающие выявлять закономерности, тенденции и взаимосвязи между данными для повышения эффективности процесса принятия решений. Путем визуализации можно выявить ошибки, аномалии и пропуски в данных, что способствует повышению качества данных и обеспечивает более точный и информативный анализ. Доклад посвящен обсуждению преимуществ систем визуализации данных, основанных на концепции Self-Service – возможности пользователям создавать собственные отчеты без обращения к ИТ-специалистам, что ускоряет процесс принятия решений и повышает эффективность работы.

Обеспечение сохранности и релевантности информации

Обеспечение качества данных – важнейшее направление деятельности любой организации, направленное на обеспечение гарантии того, что используемые в бизнес-процессах данные точны, полны и актуальны. Это помогает предотвращать ошибки в принятии решений, снизить риски возникновения проблем в работе компании и повысить производительность. Кроме этого, точные данные позволяют обеспечивать требования законодательства и нормативные акты в области защиты персональной информации. Существует множество угроз и рисков, способных привести к потере или изменению данных. Некоторые могут быть вызваны внешними факторами, такими как несанкционированный доступ, а другие – внутренними: ошибки персонала, технические сбои и пр. Доклад посвящен описанию решений, позволяющих компании построить многоуровневые системы проверки качества данных, используя гибкий инструмент для сокрытия конфиденциальной информации.

Как определить актуальную рыночную цену?

Определение актуальных рыночных цен на товары – одна из важнейших задач бизнеса, от успешного решения которой зависит успех процессов оптимизации закупок, выявления мошенничества, формирования прайс-листов, управления товарными запасами и т.п. Категорий товаров очень много, они по-разному описываются, номенклатура непрерывно меняется – все это усложняет задачу. Требуется систематизация и стандартизация номенклатуры товаров, интеграция с учетными системами и пр. Доклад посвящен обсуждению опыта решения задачи определения актуальной рыночной цены на конкретных примерах.

Качественный soft для качества данных

Что такое качественное ПО? Возможно ли качественное импортозамещение зарубежных MDM-систем? Может ли качество данных (DQ) и руководство данными (DG) работать вместе в одном продукте? Доклад посвящен обсуждению опыта создания и развертывания качественного ПО как для управления данными в целом, так и для обеспечения их качества, в частности. Особое внимание уделено культуре работы с данными и актуальным проблемам управления качеством данных, а также анализу практического опыта применения качественного ПО для управления качеством данных в промышленности.

Промышленные решения обеспечения качества данных

.

Компонентный подход к качеству данных

«Качество данных» – это не монолитная единая величина со значениями «0» или «1», а комплекс величин, каждая со своим происхождением, методами измерения, ценностью и влиянием. Разложим монолит на составляющие, посмотрим на них с разных сторон, оценим и подберем адекватные методы и инструменты для оценки, измерения, реагирования и информирования. А потом соберем обратно. Все это в докладе.

Ошибки, которые мы избегаем. Качество данных глазами пользователя

«А давайте не будем ломать бизнес-процессы, а просто соберем все наши данные `как есть`, а там решим, зачем и что с ними делать?» – не работает! «Срочно вручную правим сводные аналитические данные, чтобы они сошлись с учетными!» – постоянно продолжают возникать ошибки! «Хотим использовать `универсальный` инструмент для работы со всеми данными для решения всех бизнес-задач», – пользователи жалуются, что не могут быстро получить нужную информацию! Рассказ о том, с какими проблемами работы с данными сталкиваются бизнес-пользователи, и как научиться их решать при создании и модернизации информационных систем.

Инструменты искусственного интеллекта для обеспечения качества и достоверности основных данных

Современные продукты по управлению данными содержат в своем составе модуль Data Quality Management (DQM), механизмы которого, как правило, основаны на статичных правилах, запросах и проверках. В докладе рассматриваются возможности применения новых инструментов с использованием искусственного интеллекта для вариативных запросов, обеспечивающих качество данных. Особое внимание уделено обсуждению на конкретных примерах функционала нового модуля ИИ, включенного в состав решения «1С:MDM Управление нормативно-справочной информацией» 2.5.

Реализация моделей управления качеством данных

В современных условиях цифровизации и импортозамещения отечественные компании массово переходят на российское ПО. Успех подобных проектов миграции во многом зависит от эффективного решения проблемы обеспечения качества данных: миграция без потерь, устранение дублирования, очистка данных и пр. Доклад посвящен обсуждению реализованного в решении «1С:MDM Управление нормативно-справочной информацией» подхода, позволяющего удовлетворить спроса отечественных корпораций на создание моделей и систем управления качеством основных данных.

Качество медицинских записей: быть или не быть?

Доверие между врачами разных профилей основывается на признании результатов работы коллег и доверительном использовании полученных выводов – врачи обычно заново не проверяют все доказательства, которые были уже проведены коллегами. Однако, безусловное доверие к медицинским записям, образующим карту пациента в медицинском сообществе отсутствует – неконтролируемые риски искажения медицинской информации способны привести к ошибкам при принятии врачебных решений. Особенно остро эта проблема проявляется при масштабном использовании во врачебной практике систем ИИ, решения в которых принимаются исключительно на основе данных. С 1 февраля 2024 года вступают в силу предварительные национальные стандарты ПНСТ 847-2023 «Искусственный интеллект. Большие данные. Функциональные требования в отношении происхождения данных» и ПНСТ 848-2023 «Искусственный интеллект. Большие данные. Обзор и требования по обеспечению сохранности данных», в которых впервые введено понятие «происхождение данных». Поставщики данных будут теперь обязаны обеспечивать потребителей сведениями об историческом пути данных в соответствии с операциями их жизненного цикла. В докладе рассматриваются требования предварительных национальных стандартов применительно к задаче обеспечения доверия к медицинским данным.

Библиотека качества данных. Где хранить тесты?

Качество данных – ключевой фактор успеха бизнеса, однако для обеспечения предприятия качественными данными необходимо постоянно уделять внимание их описанию, структурированию и связке с ключевыми бизнес-сущностями. Создание «Библиотеки качества данных» позволяет избежать ошибок и упущений при проверке данных, упростить процесс тестирования и дает возможность отследить уровень качества данных по ключевым бизнес-объектам. Все это, в свою очередь, улучшит как качество данных, так и эффективность бизнес-процессов. Доклад посвящен обсуждению возможностей подобной библиотеки – инструмента организации совместной работы с данными в компаниях.

Искусственный интеллект для контроля качества данных

Развитие инструментов искусственного интеллекта, в том числе появление больших языковых моделей (LLM) открывает новые возможности для решения задач управления качеством данных. В докладе рассмотрены ключевые области управления качеством данных, для которых применимы инструменты искусственного интеллекта, а анализируются результаты экспериментов по использованию общедоступных LLM для идентификации ошибок в описаниях данных предприятий розничных сетей. Основное внимание уделено выводам о текущих возможностях и ограничениях LLM, а также условиях для повышения надежности результата их применения.