Конференция «Качество данных 2021»

Управление качеством данных в моделях искусственного интеллекта

Успех работы страховых компаний в условиях высоко конкурентного рынка во многом определяется их операционной эффективностью, однако сам факт автоматизации еще не делает предприятие цифровым – для оптимизации функционирования бизнес-процессов требуется их перестройка. Доклад посвящен анализу опыта управление качеством данных в страховании с целью их применения для совершенствования бизнес-процессов. Особое внимание уделено обеспечению качеству данных для построения моделей машинного обучения в бизнес-процессах кросс-продаж в агентской сети с целью выявления клиентов с высоким уровнем спроса на продукты добровольного страхования, позволившему на порядок повысить результативность кросс-продаж. Кроме этого, в докладе рассмотрено как анализ происхождения данных и их существующих потоков, а также оценка релевантности данных поставленной задаче вместе с выявлением зависимостей между целевыми признаками и основными характеристиками помогают сформировать эффективную модель кросс-продаж в агентской сети и, как следствие, повысить результативность продаж.

Управление данными как активом

Почти 20% отечественных компаний ввели у себя позицию CDO, надеясь «прибраться» в доме корпоративных данных, причем почти 95% из них считают, что для этого достаточно лишь внедрить какую-либо модную технологию, например, ИИ, не утруждая себя работой над качеством данных. Однако, ни большой объем данных, ни технологии ИИ не пойдут на пользу компаниям – бизнес-целей одними технологиями не достигнуть. Мало того, неизменно растет цена ошибки при принятии решений на основе «грязных» данных. Правильное руководство данными (Data Governance) позволяет превращать их в качественные бизнес-активы, что для банка означает рост собираемости просроченной задолженности, увеличение вторичных продаж, снижение стоимости маркетинговых кампаний и пр. Доклад посвящен обсуждению подхода к управлению данными как активом и преодолению проблем, возникающих при решении задач монетизации и снижения стоимости владения данными. Особое внимание уделено метрикам оценки качества управления данными и инструментам, позволяющим предсказуемо управлять модельным риском и извлекать выгоду из данных.

Интеграция медицинских информационных систем: качество данных и знаний

Медицинская информатика в целом и, особенно, клиническая работает с одними из наиболее сложных задач анализа данных: распознавания (диагностика), анализ временных рядов (интерпретация историй госпитализации), автоматическая обработка текстов (истории болезни и различные медицинские документы) и др. При построении систем поддержки принятия врачебных решений (CDSS) все подобные задачи должны решаться совместно, а применяемые методы обязаны обладать высоким уровнем надежности и интерпретируемости. Отсюда понятен интерес как к качеству данных, так и к качеству формальных знаний – лишь формализованные знания позволяют реально повысить «совместную квалификацию» клинициста и компьютера, а также развивать методы анализа данных и принятия решений. Примечательно, что именно в медицине хорошо развита онтологическая поддержка и накоплен громным опытом решения задач управления данными в сложнейших регуляторных и рыночных условиях. Доклад посвящен обсуждению значимости и сущности оценки качества данных и знаний для клиницистов, а также разбору наиболее общих тенденций и проблем, актуальных сегодня не только в здравоохранении: сбор и управление качеством исходных данных; особенности процессов обработки данных и интеграции медицинских информационных систем; информационное сопровождение клинических исследований, проблемы внедрения систем поддержки принятия врачебных решений и пр..

Роль качества в системе управления данными: люди, функции и инструменты

На пути получения полного представления об объекте исследования Счетная палата РФ сталкивается с рядом препятствий, усложняющих процесс создания пула качественных данных: разнообразие, множество разрозненных источников и большой объем данных; отсутствие стандартизации и пр. С проблемой обеспечения качества данных сталкиваются сегодня многие отечественные предприятия и организации, поэтому сегодня создается Альянс профессионалов по управлению данными, призванный консолидировать знания и опыт в данной области, а также решать задачи по подготовке специалистов. Доклад посвящен обсуждению вопросов обеспечения качества данных по всем ключевым аспектам процесса их получения: люди, функции и инструменты. Особое внимание уделено стратегии подготовки персонала и формирования культуры работы с данными – люди самое важное и самое сложное звено системы управления данными.

Расширенное качество данных: свойства, метрики и технологии

С ростом объемов и разнообразия данных пришло осознание их ценности и рисков для бизнеса в случае использования некорректных сведений. Важная составляющая ценности данных – это расширенное качество данных, обеспечение которого на практике означает усложнение конвейера обеспечения качества за счет добавления измерения показателей качества, мониторинга, а также обеспечения управления инцидентами и проблемами качества. Управление расширенным качеством данных включает выявление критически важных данных, формирование показателей и метрик, организацию конвейера обеспечения качества, управление мастер-данными, интеграцию данных, ведение и связывание метаданных, моделирование данных, формирование классификаторов, ведение бизнес-глоссария и бизнес-правил, анализ происхождения и зависимости данных. Доклад посвящен обсуждению задачи управления расширенным качеством данных для снижения операционных, управленческих и репутационных рисков для бизнеса. Особое внимание уделено характеристикам, показателям и метрикам расширенного качества данных, а также обзору технологий и инструментов, обеспечивающих требуемое качество данных.

Как обеспечить качество данных для проектов искусственного интеллекта?

Работа с данными – важнейший этап любого проекта искусственного интеллекта, требующий особого внимания и отдельных ресурсов. Доклад посвящен обсуждению зависимости успешности проектов искусственного интеллекта от объемов и репрезентативности данных, а также влияния этих факторов на качество работы систем ИИ и их устойчивость к разнообразию входных данных. Кроме этого рассмотрен практический аспект работы с данными – этап разметки, на котором из большого количества примеров выделяются данные, которые предстоит находить с помощью алгоритмов ИИ. Качество модели во многом зависит именно от разметки данных – невозможно построить эффективную модель машинного обучения, гарантирующую минимум ошибок без качественных, подготовленных и классифицированных обучающих примеров. Особое внимание в докладе уделено обзору реализованных проектов искусственного интеллекта и обсуждению подходов к обеспечению их успешной промышленной эксплуатации.

Корпоративная отчетность: быстро, легко и точно

В процессе подготовки корпоративной отчетности компании обычно сталкиваются с множеством проблем, вызванных разнородностью источников данных, необходимостью отслеживать происхождение каждого показателя, быстро изменять состав и структуру форм отчетности, а также сравнения данных из разных источников, определения степени доверия каждому значению показателя и обеспечения "сходимости" показателей в разных отчетах. Решение этих проблем позволит превратить работу с корпоративной отчетностью из нудной, трудоемкой и формальной деятельности, чреватой порождением критических для бизнеса ошибок, в процесс создания полезной информации, помогающей при принятии решений и формировании точной картины состояния дел на предприятии. Доклад посвящен обсуждению способов решения проблем, возникающих при подготовке корпоративных отчетов, а также инструментов, позволяющих быстро обрабатывать имеющиеся в компании данные с учетом всех их взаимосвязей.

Система координат для качества данных

В каждой компании обычно по-разному понимается понятие «качество данных» – в некоторых ошибка лишь в одной записи считается критичной для бизнеса, а для других будет незначительна потеря тысяч строк из базы данных. Как определить, какие данные и какого качества важны для компании? Кто может дать объективную оценку текущего уровня качества данных? Как выстроить систему мониторинга качества данных и понять насколько вообще эффективно работают процессы управления данными? Доклад посвящен обсуждению метрик (KPI) оценки качества данных на примере телекоммуникационной отрасли. Особое внимание уделено обсуждению актуальности определенных метрик, отвечающих специфике конкретного бизнеса.

Инструменты управления качеством данных: вчера, сегодня, завтра

Любая компания и организация цифровой экономики сталкивается сегодня с проблемами обеспечения качества данных, пытаясь, как правило, решать их с помощью различных разрозненных инструментов, позволяющих, как правило, справиться лишь с отдельными задачами и требуя, при этом, значительных трудозатрат. Доклад посвящен обсуждению опыта перехода финансовой компании от использования точечных процессов и инструментов повышения качества данных к единой централизованной функции и использованию интегрированной технологии управления качеством данных. Особое внимание уделено изложению взгляда компании Ataccama на текущее состояние дел по применению инструментов класса Data Quality в компаниях и организациях различной отраслевой принадлежности, а также обсуждению возможностей средств от Ataccama, помогающих не только повысить эффективность внедрения решений по управлению качеством данных, но и вовлечь в процессы улучшения качества данных максимальное число сотрудников.

Платформа управления качеством данных для ретейла

Качество и доступность данных стали сегодня важнейшими факторами успеха в бизнесе – применение любых аналитических инструментов бессмысленно при отсутствии доверия к данным, а любые проблемы c их качеством неизбежно приводят к существенным издержкам в компаниях, особенно такого масштаба, как X5. Доклад посвящен практикам внедрения процессов поддержки качества данных, метрикам их оценки, а также вопросам формирования культуры работы с данными. Особое внимание уделено обсуждению подходов к созданию платформы обеспечения качества данных и роли бизнес-пользователей в процессе управления качеством.

Управление качеством данных: успехи, неудачи, уроки

По мнению аналитиков, почти половина бизнес-инициатив проваливается из-за проблем с качеством данных. Конечно, зачастую сотрудники вручную пытаются выявлять ошибки в данных, но на всем объеме это невозможно, причем результаты проверок труднодоступны и не известны всем потребителям данных, что вызывает необходимость повторных проверок. Автоматизированные процессы управления качеством данных позволяют снизить трудозатраты на выявление, устранение и предотвращение ошибок. Как построить свою стратегию управления качеством данных? Какие именно данные критичны для бизнеса? Как заручиться поддержкой бизнеса, учитывая, что сам факт выявления ошибки проблемы их качества не решит? Как наладить эффективный конвейер обеспечения качества данных? В чем секреты обеспечения качества реестровых и справочных данных? Как на практике организовать профилирование, очистку и обогащение данных? Как выбрать инструменты управления качеством данных? Доклад посвящен ответам на эти вопросы, опираясь анализ опыта управления качеством данных в вертикально-интегрированной компании. Особое внимание уделено описанию опыта входящей в состав консорциума Open Group ассоциации Open Subsurface Data Universe, координирующей разработку стандартов и платформ экосистемы открытых данных. Кроме «Газпром нефть» в ассоциацию входят такие нефтесервисные компании и ИТ-корпорации, как: Shell, Chevron, ExxonMobil, TOTAL, Japan Oil, Schlumberger, Hitachi Vantara, Intel, IBM, Google, Nvidia и TIBCO.

Цифровая трансформация Росстата

.

Качество данных для Цифровой аналитической платформы

Цифровая аналитическая платформа (ЦАП) представления статистических данных – ключевой элемент системы управления данными, создаваемой Федеральной службой государственной статистики в рамках национальной программы «Цифровая экономика». Платформа предназначена для поддержки единого информационного пространства, доступного всем органам государственной власти, коммерческим компаниям и общественным организациям. Концепция ЦАП предусматривает прозрачность всех этапов работы потребителей со статистической информацией и координацию их действий, что, в частности, позволит существенно ограничить количество форм, необходимых для заполнения, сократить перечень показателей отчетности и обеспечить однократное предоставления первичных статистических сведений. Повышение качества данных и полезности собираемых сведений обеспечивается благодаря Единой Технологической архитектуре (ЕТА) и Единой среде разработки (ЕСР), позволяющий формировать выборки для всех обследований, включая динамическую замену объектов в них. Доклад посвящен обсуждению опыта применения ЕТА и ЕСР при создании и развитии Цифровой аналитической платформы.

Как выстроить эффективные процессы управления качеством данных?

«Чистота в данных» – залог «здоровья» любого предприятия и компании цифровой экономики. Чем крупнее организация, чем масштабнее спектр продуктов и сервисов, которые она предоставляет своим клиентам и чем разнообразен ее ИТ-ландшафт, тем более чувствительны ее бизнес-процессы к качеству данных. Доклад посвящен обсуждению пошагового выстраивания эффективных процессов управления качеством данных и секретов их вплетения в корпоративную архитектуру, а также интеграции в производственные процессы внесения изменений в информационные системы и бизнес-процессы. Особое внимание уделено выбору наиболее адекватной бизнесу операционной модели управления качеством данных, инструмента контроля и мониторинга их качества. Кроме этого, анализируется опыт внедрения такого мониторинга в банках и разбираются типовые ошибки.

Управление качеством государственных данных

Сегодня существенно возросла потребность органов государственной власти в оперативности получения данных для принятия взвешенных управленческих решений – если еще совсем недавно необходимые сведения можно было собирать месяцами, то сейчас требуется получать данные практически в режиме реального времени. Однако оперативность неизбежно сказалась на качестве данных – прежние механизмы их выверки «глазами человека» пришлось исключить. Для сохранения и повышения качества данных в новых условиях нужны новые инструменты, которые Минцифры планирует запустить в 2021 году в рамках внедрения единой информационной платформы национальной системы управления данными.

Комплексный подход к управлению качеством данных

При оценке качества данных сегодня используется ряд общепринятых метрик, однако их далеко не всегда можно получить с помощью решений, предназначенных для управления качеством данных. Доклад посвящен обзору основных метрик оценки качества данных, обсуждению особенностей выстраивания процесса управления качеством в текущих условиях активного развертывания на предприятиях систем управления данными и выполнения соответствующих проектов. Особое внимание уделено анализу требований, предъявляемых к качеству данных и программным средствам для управления данными.

Машинное обучение для повышения качества данных

Аналитические системы управления взаимоотношениями с клиентами (ACRM) позволяют анализировать все накопленные о клиенте данные для формирования стратегии дальнейшего взаимодействия с ним. Невозможно вручную оценить качество данных, если для изучения профиля клиента требуется постоянно анализировать тысячи показателей, что типично для телекоммуникационной и банковской сферы. Можно ли доверить системам машинного обучения контроль качества данных? Способна ли система самообучения без учителя на основе исторических данных самостоятельно оценивать качество данных, а также выявлять в потоках данных неизвестные и еще не описанные экспертами проблемы? Доклад посвящен разбору практического опыта использования технологий машинного обучения, помогающих CDO и специалистам по качеству данных повысить эффективность контроля и мониторинга качества данных.

Опыт построения системы контроля качества данных

Управление качеством данных становится неотъемлемой частью деятельности современных организаций – от того, насколько корректные данные используются в банке, сильно зависит и качество принимаемых решений, и финансовый результат. В Сбере система управления качеством данных активно выстраивается уже на протяжении нескольких лет, развиваясь от децентрализованных неформальных активностей до внедренной в промышленную эксплуатацию группы централизованных процессов с вовлечением большого числа владельцев данных и других участников бизнес-процессов. В докладе рассказывается о становлении системы управления качеством данных в Сбере, сложностях на этом пути и их решении, а также о планах дальнейшего развития.

Качество данных и качество обслуживания клиентов

По мере роста объемов и разнообразия накапливаемых в компаниях данных приходит осознание их ценности для бизнеса и рисков использования некорректных сведений – в зависимости от бизнес-процессов конкретной компании влияние качества данных может варьироваться от незначительного до критического. Для Ростелеком основа критичных бизнес-процессов – это адресная информация. Доклад посвящен обсуждению опыта выполнения проекта «Паспорт дома», позволившего обеспечить переход от разрозненных, неполных и противоречивых данных, получаемых из различных источников к единому интегрированному по ключевым объектам пространству адресной информации. Единый паспорт дома используется сегодня для решения технических задач в мобильных и стационарных системах; коммерческих задач в системах продаж и маркетинга, а также в аналитических и геоинформационных системах. Особое внимание в докладе уделено анализу применяемых архитектурных, организационных и технических подходов, позволивших значительно улучшить качество процессов продаж и уровень обслуживания клиентов компании.

Качество данных как отдельный продукт

.

Управление качеством данных – путь к клиенту

Люди – основа любого бизнеса и прибыль компаниям, в конечно счете, приносят ее клиенты. Для повышения работы с клиентами сегодня применяются системы класса CDI (Customer Data Integration), позволяющие интегрировать все имеющиеся о конкретном клиенте сведения. Однако, как показывает опыт, внедрение CDI – лишь начало пути постоянного совершенствования процессов взаимодействия с клиентами и требуется еще построить систему управления качеством клиентских данных и обеспечить его постоянный мониторинг. Доклад посвящен обсуждению опыта организации управления качеством данных в компании Росгосстрах и ответам на такие вопросы, как: Где польза для клиента, в чем прибыль для компании и к каким изменениям бизнес-процессов она должна быть готова? Какие требуются инструменты для построения системы управления качеством клиентских данных, удовлетворяющей и бизнес, и регуляторов? Особое внимание уделено изложению того, как убедить большие компании заниматься качеством данных и что нужно делать, чтобы заработали процессы его улучшения.

Риск-ориентированное управление качеством данных

Работа провайдера финансовой информации невозможна без обеспечения высокого качества ключевой справочной, финансовой и аналитической информации, на основании которой принимаются инвестиционные решения, оцениваются риски и строится регуляторная отчетность. Для выстраивания системы управления данными необходимы современные методы риск-менеджмента анализа бизнес-процессов, связанных с данными, а также построения контрольных механизмов. Для обеспечения качества данных важна предварительная методологическая проработка как в рамках каждого сегмента данных, так и системы в целом. В частности, предварительная структуризация и типизация данных должна отталкиваться как от задач конечных потребителей информации, так и от задач контроля бизнес-процессов. И, наконец, должна быть выстроена иерархия важности как сегментов данных, так и отдельных наборов информации в целях корректного выстраивания контрольных процессов и исключения ошибок. Доклад посвящен обсуждению всех этих проблем и анализу решений, применяемых в проекте RU Data для обеспечения качества данных.