Данные для глубинного обучения

Мир становится цифровым – все больше компаний и организаций во всем мире меняют свои бизнес-модели, стремясь максимально полно использовать все доступные им данные для учета текущих и прогнозирования будущих потребностей своих клиентов и заказчиков. Растет важность машинного обучения при анализе данных и построении прогнозных моделей. Доклад посвящен анализу особенностей каждого этапа обработки данных и инструментов, применяемых в течение жизненного цикла систем искусственного интеллекта. Особое внимание уделено обзору сервисов, используемых для сбора, хранения, обработки и первичного анализа данных для построения моделей глубинного обучения и визуализации результатов. На конкретных примерах раскрывается процесс решения прикладных задач с использованием сервисов Yandex DataSphere, DataLens, Data Proc и др.

Как построить унифицированное аналитическое хранилище

С ростом объемов хранения и обработки данных все чаще возникает вопрос – где же
находится в настоящий момент актуальная версия данных? Где лежат данные, готовые к
отображению? Это значит, что обработку данных необходимо осуществлять максимально
близко к местам их размещения, избегая создания лишних копий в разных информационных
системах. Доклад посвящен обсуждению требований, предъявляемых к современным
хранилищам данных: гибридное развертывание, наличие аналитических функций,
возможность масштабируемости и высокая производительность на петабайтных объемах.
Особое внимание уделено разбору примеров по оптимизации инвестиций в корпоративные
инфраструктуры обработки данных, построенные на базе решений с открытым кодом. Кроме
этого рассматриваются различные варианты построения конвейера для глубокой обработки
данных с помощью СУБД Vertica.

Данные – это про прибыль. Решения для работы с Big Data

Данные сегодня имеют критически важное значение, позволяя компаниям создавать инновационные решения, получать конкурентные преимущества и принимать более взвешенные решения. Однако, управление данными создает для компаний большие трудности – цифровая трансформация невозможна без надежной архитектуры работы с данными и соответствующих аппаратно-программных решений. Доклад посвящен обсуждению комплексных систем от компании Atos, специально предназначенных для работы с большими данными и средствами видеоаналитики.

Яндекс.Метрика в проектах федерального масштаба

Обеспечение эффективного функционирования любого сайта невозможно без накопления и анализа статистики его эксплуатации, например с целью изучения поведения действий пользователей на порталах по видеонаблюдению. Как оптимально собирать статистические данные на проектах федерального уровня не потратив огромных средств и не сорвав сроки? Нужен ли свой собственный сервис или можно взять готовый? Доклад посвящен обсуждению опыта применения сервиса Яндекс.Метрика, используемого для изучения поведения пользователей на портале, сбора сведений о используемых ими устройствах, браузерах, разрешениях и т.д. с учетом нестандартных задач, решаемых федеральными порталами, за которые отвечает «Ростелеком». Особое внимание уделено анализу конкретных примеров передачи и обработки произвольных наборов данных, а также их использованию при анализе в совокупности со стандартными данными, собираемыми сервисом Яндекс.Метрика для формирования витрин данных, группировки и сегментации. Все это иллюстрировано в докладе на примере разбора конкретных сценариев использования параметров пользователей и результатов их визитов на портал: длительность просмотров трансляций по объектам, сбор статуса трансляций в плеере пользователя, работа с поиском и пр.

Инвентаризация данных

Для реализации проектов с использованием искусственного интеллекта необходима обучающая выборка на основе данных, используемых для управления производством и можно ожидать, что достаточно просто взять архив таких данных и начать работать. Однако, это не так. При оперативном управлении применяется комбинация оцифрованных и архивных данных (вес, температура, химический состав и т. п.), а также сведения, непосредственно доступные оператору (цвет и объем дыма, шумы от оборудования и т.д.). Кроме того, даже цифровые данные не всегда хранятся после отображения в интерфейсе, а если и хранятся, то могут содержаться в анонимных таблицах без описаний и вне привязки к процессу и оборудованию. Ситуацию усугубляет еще и то, что чаще других теряются наиболее ценные данные: диагностированные проблемы, принятые меры и пр. Если предприятие собирается использовать машинное обучение для для улучшения своих производственных процессов, то стоит начинать именно с инвентаризации данных – простой, нудной работы, но позволяющей понять, какие именно данные используются, какая часть из них накапливается и в каком виде, а какая полностью теряется сразу после использования. В докладе на конкретных примерах показано, как относительно просто провести инвентаризацию данных, позволяющую подготовить почву для проектов по реализации предсказательных и рекомендательных моделей.

Платформа «Автодата»: управление автомобильными данными

Национальная навигационно-телематическая платформа «Автодата» призвана обеспечить формирование массива статистических и аналитических данных о колесных транспортных средствах, дорожной инфраструктуре, а также сопутствующей информации в транспортной сфере, связанной с логистикой людей и вещей. Платформа должна позволить сформировать массив данных по всему жизненному циклу автомобиля с момента его выпуска в обращение до утилизации: данные о функционировании бортовых систем, поведение водителя, телеметрия взаимодействия с автотранспортной инфраструктурой, а также создать цифровую среду для поддержки движения транспорта с различными степенями автоматизации по дорогам общего пользования. Доклад посвящен обсуждению задач, которые должна решать «Автодата», источников данных для нее и логики их сбора, особенностей их верификации, обогащения и обработки, а также перспектив применения платформы автомобильных. Особое внимание уделено обзору архитектуры платформы.

Интеллектуальный анализ документов

Объем неструктурированных данных в компаниях сегодня растет в геометрической прогрессии и составляет уже тера- и петабайты различной технологической, проектной и нормативно-методической документации, публикаций и научной литературы. При отсутствии консолидированного хранилища и инструментов поиска компании сталкиваются с проблемой использования всех этих накопленных данных, на поиск и обработку которых сотрудники часто тратят слишком много времени. Системы корпоративного поиска (Enterprise Search), построенные на базе технологий искусственного интеллекта и средств обработки естественного языка потенциально способны значительно ускорить процесс поиска информации, максимально релевантной запросам. В докладе на конкретных примерах обсуждаются возможности применения систем интеллектуального поиска и анализа документов для автоматизации работы различных групп пользователей.

НСИ – связующее звено: Data Governance и Data Management

Комплекс мероприятий по созданию системы управления с помощью данных включает широкий спектр процессов: управление стратегией компании, управление ИТ-стратегией, управление проектной деятельностью, управление разработкой и сервисной поддержкой ИТ-активов. На практике нередки случаи совмещения понятий Data Governance (DG), представляющего, по сути, законодательную «ветвь власти», и Data Management (DM) – исполнительной «ветви власти». В связи с этим часто возникает вопрос, что именно из себя представляет «Управление данными», как оно ими управляет и управляет ли вообще? В ГК «Росатом» используются сложные технологические процессы, используемые при проектировании и сооружении крупномасштабных энергетических установок, в машиностроении, добычи полезных ископаемых и генерации электроэнергии. Применение корпоративных системы НСИ позволяет унифицировать обмен данными в отраслевых бизнес-процессах, повысить их эффективность и подготовить основу для внедрения подходов и методологий DG и DM. В докладе раскрываются ключевые различия между понятиями DG и DM, а также обсуждается роль и важность НСИ, как главного средства связи между уровнем контроля и прикладным уровнем, позволяющего наполнять метаданные данными.

Управление данными в интегрированном планировании

Интегрированное планирование объединяет всю цепочку создания стоимости от переработки до сбыта с целью создания сквозного плана, позволяющего минимизировать риски несоответствия между спросом и предложением – компания должна производить ровно столько нефтепродуктов определенной номенклатуры, сколько может перевезти и реализовать для удовлетворения потребностей рынка. Такое планирование дает возможность оперативно и эффективно управлять жизненным циклом продукта по всей цепочке добавленной стоимости с учетом существующих ограничений и имеющихся возможностей. Доклад посвящен обсуждению бизнес-задач, проблем, преимуществ и результатов реализации проекта интеграционного планирования: оптимизационная модель (функционирование, вход-выход); изменения по итогам реализации проекта – сложности и пути их преодоления. Особое внимание уделено анализу процессов работы с данными – что пришлось поменять в работе с данными, основные проблемы и решения, изменение отношения к данным в бизнесе.

Обработка корпоративной информации на естественном языке

Люди обычно предпочитают работать с информацией на естественном языке, а не со структурированными данными – текстовые документы составляют значительную часть данных и значительный объем знаний предприятия. Вместе с тем, до сих пор наиболее распространенный способ работы с такими документами – полнотекстовый поиск, не учитывающий смысла обрабатываемых текстов. Большинство существующих сегодня средств интерпретации естественного языка опираются на использование нейросетей, работа которых часто не поддается анализу, результаты иногда необъяснимы и неожиданны. Альтернатива – использование правил разбора текста, применимых, однако, только для решения относительно локальных задач. Сделать следующий шаг в обработке информации на естественном языке позволяет совместное использование онтологий, как средства представления концептуальных и языковых моделей, и методов машинного обучения. В фокусе доклада – методы и инструменты работы со смыслом, заложенным в текстовой информации: преобразование запросов аналитиков на естественном языке в запросы к структурированным данным; интеграция методов обработки информации на естественном языке со средствами консолидации корпоративных данных; извлечение смысловых конструкций из текстов на естественном языке с целью индексации и автоматизированного аннотирования.

Что нужно юристам в эпоху цифровой трансформации?

Работа юристов, как правило, оплачивается исходя из почасовой ставки – время стоит серьезных денег, которые платит либо клиент, ожидаемо не желающий нести расходы на техническую, с его точки зрения, работу, либо юридическая компания, что снижает ее billable rate (эффективность труда). Как одна из наиболее консервативных областей – юриспруденция переживает эпоху цифровой трансформации? Что нужно для того, чтобы клиенты не платили за подготовку рутинных документов и поиск данных в различных источниках, а юристы прежде всего занимались защитой интересов своих клиентов, а не тратили время на непроизводственную деятельность? Как организована интеграция с открытыми данными и что сегодня происходит в сфере информатизации деятельности юристов? Доклад посвящен ответам на эти вопросы, формулировке требований к «идеальной» системе для юриспруденции и обзору имеющихся на рынке решений (LegalTech) информатизации работы юристов. Особое внимание уделено анализу опыта эксплуатации интегрированной системы, созданной в правовом бюро «Олевинский, Буюкян и партнеры», а также обсуждению перспектив ее развития и еще не решенных задач в области цифровизации юриспруденции.

DataGovernance своими силами

Для того, чтобы данные стали ценным активом компании, необходимо, чтобы все ее сотрудники понимали, какими данными они владеют, где их можно получить и как использовать. Как показывают исследования, в крупных компаниях при решении задач работы с данными, от 40 до 80% времени уходит на их поиск. Однако, на практике ситуация еще хуже – данные могут быть безнадежно устаревшими, избыточными, многократно дублированными, либо о их существовании известно лишь узкому кругу пользователей. Данными нужно уметь эффективно управлять и на сегодняшний день на рынке имеются соответствующие решения класса DataGovernace, однако и они часто не позволяют решать конкретные задачи предприятия. Доклад посвящен обсуждению опыта разработки концепции DataGovenance в компании «Ростелеком». Особое внимание уделено анализу причин отказа от внедрения коробочного решения и инициации создания собственного инструмента документирования данных на основе стека Open Source.

Data Governance на службе у государства

Доклад посвящен обсуждению опыта выполнения федерального проекта мониторинга социально-экономических показателей в сфере здравоохранения, коммуникаций, экономики и обеспечения правопорядка. Успешное выполнение проекта такого масштаба было бы невозможно без технологии Руководства данными (Data Governance). Использование инструментов данного класса позволило не на бумаге, а на деле решать подобные задачи на принципиально ином технологическом и методологическом уровне. Особое внимание в докладе уделено анализу качества организации и бесперебойности процесса сбора показателей, а также возможности отслеживания происхождения данных по каждому из показателей.

Практика машинного обучения в Банке России

Эффективная работа с данными, с одной стороны, предполагает максимальную гибкость при работе с необходимыми инструментами, а с другой, всегда ограничена требованиями протоколов безопасности, охраняющих чувствительные данные от произвольного распространения. Несмотря на столь противоречивые требования, точка, в которой достижим правильный баланс – существует и найденные в результате построения прототипов удачные модели означают не конец, а начало пути. Следующий вопрос – как внедрять модели машинного обучения в промышленную эксплуатацию и как их поддерживать? В докладе на практических примерах моделирования систем машинного обучения в Банке России рассмотрены все плюсы и минусы процесса промышленной эксплуатации соответствующих моделей.

Работа с мастер-данными и трансформациями в корпоративном хранилище

При загрузке данных до уровня витрин корпоративного хранилища обычно выполняется переход от справочников систем источников к принятым в компании эталонным справочникам (мастер-данным). Однако, такая загрузка данных обычно очень зависит от времени выполнения процессов подготовки и согласования с бизнесом маппингов справочников систем источников. Кроме того, при внесении любых изменений в маппинги требуются длительные масштабные перезагрузки и перепривязки данных. Доклад посвящен обсуждению проблем, возникающих при загрузке бизнес-данных в корпоративное хранилище и подходов, применяемых в корпорации «Ростелеком» для существенного сокращения времени загрузки. Особое внимание уделено архитектуре основного хранилища данных, анализу особенностей его взаимодействия с источниками, а также используемым инструментам управления мастер-данными.

Как мгновенно найти работу и сотрудников

Многие работодатели и соискатели любят составлять резюме или вакансии из пары предложений, задавать запросы из одного слова и получать готовые контакты друг друга сразу же после того, как посетили сайт. Естественно, каждый из них делает все это по-своему, преследует свои конкретные цели, которые в кризисной ситуации меняются очень стремительно. Чтобы сделать все это возможным, сэкономив время соискателей и работодателей, требуется в реальном времени обработать все накопленные данные о их поведении на сайте, сформировать входной пул для системы машинного обучения, позволяющей предсказывать, кто кому подходит и сформировать итоговую индивидуальную витрину с вакансий и предложений. Доклад посвящен обсуждению технологий обработки потоков данных и архитектуры системы, позволяющей автоматически, без вмешательства кадровиков hh.ru готовить выборки, максимально адекватные запросам.

Основное – данные: замена «коней» на переправе

Может ли импортозамещение не быть хайпом и зачем менять то, что работает? В чем ценность готовых решений и сложность их выбора, когда дешевле не значит лучше, а быстрее не значит эффективнее? Для ответа на эти вопросы в докладе обсуждается процесс эволюции системы управления основными данными от «наливания воды решетом» до стабильной, производительной и расширяемой модели управления. Особое внимание уделено анализу опыта проекта импортозамещения – создания, эксплуатации и развития системы управления основными данными группы «Интер РАО».

Наш опыт создания НСУД

В рамках федерального проекта «Цифровое государственное управление» национальной программы «Цифровая экономика» в 2019 году началась разработка Национальной системы управления данными (НСУД), призванной связать государственные информационные системы и обеспечить доступность, достоверность, полноту, непротиворечивость и защищенность используемых в них данных. По сути, НСУД — это совокупность правовых, организационных, методологических и информационно-технологических элементов, требуемых для объединения информационных систем государственных и муниципальных органов власти. НСУД должна ускорить автоматизацию процессов госуправления, повысить качество и скорость оборота данных, а также предоставить гражданам и юридическим лицам цифровые услуги на более высоком уровне. Доклад посвящен обсуждению особенностей разработки и апробации НСУД, ее ключевых информационно-технологических элементов: Единой информационной системы и витрин данным. Особое внимание уделено анализу опыта конкретных внедрений технологий НСУД в пилотных ведомствах.

AutoML: анализ данных и моделирование

Число специалистов по исследованию данных (Data Science) сегодня растет существенно медленнее, чем объем задач, решаемых методами машинного обучения. Однако, большинство таких задач – типовые. Доклад посвящен обсуждению способов автоматического решения львиной доли подобных задач при помощи инструмента AutoML, позволяющего освободить время дорогостоящих специалистов для более важных проблем: корректной постановки задачи, выбора наиболее адекватной целевой метрики, генерации экспертных признаков и т.п. Рассмотрены особенности построения blackbox-моделей с помощью библиотеки LightAutoML (LAMA) и интерпретируемых моделей средствами WhiteBoxAutoML, выбираемых в зависимости от конкретной задачи, требований регулятора и возможностей инфраструктуры. Кроме этого в докладе рассмотрены различные варианты инференса моделей с помощью сервисов SberCloud и автоматически сгенерированных SQL-запросов. Примечательно, что соответствующие библиотеки в скором времени будут доступны и сообществу OpenSource.

Единая техническая политика: принципы и требования к управлению данными в информационных системах органов власти

Единая техническая политика – совокупность принципов, правил и требований, наилучшим образом обеспечивающих достижение целей цифровой трансформации госуправления. Такая политика призвана синхронизировать и дополнить существующие требования к созданию информационных систем органов государственной власти, организации взаимодействия как с пользователями систем, так и взаимодействия систем между собой, включая управление данными. Доклад посвящен обсуждению принципов и требований к управлению данными в информационных системах органов государственной власти.

Искусственный интеллект в медицинской визуализации

Доклад посвящен анализу текущих результатов и обсуждению опыта масштабного московского эксперимента по использованию компьютерного зрения для анализа медицинских изображений и его применения в системе здравоохранения Москвы (mosmed.ai). Особое внимание уделено особенностям работы с медицинскими данными, в частности, созданию эталонных наборов для решения задачи валидации в системах медицинского искусственного интеллекта.

CDO & CEO: кто отвечает за цифровую трансформацию?

До сих пор не стихают споры об основных задачах директора по данным (CDO), а между тем, глобальные вопросы качества данных из категории хайпа перешли в категорию жизненно-важных проблем компаний. Недавние исследования свидетельствуют о том, что CDO становятся новыми партнерами бизнес-инициатив, и при этом в фокусе их внимания остаются задачи внедрения процесса «Know your data» и работа с «чувствительными» данными. Роль CDO в компании меняется – сегодня мы говорим не просто о директоре по данным, а о его архетипе: «Governance guru», «Оптимизатор процессов», «Цифровой драйвера» и «Бог аналитики». Однако, как показывает практика, для эффективной реализации цифровой бизнес-модели компании CDO не хватает реальных полномочий, но они есть у CEO, который зачастую не принимает активного участия в цифровизации. Актуальным становится организация бизнес-партнерства CDO и CEO. В докладе обсуждается, какой из архетипов CDO важен в каждой конкретной ситуации, как он сочетается с текущей бизнес-стратегией, какие из задач являются приоритетными для CDO на данный момент, и как необходимо выстраивать взаимодействие между CDO и CEO в компании.

Бизнес-аналитика: как монетизировать ваши данные?

Как известно, сами по себе инструменты бизнес-аналитики денег бизнесу не приносят, а их внедрение часто затратно и далеко не всегда успешно. Как сделать так, чтобы данные, поступающие на вход таких систем, приносили компании прибыль, а проект их внедрения быстро окупался? Какие результаты действительно нужно визуализировать, а что предоставить для дальнейшего анализа бизнес-пользователям? Доклад посвящен ответам на эти и другие вопросы. Особое внимание уделяется обзору реальных примеров, демонстрирующих преимущества систем бизнес-аналитики, изложению основных принципов окупаемости проектов внедрения аналитики в различных организациях, а также критериев их успешности.

Современные компании и организации с каждым годом вынуждены обрабатывать все больше различных данных – кроме сбора и анализа данных для них все более актуальным становится вопрос: как помочь пользователям не потеряться в информационном потоке, обеспечить прозрачность и эффективный поиск доступных сведений? Для решения этой задачи необходимо выстраивание процессов Data Governance, включая управление метаданными и качеством данных.

Кирилл Евдокимов, Директор практики Data Governance, Ataccama – ведущий мастер-класса «Управление корпоративными данными», предназначенного для Chief Data Officer (CDO); Data Quality Manager; руководителей проектов, связанных с управлением данными; аналитиков данных; инженеров по данным; разработчиков систем хранения данных и решений бизнес-аналитики.

Алексей Ильин, Генеральный директор российского офиса, Ataccama. Окончил ВМК МГУ, кандидат технических наук. Около 20 лет опыта в области управления качеством данных, мастер-данными и метаданными, а также построения корпоративных хранилищ данных. В интересах различных международных консалтинговых компаний реализовал ряд проектов по управлению данными для ведущих российских предприятий, работающих в сфере ретейла, финансов и добычи углеводородов. Сейчас – генеральный директор российского офиса компании Ataccama, где отвечает за стратегические проекты в области управления данными, управления мастер-данными и управления метаданными для заказчиков из России и стран Восточной Европы.

Основные темы мастер-класса:

• Почему управление данными с каждым годом становится все более актуальным?
• Практическая ценность управления метаданными и качеством данных для бизнес-пользователей – разбор решения конкретной задачи
• Как выстроить процессы управления данными? Подход к организации процессов и ролей
• Инструментарий управления качеством данных. Почему нельзя решить все проблемы с помощью SQL?
• Могут ли ИТ и бизнес решить задачи управления данными друг без друга?
• Как «посчитать» ценность управления данными для бизнеса?

В рамках мастер-класса на практических примерах разбираются:

• варианты использования каталога данных и его синергия с системой управления качеством данных;
• способы получения ценности профилирования данных, как отправной точки для реализации процессов;
• подходы к оценке бизнес-кейсов по управлению данными.

Ведущий: Кирилл Евдокимов.
Окончил ВМК МГУ. Почти 20 лет опыта работы в сфере управления данными и аналитики: в интересах различных международных консалтинговых компаний занимался реализацией хранилищ данных, развертыванием MDM- и BI-решений в крупных российских компаниях банковского, розничного и страхового секторов; работал в финансовом секторе – руководил проектами по внедрению и развитию аналитических систем (Campaign Management, AML, OpRisk, DWH, KYC); в Райффайзенбанке руководил отделом управления данными – отвечал за стратегию развития Data Governance, выстраивание и сопровождение процессов управления метаданными, обеспечение качества данных, работу с НСИ, а также за развитие корпоративного хранилища данных, инструментария self-service для бизнес-аналитиков и проверку гипотез Data Science. Сейчас – директор практики Data Governance российского офиса компании Ataccama, где ведет стратегические проекты в области управления качеством данных, управления метаданными и НСИ, консалтинг по организации процессов Data Governance для заказчиков из России и стран Восточной Европы.

Большие данные для малого бизнеса

Работая с данными в крупных компаниях, предполагается, что потребители результатов этой работы – также крупные компании, использующие аналитику для поддержки принятия решений, поэтому и соответствующие сервисы, в первую очередь, ориентированы именно на такие организации. А что делать малому бизнесу, не имеющему собственных аналитических ресурсов? Как ему правильно принять решение и выжить на конкурентном рынке цифровых решений? Одна из задач Ассоциации больших данных, объединяющей крупнейших игроков рынка в области работы с данными – развитие рынка больших данных, вклад которого в ВВП страны к 2024 году достигнет 1,3 трлн рублей. Участники Ассоциации инициировали уникальный эксперимент – рекомендательный сервис «Собственное дело» для малого бизнеса. Сервис использует обезличенные данные из различных отраслей и вошел в перечень проектов в области цифровых инноваций, для которых вводится особый экспериментальный правовой режим. Доклад посвящен обсуждению архитектуры, возможностей и инструментов сервиса «Собственное дело», а также роли участников Ассоциации в его предоставлении предприятиям малого и среднего бизнеса.

Data Governance и Model Governance

Классические практики Data Governance применяются в МТС уже почти пять лет и изначально были ориентированы на бизнес-пользователей и аналитиков, однако сегодня оказалось, что у инженеров по данным и специалистов по исследованию данных (data scientists) имеются свои ожидания от соответствующих процессов и инструментов – от контроля качества данных до заполнения каталога данных. Доклад посвящен обсуждению понятия Model Governance (Управление моделями) и практик, которые пришлось поменять по запросу инженеров по данным, а также добавить новые в существующий блок Data Governance фреймворка Big Data МТС.

Управление данными в условиях непрерывных изменений

Динамика потребительских предпочтений, глобальные кризисы, подобные санитарному, а также последствия решений регуляторов оказывают сильное воздействие на бизнес компаний розничной торговли. Главным фактором не только устойчивого роста, но и выживания в условиях неопределенности становится для таких компаний их готовность к оперативному реагированию на изменения, возможность принятия объективных решений на основе анализа данных, предложение продуктов и услуг, предвосхищающих индивидуальные запросы потребителей. Доклад посвящен обсуждению особенностей трансформации бизнеса в контексте непрерывных изменений среды его существования. Особое внимание уделено изложению принципов управления данными в компаниях розничной торговли, их применению в новых условиях и трансформации взглядов всех участников экосистемы ретейла, а также специфике взаимодействия внутри международной группы компаний.

Data Mesh в телекоме

Любая телекоммуникационная компания собирает и обрабатывает огромное количество данных, стараясь извлечь из них максимальную ценность, используя, в частности «озера данных». Вместе с тем, в классическом подходе к работе с Data Lake имеются принципиальные ограничения при централизованном развитии хранилища – чем больше интегрированных систем и данных, тем больше требуется ресурсов на их поддержку и развитие, а значит, возникает больше кросс-зависимостей, что означает лавинообразный рост ответственности для определенных групп сотрудников компании. В итоге, например команда работы с Data Lake, становится бутылочным горлышком процесса доставки данных от источников к потребителям. Решение – распределенная структура управления данными (Data Mesh), позволяющая разделить ответственность: владение данными (генерация, описание, контроль качества, публикация) сосредоточено в бизнес-функциях, а CDO выступает в роли провайдера инструментария хранения, обработки данных, а также методологии управления ими. Доклад посвящен обсуждению опыта развертывания и эксплуатации Data Mesh в компании «Билайн». Особое внимание уделено процессам Data Governance, обеспечивающим взаимодействие между узлами распределенной структуры: внедрение каталога данных, определение ландшафта данных, роли владельца данных, общие политики для всех узлов.

Сервис доступа к государственным данным

Сегодня все больше покупок совершается в Сети – объем Интернет-торговли вырос в 2020 году на 60%, причем основной рост приходится на товарные группы подлежащие обязательной сертификации и декларированию: бытовая техника, одежда и обувь. При приобретении товаров в офлайн покупатель всегда может потребовать сертификат или декларацию у продавца, а для предоставления такой возможности при онлайн-покупках Федеральная служба по аккредитации совместно с бизнесом реализует сервис доступа к документам, подтверждающим безопасность товара, к сведениям о производителе и месте изготовления. Вся эта информация содержится в базах Росаккредитации. Доклад посвящен обсуждению архитектуры сервиса обмена данными между Федеральной службой по аккредитации и бизнесом электронной коммерции. Интернет-магазины смогут получать актуальные данные о документах, подтверждающих соответствие и публиковать ссылки на них в карточке товаров. Особое внимание в докладе уделено возможностям борьбы с контрафактом и способам повышения доверия потребителей к товарам добросовестных продавцов.

Дата-центрическая архитектура как основа быстрой доставки аналитических данных

Любой корпоративный ИТ-ландшафт образован множеством приложений, имеющих собственные базы данных, содержащие информационные объекты, отражающие бизнес-объекты, события и фазы бизнес-процессов. Как правило, многие объекты бизнес-процессов «отражаются» одновременно в нескольких базах, например, единица оборудования промышленного предприятия описана с разных точек зрения в системах бухучета, управления ремонтами и обслуживанием, управления производством и др.
Для того, чтобы приложения автоматизации различных бизнес-процессов работали вместе, их необходимо интегрировать с помощью решений классов MDM и ESB, однако такая интеграция поглощает ресурсы и редко полностью удовлетворяет потребности бизнеса. Дата-центрическая архитектура позволяет избавиться от всех интеграционных проблем, сделав данные, а не бизнес-приложения центральным элементом корпоративной ИТ-архитектуры. Доклад посвящен обсуждению особенностей реализации такой архитектуры на практике, позволяющей избежать неверных управленческих решений при выборе путей развития корпоративной ИТ-архитектуры, открыть путь к быстрому выполнению запросов бизнеса на создание новых приложений, аналитических представлений и отчетов. Особое внимание уделено анализу инструментов, позволяющих обеспечить непротиворечивость, актуальность и точность корпоративных данных, использовать одни и те же данные для решения разных бизнес-задач.

В поисках сокровищ в данных: эффективное управление data science

Цифровая трансформация обещает своим последователям несметные горы сокровищ, скрытых в сырых корпоративных данных. Однако ожидания не совпадают с реальностью – около 95% подобных проектов неэффективны, либо не доходят до завершения. На практике большинство проектов — попытка найти сокровища в темной комнате, которая далеко не всегда заканчивается успехом. Гораздо чаще комната оказывается бесконечной или пустой, а иногда сокровища, которые были очень близки, – фальшивыми. Доклад посвящен особенностям организации управления экспертизой Data Science так, чтобы в проектах цифровой трансформации идти только к тем сокровищам, которые стоят внимания и принесут деньги – в комнате с ярко включенным светом.

Как разглядеть «айсберг» в озере данных

Термин «data-driven» – принятие стратегических решений на основе данных, прочно закрепился в лексиконе менеджеров, однако за простым, на первый взгляд, понятием прячется сложный вопрос выбора соответствующей системы: приобрести готовое решение от вендора, воспользоваться бесплатными наработками сообщества OpenSource или инвестировать в развитие собственной команды, создающей продукты управления данными под запросы компании? Доклад посвящен обзору российского рынка решений управления данными и обсуждению проблем, с которыми сталкиваются разработчики на пути самостоятельного овладения открытыми технологиями. Особое внимание уделено вопросам построения озера данных на базе открытых технологий, особенностям подхода к оценке внутренней стоимости проекта создания и внедрения платформы, а также разбору типичных ошибок и проблем оценки «глазами» менеджера сложной технической задачи, которая потенциально может оказаться «айсбергом» в озере данных.

Как данные управляют компанией?

Мир быстро меняется – в условиях перехода экономической деятельности в онлайн и повышения роли проактивности экономические циклы сжимаются. Компании начинают прогнозировать ситуацию на рынке и поведение клиента, в надежде обеспечить принятие правильных управленческих решений и оперативно скорректировать свою стратегию. Данные и модели становятся единственным способом конвертации реальных участников, вещей и событий в цифровой мир. Считается, что чем больше у компании данных высокого качества, тем больше у нее шансов достигнуть успеха. Как следствие, многие компании сегодня собирают новые наборы данных, используют аналитику и технологии искусственного интеллекта, расширив использование как внутренних, так и внешних источников данных в реальном времени. Однако, далеко не в каждой компании сотрудники действительно используют имеющиеся данные в своей повседневной работе. Доклад посвящен обсуждению опыта создания и эксплуатации системы управления компанией на основе данных. Особое внимание уделено обсуждению архитектуры сбора и доставки в реальном времени данных, требуемых каждому сотруднику.

Карты потоков данных – примеры использования

Ландшафт любой финансовой организации федерального масштаба включает множество различных информационных систем, оперирующих огромными массивами данных: сотни тысяч таблиц, миллионы полей, разнообразные структуры, форматы и источники метаданных. Ориентироваться в таком пространстве сложно и чтобы найти нужный элемент данных требуется тратить массу времени на изучение документации и опросы сотрудников. Для работы в подобном ландшафте необходим специальный инструментарий по визуализации – DataLineage (карты потоков данных), позволяющий сотрудникам искать требуемую достоверную, непротиворечивую и актуальную информацию. Доклад посвящен обсуждению примеров использования в банке инструментария DataLineage, позволившего сократить затраты на анализ и разработку за счет облегчения поиска данных. Особое внимание уделено обсуждению особенностей формирования карт потоков данных в автоматическом режиме, что позволяет минимизировать затраты на рефакторинг ETL, снизить риски при регресс-тестировании и обеспечить прозрачность визуализации пути прохождения данных от момента их появления до конечного потребителя по цепочке ИТ-систем.

MDM: основа цифровой трансформации бизнеса и госуправления

Обозначение одного и того же информационного объекта в различных прикладных системах может отличаться, что приводит к дублированию мастер-данных и необходимости синхронизировать различные базы данных. Требуются справочники корпоративного уровня, созданные с учетом отраслевых, государственных и международных стандартов. Доклад посвящен проблеме создания и ведения таких справочников. Особое внимание уделено вопросам создания единой унифицированной терминологии для однозначного описания классов и идентификации характеристик продукции, для обеспечения возможности свободного обмена сведениями между различными информационными средами, работающими с корпоративными мастер-данными в различных контекстах.

Стратегия и инструменты управления качеством данных

Обеспечения качества данных в крупных организациях стало сегодня критически важным для обеспечения успеха любой инициативы бизнеса, связанной с данными. На это влияет наличие регуляторных требований, активное развитие систем искусственного интеллекта и инструментов принятия решений, объемы внутренней и внешней отчетности. Стратегия обеспечения качества неразрывно связана с другими процессами управления данными. Также существенную роль играют инструменты обеспечения качества данных, их взаимосвязи с другими инструментами платформы управления данными. В условиях, когда объемы данных растут, а экспертиза по данным распределена по организации, возникает потребность в реализации инструментов самообслуживания и обеспечении соответствующих процессов. В докладе рассмотрены вопросы разработки и реализации стратегии управления качеством данных, предложены пути их решения и разобраны практические кейсы.

MIS – информационная система для data-driven компаний

Корпоративные хранилища данных давно и успешно применяются как отечественными, так и зарубежными компаниями. На повестке дня сегодня вопрос – что таким компаниям надо сделать дальше, чтобы перейти от простого накопления данных к их использованию во всех аспектах бизнеса? Такой шаг – это построение системы Management Information System (MIS). Как MIS может стать платформой для развития культуры работы с данными в компании? Что нужно для реализации такой системы? Какие технические, организационные и методологические сложности могут возникнуть на этом пути и как их обойти? Доклад посвящен ответам на эти и другие вопросы.

Управления данными в российских компаниях

Мир быстро меняется, и если раньше управление данными было уделом лишь технических специалистов, то теперь вовлекает широкие круги руководителей и линейных менеджеров, что, в свою очередь, вызывает потребность в формировании единого взгляда на профессиональные навыки, общую терминологию и согласованные подходы. Ассоциация профессионалов управления данными (АПУД) фокусируется на экспертах в обласи DQ\DG\DM и тех, кто стремится ими стать. В докладе приводятся результаты проведенных под эгидой АПУД открытых семинаров по темам Data Governance, отражающих текущую ситуацию с организацией управления данными в различных компаниях и организациях, работающих в России. России.

Опыт проектирования и развертывания системы управления данными

В федеральных органах исполнительной власти России активно внедряются цифровые технологии, появляются новые источники и наборы данных. Сотни инспекторов Счетной палаты Российской Федерации уже сейчас используют данные из более 600 различных информационных систем сторонних организаций, и их количество постоянно растет. В этих условиях Счетная палата нуждается в комплексной системе управления данными. В докладе раскрыт опыт, который получил Департамент цифровой трансформации Счетной палаты в ходе внедрения такой системы: как и из кого сформирована единая команда по работе с данными, как организованы процессы работы, какие технические инструменты применяются, как они интегрированы в системный ландшафт организации, как организована подготовка персонала.

Высокоскоростной инструмент подготовки аналитических витрин

Задача аналитики на больших данных, поступающих из множества внешних и внутренних источников, обладающих различными структурами и схемами индексации, усложняется необходимостью визуализировать их в реальном времени для тысяч одновременно работающих пользователей. В результате, как показывает практика, для многих крупных инсталляциях систем бизнес-аналитики наблюдается резкое снижение быстродействия. Одним из решений может быть многоуровневая оптимизация: во-первых, оптимизация ETL-алгоритмов и создание горячего слоя хранения; во-вторых, оптимизация исполнения бизнес-логики за счет дата-центрической архитектуры сервера визуализации. Доклад посвящен обсуждению архитектуры и возможностей продукта Luxms Data Boring, позволяющего на реальных задачах в разы ускорить подготовку аналитических витрин по сравнению с традиционным способом – формирования витрин на стороне корпоративного хранилища и озера данных. Особое внимание уделено возможностям интеграции продукта с системами управления данными, в частности, использующими технологии искусственного интеллекта, на примере Informatica Data Catalog и библиотек AI/ML на примере Greenplum MADlib.

Одна логическая платформа для всех данных

Концепция управления данными на логическом уровне без их физического сбора в единый репозиторий набирает сегодня популярность при построении Logical Data Fabric, Data Mesh, гибридных и мультиоблачных инфраструктур. Доклад посвящен обсуждению особенностей построения единой Логической платформы для управления всеми данными компании вне зависимости от их географического положения, применяемых технологий, производительности обработки и скорости доступа.

Глобальная ролевая модель доступа к данным на базе логической фабрики данных

C ростом объемов и разнообразия типов источников данных все более актуальной становиться задача централизованного управления доступом. Применение технологии Виртуализации данных позволяет ограничивать параметры видимости отдельных наборов данных, строк и столбцов, применять алгоритмы динамического маскирования «на лету» в зависимости от пользовательских ролей и глобальных политик безопасности. В докладе обсуждаются принципы построения Глобальной ролевой модели доступа к данным на базе архитектуры Logical Data Fabric, а также анализируются результаты конкретных внедрений.

Зачем и как внедрять систему управления данными о клиентах

Активно растущие крупные компании непременно сталкиваются с проблемой достоверности данных о своих клиентах – в большой организации слишком много разнообразных источников данных, систем и сложных бизнес-процессов, что часто приводит к ошибкам, дублированию и устареванию сведений о клиентах. Доклад посвящен изложению опыта компании «Сбербанк страховании жизни» по созданию единой точки хранения клиентской информации, гарантирующей актуальность данных и отсутствие дублирования.

Система очистки озера данных

Компании и предприятия все чаще отдают предпочтение озерам данных, а не классическим хранилищам. Однако, несмотря на кажущуюся простоту идеи и заманчивые перспективы, применяемые обычно для работы с озером технологии не снимают главного вопроса, возникающего при работе с данными – доверия к содержимому озера, на основе которого могут приниматься критически важные для бизнеса решения. Чрезвычайно важно уметь оценивать качество данных в озере. В докладе разбирается проблема обеспечения качества данных в озере и анализируются возможности соответствующих систем, использующих техники и инструменты поддержки качества данных, выходящие за пределы типичного набора и переводящие задачу очистки на уровень руководства данными.

Референтные модели управления данными

Модели обучения призваны оптимизировать ресурсы компании для улучшения ее финансовых показателей, обнаружить важные инсайты, влияющие на бизнес и использовать их как дополнительные возможности для его роста. Референтными моделями могут быть нейросети, деревья решений и модели имитационного моделирования, позволяющие сфокусироваться на наиболее важных аспектах бизнеса и обеспечить его поступательный рост. Доклад посвящен обсуждению процессов и технологий управления жизненным циклом данных и обеспечения их качества. Особое внимание уделено анализу особенностей внедрения принципов демократизации и итеративности данных для обеспечения бизнесу непрерывных поставок продуктовой ценности.

Каталог данных: предпосылки создания и реализация

Объем данных, ежедневно создаваемый и обрабатываемый современными предприятиями непрерывно растет, что делает необходимым выстраивание и реализацию стратегии Data Governance, позволяющую повышать доверие пользователей к данным, разрабатывать понятные ролевые модели распределения ответственности для получения уверенности в актуальности и полноте используемых данных. Для реализации такой стратегии в службе Supply Chain компании «Балтика» был создан Каталог данных (Data Catalog) – система, связывающая источники данных, их компоненты и метаданные; учитывающая специфику архитектуры информационной системы компании, а также позволяющая масштабировать решение на все функции компании и страны ее присутствия в составе группы Carlsberg Group. Доклад посвящен описанию Data Catalog, обсуждению возможностей, в том числе с точки зрения конечного бизнес-пользователя. Особое внимание уделяется преимуществам работы с использованием Data Catalog и особенностям реализации принципов управления данными: описание (наличие бизнес-глоссария) и владение (ролевая модель ответственности).

Как повысить грамотность работы с данными

Появление нового всегда пугало людей – доля новаторов и ранних последователей среди пользователей традиционно мала, несмотря на ускорение развития технологий и разговоры про массовую цифровизацию. Большинство пользователей – это позднее большинство, которое не торопится внедрять в свою практику новые методы работы с информацией. Компания может потратить много сил и ресурсов на внедрение новых технологий, но пользователи продолжат использовать привычные инструменты и саботировать предлагаемые изменения. Для того чтобы в компании сформировалась культура работы с данными (Data-driven) важна не столько технологическая трансформация, а изменение устоявшейся бизнес-модели с целью преодоления сопротивления «делаем, как всегда делали» и принятия культуры работы с данными. Как удовлетворить интересы всех пользователей? Как убедить сотрудников свернуть с протоптанной дорожки и повысить интерес к данным? Как стать «Data-driven», а не буксовать на месте? Доклад посвящен ответам на эти и другие вопросы, связанные с повышением грамотности в использовании данных (Data literacy) и формированием культуры работы с ними.

Управление качеством мастер-данных в электронной коммерции

В отличие от традиционной розничной торговли, где клиент может «потрогать руками» товар, на цифровых площадках электронной коммерции потенциальному покупателю доступен лишь цифровой двойник товара – для успеха бизнеса качество данных о товарах становится критически важным фактором. Доклад посвящен анализу опыта внедрения системы управления качеством данных в «Яндекс.Маркет», разбору особенностей задачи управления данных для торговых площадок и важности управления качеством данных. Особое внимание уделено проблемам перехода от реактивного к проактивному подходу решения задач управления качеством данных, анализу технологических особенностей системы управления качеством данных и планах «Яндекс.Маркет» по развитию решения организации работы с мастер-данными и процессов Data Governance.

Роль методологии при внедрении управления на основе данных

Управление на основе данных (data-driven) – это уже не роскошь, а необходимость для организаций любого масштаба и отраслевой принадлежности. Однако, внедрение такого управления – сложный проект, затрагивающий все аспекты деятельности организации: управленческие практики, бизнес-процессы, технологии, оргструктуру и, конечно, культуру. Любой инициатор подобного проекта должен найти ответы на следующие вопросы: Как убедить основных стейкхолдеров поддержать проект по внедрению управления на основе данных? Как сделать первый шаг и быстро получить осязаемый результат? Как эффективно спланировать проект и минимизировать риски? Конечно, всегда можно попробовать реализовать такой проект "наудачу", а можно опереться на опыт уже выполненных проектов бизнес-аналитики, использовать имеющиеся практики и рекомендации, которые помогут сэкономить и время, и нервы. Доклад посвящен обсуждению методологии внедрения проектов бизнес-аналитики – неотъемлемой части управления на основе данных, разработанной на основе синтеза практического опыта, признанных мировых практик и методик. Основу методологии составляют: рекомендации, шаблоны документов, калькулятор экономической эффективности, карта технологий, примеры управленческих витрин и многое другое.

Секреты управления мастер-данными

Проблема создания и ведения справочников корпоративного уровня выходит далеко за рамки отдельных компаний и должна решаться с учетом отраслевых и государственных стандартов. Организация взаимодействия множества субподрядчиков, поставка и продвижение продукции на различных рынках невозможны без формирования единых принципов унификации описания информационных объектов на основе гармонизированных стандартов.
Организация мастер-данных данных может ориентироваться на методологию технических словарей – Open Technical Dictionary (OTD), разработанных с учетом специфики российской терминологии и в соответствии с методикой стандарта ГОСТ ИСО 22745 «Системы промышленной автоматизации и интеграция. Открытые технические словари и их применение к основным данным». Доклад посвящен анализу опыта применение единой унифицированной терминологии при управлении мастер-данными для однозначного описания классов, идентификации изделий и компонентов, независимо от информационных систем их описывающих.

Совершенствование процессов управления нормативно-справочной информацией

Внедрение MDM на промышленном предприятии, а тем более в распределенном холдинге, – крупный проект, предусматривающий многоэтапное решение множества задач. Для АО «ОДК» такой проект начался с организации информационного обеспечения инженерных подразделений, что и было сделано. Далее функциональными заказчиками MDM-системы стали подразделения коммерческого контура – только после сведения НСИ из этих двух контуров в одной системе, компания стала получать эффект от проекта MDM: формирование качественной потребности в ТМЦ (товарно-материальные ценности) и оценки обеспеченности этой потребности и, как следствие, сокращение издержек на ТМЦ, а также снижение себестоимости продукции. Этап масштабирования системы – от внедрения MDM на одной производственной площадке проект распространился на все предприятия холдинга и его дочерних обществ. Сейчас в стадии реализации находится проект интеграции MDM-системы с информационными системами на уровне ГК «Ростех». Доклад посвящен анализу опыта эксплуатации системы MDM – формирование потребности/обеспеченности на основе централизованной нормативно-справочной информации.

DataOps – управление данными как процесс

Построение работы с данными в организации – это процесс, на разных стадиях которого решается множество задач, начиная от методологии до выбора инструментария и формирования культуры работы с данными. Решение каждой из таких задач требует ответов на множество вопросов. Как методология отражается на инструменте? Как из системы Data Governance получить пользу для конечных потребителей? Как управление данными влияет на конечный результат работы с данными для организации? Как организовать выбор инструментов для поддержки цикличного анализа данных – неотъемлемой части процесса управления корпоративными данными? Доклад посвящен ответам на эти и другие вопросы. Основное внимание уделено выбору инструментария, включающего в себя все необходимые элементы методологии DataOps.

Совет по управлению данными

По мере развития организации ее инициативы по управлению данными сталкиваются с ситуацией, когда имеется понимание ценности управления данными, налажена работа с метаданными, развернута система управления качеством данных и внедряется продвинутая аналитика, однако отсутствует единая стратегия развития на уровне группы компаний. На этом этапе требуется подумать о создании комитета по управлению данными. Так в IDS Borjomi International было принято решение о создании Совета, отвечающего за все процессы управления данными в корпорации: построение системы управления данными, сопровождение и развитие функций и доменов данных, в том числе и мастер-данных. Такой Совет может исполнять функции на всех доменах системы управления данными. В докладе рассмотрены функции Совета, анализируется опыт его работы и демонстрируется его интегрирующая роль в функционировании предприятия, управляемого данными. Особое внимание уделено обсуждению стратегической задачи Совета как управляющего органа, формирующего единый взгляд на развитие функции управления на всех уровнях руководства корпорации, включая и акционеров.

Технологии управления данными

Множеству функциональных секторов управления данными сегодня соответствует весьма внушительный технологический стек, поэтому в докладе дается обзор по укрупненным горизонтальным слоям:

• анализ данных;
• интеграция данных и интероперабельность;
• управление качеством данных;
• операции и хранение данных, документов и контента.

Рассмотрены также всеохватывающие вертикальные слои:

• стратегическое управление данными (Data Governance);
• управление метаданными;
• информационная безопасность.

В докладе разбирается текущее состояние технологий управления данными и анализируются тенденции развития вовлеченных технологий, а также приводятся примеры конкретных инструментов и платформ.
Особо отмечается конвергенция технологий, затрудняющая их строгую классификацию и структуризацию.
.

Управление данными: вчера, сегодня, завтра

Управление данными стало сегодня ключевым процессом даже для предприятий самых консервативных отраслей экономики. В период санитарного кризиса многие компании за несколько месяцев прошли путь, который продлился бы несколько лет – некоторые осуществили переход от традиционных хранилищ данных к гибким микросервисным архитектурам и облачным технологиям; заменили ручной мэппинг данных из унаследованных систем автоматизацией на базе интеллектуального управления данными (Intelligent Data Management). Компании перестали лишь собирать и агрегировать всевозможную информацию, а сосредоточились на рациональном потреблении данных. Доклад посвящен обсуждению комплексного подхода к изменению операционной модели и инструментария управления данными. Особое внимание уделяется ключевым факторам, которые оказывали влияние вчера, актуальны сегодня и будут завтра определять работу CDO.

Единая платформа управления справочниками

Когда компании работают с разрозненными, не синхронизированными справочниками с данными низкого качества говорить о цифровизации не приходится. Ситуацию усугубляют высокие трудозатраты на обработку и поиск требуемых справочных сведений. Два года назад в ЕВРАЗ было принято решение о выполнении проектов внедрения единого справочника контрагентов и единого справочника ТМЦ. На базе продукта SAP MDG сегодня обеспечивается ведение Единого справочника сбытовой номенклатуры и Единого справочника контрагентов/грузополучателей. В перспективе планируется запуск в опытно-промышленную эксплуатацию Единого справочника товарно-материальных ценностей, а также развертывание централизованного каталога услуг. Доклад посвящен анализу опыта создания единого справочника контрагентов и единого справочника ТМЦ: предпосылки проекта, эффект от внедрения, проблемы и ошибки.

Управление данными в эпоху машинного обучения

В большинстве компаний уже внедрены и успешно эксплуатируются классические процессы управления данными, ориентированные на поддержку формирования отчетности, расчет различных KPI и анализ данных с использованием инструментов бизнес-аналитики. Одновременно с этим все шире применяются модели машинного обучения и системы искусственного интеллекта, что предъявляет новые требования к процессам управления данными. Для успешного построения ML-моделей требуются методы и инструменты, позволяющие оперативно оценить пригодность данных для моделирования, а также протестировать различные гипотезы и сценарии применения моделей. Однако, для обеспечения эффективной работы моделей машинного обучения требуется не только контролировать качество данных на основе классических бизнес-правил, но и проактивно отслеживать изменения профиля данных, контролировать точность моделей, а также оценивать влияние изменения характера данных на применяемые модели и метрики качества. Доклад посвящен обсуждению особенностей управления данными для задач машинного обучения, а также соответствующих возможностей платформы Polymatica ML.

Эшелоны управления и интеграции данных

.

Управление критически важными данными

Управление данными предполагает наличие всеобъемлющей информации о них, зафиксированной в регламентах и политиках, учтенной в ролях и бизнес-процессах. При этом особенно важно иметь понимание об уровне качества и защищенности критически важных для компании данных. Доклад посвящен обсуждению особенностей организации эффективного управления критически важными корпоративными данными.

От собственного дистрибутива Hadoop к высокотехнологичной экосистеме

.

Унифицированная аналитическая платформа как основа для трансформации ландшафта обработки больших данных

Часто проекты модернизации ландшафта обработки данных вызваны какими-либо проблемами эксплуатации, недостатком функционала или коллизиями с драйверами – в процессе изменений главное не разрушить то, что уже работает. Возможным решением может стать переход на Vertica: быстрое аналитическое хранилище на стандартном серверном оборудовании без дорогостоящих дисковых массивов или HighEnd-серверов с интерфейсом ANSI SQL; горизонтально-масштабируемая колоночная MPP СУБД со встроенным аналитическим функционалом; возможность работы на «голом железе», виртуальных машинах и в облаках; близкий к реальному времени отклик на базах петабайтных объемов; аналитика на платформе Hadoop; работа с унаследованными процессами; онлайн-аналитика при работе с Kafka. Кроме этого Vertica поддерживает работу с алгоритмами искусственного интеллекта, контейнерную обработку и имеет встроенные механизмы репликации базы данных. Доклад посвящен возможностям формирования единой (унифицированной) экосистемы обработки данных на основе эволюционного подхода корпоративного ИТ-ландшафта, обеспечиваемого СУБД Vertica.

Жизненный цикл данных – от периферии до озера

Данные сегодня приобрели критически важное значение, позволяя компаниям создавать инновационные решения, получать конкурентные преимущества и принимать взвешенные решения. Однако, управление данными создает для компаний большие трудности – цифровая трансформация невозможна без надежной архитектуры работы с данными и соответствующих аппаратно-программных решений:

• Как эффективно управлять жизненным циклом данных?
• Как оптимизировать данные?
• Что из себя представляют периферийные вычисления?
• Как реализовать DataLake не обладая специальными навыками?
• Как гарантировать высокую рентабельность инвестиций?

Доклад посвящен комплексным решениям Atos, специально предназначенным для работы с большими данными и средствами видеоаналитики.