IV практическая конференция «Технологии управления данными»

Что тормозит развитие технологий баз данных?

Наблюдая в течение многих лет за развитием технологии баз данных, я убедился в наличии нескольких факторов, мешающих этому развитию. Во-первых, это инерция, заставляющая людей пользоваться устаревшими средствами при наличии более уместных вариантов. Во-вторых, это конъюнктура, приводящая к массовому увлечению вещами, объективно того не заслуживающими. И, наконец, это маркетинг, вынуждающий людей пользоваться тем, что объективно им не требуется. К сожалению, все эти факторы вредят не только людям, использующим технологии баз данных, но и исследователям, их развивающим. В докладе на ряде примеров иллюстрируются все эти факторы.

Управление данными на основе графов знаний

Относительная простота построения корпоративного хранилища привела к тому, что компании стали накапливать огромные массивы данных, неизбежно при этом сталкиваясь с проблемой их качества, согласованности и контроля. Компании сегодня буквально зарастают наборами данных, собранными в разное время разными подразделениями в разных форматах – как следствие, выросли расходы на инфраструктуру. Без формирования описания предметной области через онтологии, без понимания «смысла» данных любое озеро данных – это не более, чем свалка нулей и единиц. Для качественного изменения способов работы с хранилищами необходимо перейти от данных к знаниям, представив знания в базе знаний либо в графе. Доклад посвящен изложению принципов и подходов работы с графами знаний, формализующими сведения о реальном мире и содержащими все используемые компаниями источники информации вместе с их взаимосвязями. Особое внимание уделено обсуждению на примерах реальных проектов (в частности, граф знаний о всех юридических и физических лицах, участвующих в определенной деятельности в рамках российского правового поля) преимуществ и возможностей графов знаний, а также интерфейсов, позволяющих каждому конкретному сотруднику получать необходимую ему в каждый конкретный момент времени информацию вместе со всеми ее взаимосвязями.

Как ускорить поиск в больших таблицах: иерархические битовые индексы

Иерархические битовые индексы строятся на основе обычных битовых индексов – стандартном инструменте промышленных СУБД – позволяя ускорить обработку интервальных запросов для больших таблиц. Однако, для достижения кратного повышения производительности выполнения поиска требуется оптимизация. Применение битовых индексов в модифицированном виде, а не в виде, предоставляемом СУБД, существенно повышает эффективность поиска, причем затраты на такую модификацию с лихвой окупаются кратным повышением производительности обработки запросов. В докладе рассмотрены простые, но эффективные методы оптимизации иерархии индексов и приведены результаты практического использования полученного решения при эксплуатации информационных систем на базе промышленных СУБД.

Data-Centric Security: как защитить данные?

Данные – основной актив цифровой экономики, а обеспечение их безопасности становится сегодня такой же стратегической задачей, как и повышение производительности труда или объема предоставляемых услуг. Тем не менее, декларируемые цели по обеспечению безопасности часто не совпадают с целями бизнеса, которому нужна именно защита его данных, а деятельность в сфере безопасности как правило сводится к выполнению комплекса мер по защите ИТ-инфраструктуры. Подход Data-Centric Security (DSC) предполагает защиту корпоративных данных на всех этапах их жизненного цикла и с учетом всех их состояний: хранение, передача и обработка. Доклад посвящен обзору современных технологий, позволяющих реализовать подход DSC, анализу возникающих проблем и путей их преодоления.

СУБД Tibero: новые возможности секционирования, репликации и резервирования

Tibero – единственная СУБД, по основным параметрам совместимая с СУБД Oracle: максимальное сходство структур словаря, оптимизатора запросов, синтаксиса PL/SQL, DCL, DML и DDL дает возможность безболезненно выполнять миграцию между Tibero и Oracle, а специалистам по технологиям последней СУБД упростить процессы разработки, администрирования, оптимизации для среды Tibero. Первая версия СУБД Tibero была выпущена еще в 2003 году, что позволило Южной Корее решить задачу импортозамещения, обеспечив независимость своих корпоративных информационных систем от зарубежных поставщиков. Очевидно, что такая СУБД не может развиваться лишь в рамках одной страны, а для успешной конкуренции на международном рынке коммерческих систем управления базами данных ей требуется обеспечивать бесперебойную работу высоконагруженных конфигураций, надежно хранить, эффективно обрабатывать сотни терабайт данных и поддерживать выполнение еще множества других функций, без которых немыслима современная СУБД. Доклад посвящен обзору возможностей, которая компания TmaxSoft включила в СУБД Tibero за прошедший год. Особое внимание уделено новым и усовершенствованным технологиям секционирования, репликации и резервирования.

СУБД Tarantool 2.х: SQL и другие

От современных корпоративных платформ управления данными требуется работа в памяти, масштабирование, мультиплатформность, поддержка высокопроизводительных приложений, распределенных хранилищ и Edge computing. Естественно, что и СУБД, как один из инструментов создания таких платформ, обязаны обеспечивать выполнение подобных требований. Не стала исключением и отечественная СУБД Tarantool, в очередной версии которой появилась, например, поддержка ANSI SQL, средства выполнения нетривиальных запросов над большими объемами распределенных данных, работа как с In-memory движком memtx, так и с дисковым vinyl. В докладе разбирается архитектура новых решений, которые сегодня можно реализовать с помощью СУБД Tarantool, рассмотрен симбиоз возможностей интерфейсного языка Lua и SQL, проанализирован ход выполнения сложных составных запросов. Особое внимание уделено особенностям выполнения сложных аналитических запросов в условиях корпоративных хранилищ, а также отличиям от реализаций в других СУБД.

Мультимодельные СУБД – основа современных корпоративных систем

Бурное развитие рынка NoSQL СУБД позволило компаниям перейти к глубокой обработке данных, собираемых из разных источников, как следствие, cовременные корпоративные информационные системы работают сразу с несколькими узкоспециализированными СУБД, применяемыми в разнообразных подсистемах и сервисах. Однако использование таких инфраструктур сопряжено с рядом проблем: сложность согласования данных между различными СУБД, проблемы безопасности, запутанные структуры данных, проблемы преобразования данных, масштабируемость и надежность, необходимость обеспечения приемлемого времени отклика системы и быстродействия отдельных запросов, и т.д. Мультимодельные СУБД призваны устранить все эти проблемы – сегодня все ведущие игроки рынка СУБД (Microsoft, Oracle, IBM, MongoDB и др.) предлагают соответствующие решения. Доклад посвящен анализу особенностей перехода корпораций к использованию мультимодельных СУБД и разбору имеющегося опыта. Особое внимание уделено особенностям объединения в единой системе разных моделей для получения синергетического эффекта работы с корпоративными данными.

Ролевая модель доступа в корпоративном «Озере» данных

Сегодня Hadoop – один из наиболее используемых инструментов для хранения и обработки больших объемов данных, что и неудивительно, ведь для развертывания работоспособной сборки Hadoop потребуется менее часа. Однако, как показывает практика, в большинстве случаев такие инсталляции не идут дальше установки и настройки базовых параметров, отвечающих за производительность. Серьезных применений Hadoop, используемого в качестве основы для построения корпоративного «Озера» данных емкостью в несколько десятков терабайт с более чем 50 пользователями, обеспечивающего соблюдение всех обязательств по защите персональных данных и защиту конфиденциальной информации не так уж и много. Здесь на помощь приходят такие инструменты как Kerberos и Apache Ranger, на базе которых можно построить ролевую модель доступа к данным, включающую аутентификацию, авторизацию и аудит действий пользователей «Озера» данных на базе Hadoop. Доклад посвящен изложению опыта создания и эксплуатации корпоративного «Озера» данных, разбору нюансов предлагаемого решения, а также анализу возможных альтернатив.

PostgreSQL – адаптивная СУБД

Адаптивная система способна менять свое поведение в зависимости от изменений условий функционирования или нагрузки, что, применительно к СУБД, означает, в частности, оптимизацию запросов, автоматический выбор индексов и материализованных представлений. В общем случае оптимизаторы запросов далеко не всегда генерируют оптимальные планы, что часто вызвано ошибками в оценках статистических свойств данных – кардинальности. Методы адаптивной оптимизации и выполнения запросов предусматривают пересмотр плана по ходу его выполнения – когда становятся известны фактические статистические характеристики промежуточных результатов. Доклад посвящен разбору свойств адаптивности СУБД PostgreSQL: адаптивных моделей стоимости, позволяющих с помощью машинного обучения повысить качество оценок кардинальности; средств автоматического выбора индексов и материализованных представлений для групповой оптимизации смеси запросов, фактически выполняемых на сервере и др. Кроме этого, излагаются способы достижения адаптивности путем изменения параметров настройки сервера в зависимости от характера нагрузки на СУБД, что особенно актуально при работе в облаке.

PostgreSQL – адаптивная СУБД

Адаптивная система способна менять свое поведение в зависимости от изменений условий функционирования или нагрузки, что, применительно к СУБД, означает, в частности, оптимизацию запросов, автоматический выбор индексов и материализованных представлений. В общем случае оптимизаторы запросов далеко не всегда генерируют оптимальные планы, что часто вызвано ошибками в оценках статистических свойств данных – кардинальности. Методы адаптивной оптимизации и выполнения запросов предусматривают пересмотр плана по ходу его выполнения – когда становятся известны фактические статистические характеристики промежуточных результатов. Доклад посвящен разбору свойств адаптивности СУБД PostgreSQL: адаптивных моделей стоимости, позволяющих с помощью машинного обучения повысить качество оценок кардинальности; средств автоматического выбора индексов и материализованных представлений для групповой оптимизации смеси запросов, фактически выполняемых на сервере и др. Кроме этого, излагаются способы достижения адаптивности путем изменения параметров настройки сервера в зависимости от характера нагрузки на СУБД, что особенно актуально при работе в облаке.

Онтологии: управление доступом к разрозненным данным

Любая крупная организация имеет в своем распоряжении огромные объемы данных, рассеянных по множеству автоматизированных систем, хранилищ или наборов плоских файлов – возможность извлекать выгоду из всего этого массива непосредственно зависит от доступности данных для поиска и анализа. Логическая витрина данных – один из способов организации разрозненных данных, включая слабо структурированные, в единое связное информационное пространство, позволяющее компаниям извлекать знания. Использование онтологий при построении витрины дает возможность строить поисковые запросы в привычных сотрудникам компании терминах и получать точные, верифицируемые результаты, как при обычном запросе к СУБД. Кроме этого, онтологии открывают путь к созданию средств автоматизированной обработки знаний. В докладе рассмотрены интерфейсы для работы с логическими витринами, а также типовые архитектуры приложений для работы с ними. Особое внимание уделено анализу опыта выполнения реальных проектов для заказчиков федерального уровня, работающих в различных отраслях экономики России.

Управление данными: проблемы, тенденции, рекомендации

Управление данными (Data Management) – обширная область деятельности, не сводимая лишь к технологиям управления базами вместе с дополняющими их технологиями интеграции и анализа. Доклад посвящен обзору секторов управления данными согласно международным рекомендациям Data Management Body of Knowledge (DAMA International), а также анализу подходов и технологий, обеспечивающих реализацию функций этих секторов. Какие насущные проблемы стоят перед разработчиками, какие возможны альтернативы их решения? Какие техно­логические тенденции наблюдаются в сфере управления данными, как аналитики оценивают зрелость и перспективы развития конкретных технологий управления данными? Также в докладе уделено внимание практическим соображениям о ключевых задачах и инициативах при становлении корпоративного управления данными.

Как одному администратору сопровождать множество баз данных

Успех бизнеса любой компании цифровой экономики определяется скоростью и качеством обработки данных, однако объемы данных растут экспоненциально, увеличивается число приложений для решения бизнес задач и количество соответствующих баз данных – сегодня в активе многих отечественных компаний сотни баз, без которых невозможно функционирование бизнеса. Кроме этого, для надежной работы ИТ-инфраструктуры даже небольшой компании необходима не только основная база приложения, но и базы для разработки, тестирования, обеспечения катастрофоустойчивости, поддержки витрин и т.п. Для их эффективного сопровождения их всех требуется большая команда опытных и дорогих администраторов, ошибки или запоздалая реакция которых на нештатные ситуации приводят к простоям, деградации производительности, потерям данных и убыткам бизнеса. Как решить задачу оптимального управления множеством баз в условиях дефицита администраторов? Доклад посвящен автономным базам данных, способным самостоятельно выполнять основную часть работы администраторов. Особое внимание уделено новым механизмам, предложенным за прошедший год компанией Oracle, позволяющим сделать ее СУБД и сервисы Autonomous DW, Autonomous Tansaction Processing действительно автономными, облегчающими работу администраторов. Также рассматриваются «умные» систем мониторинга, управления, диагностики и настройки, обеспечивающие работу с множеством баз, как с единым целым.

Технологии In-Memory для анализа данных в реальном времени

В цифровую эпоху большие данные требуется обрабатывать в режиме близком к реальному времени – пользователи уже привыкли к онлайн-банкам и онлайн-сервисам массового обслуживания. При этом в такой обработке задействуются и корпоративные информационные системы, производительность которых уже может не удовлетворять возросшим требованиям: онлайн-антифрод, анализ поведения пользователей, обработка событий в реальном времени, принятие решений на основе огромных массивов исторических данных и т.д. Доклад посвящен технологии хранения и обработки данных в оперативной памяти, позволяющей обеспечить поддержку анализа данных в реальном времени, а также разбору изменений, которая она несет ИТ-ландшафту современных предприятий. Особое внимание уделено потоковой аналитике, обеспечению быстрых транзакций и обсуждению "цены вопроса" решений класса In-Memory.

СУБД PostgreSQL 11 – базовая технология цифровой экономики

Доклад посвящен обзору новых возможностей версии PostgreSQL 11, отвечающих современным тенденциям мира СУБД: автономность, облака, децентрализация. Разбираются такие направления развития, как: параллельная обработка данных, JIT-компиляция, секционирование данных, средства оптимизации и пр. Особое внимание в докладе уделено обсуждению перспективных направлений развития этой СУБД, определяемых, в том числе, обширным сообществом разработчиков и пользователей Postgres.

Большие проблемы аналитики больших данных в больших компаниях

Визуальный анализ — выявление скрытых проблем и их решений в больших массивах разнообразных сведений в области медицины, производства, транспорта и пр. – призван помочь предприятиям обнаружить знания в накопленных корпоративных данных путем их представления в форму, обеспечивающую обнаружение скрытых закономерностей и аномалий. Для этого сейчас применяются технологии интерактивной визуализации оперативной и стратегической информации, позволяющие сотрудникам компании через визуальные образы выявлять скрытые проблемы и находить пути их решения. Доклад посвящен разбору текущего состояния дел с анализом больших данных на предприятиях, обсуждению барьеров, возникающих на пути крупных компаний, реализующих проекты анализа и визуализации корпоративных данных. Особое внимание уделено конкретным примерам преодоления таких барьеров и демонстрации методов интегрированного представления множества информационных, управленческих и финансово-экономических аспектов бизнес-процессов с целью обнаружения скрытых взаимосвязей.

Управление производительностью кластеров баз данных

Современные корпоративные базы данных на основе любых СУБД – это обычно множество узлов, связанных репликацией и\или и объединенных в кластеры. Решение задач выявления узких мест в такой конфигурации, планирование роста нагрузки, а также принятие решений по устранению эксплуатационных проблем облегчается в случае применения открытой системы Percona Monitoring and Management. Доклад посвящен анализу типичных проблем, возникающих в процессе обеспечения работоспособности корпоративных приложений, разбору сценариев поведения команды системных администраторов при устранении сбоев в кластерах. Особое внимание уделено мерам обеспечения бесперебойной работы инфраструктуры поддержки корпоративных баз данных и наглядной демонстрации возможных решений.

Разработчики «неизвестны»

На рынке систем управления базами данных сегодня верховодят всего несколько систем, в силу разных причин завоевавших благосклонность разработчиков и пользователей, однако мир СУБД намного богаче – многие плодотворные идеи и эффективные решения впервые появились в ряде малоизвестных сегодня систем. Митап посвящен обзору таких СУБД, некоторые из которых прекратили развиваться, заброшены или вошли в состав более успешных продуктов. Особое внимание уделено анализу интересных архитектурных решений и примеров утилизации наследия таких «крафтовых» СУБД, опыт разработки и эксплуатации которых может быть поучителен для современных участников движения СУБДстроения, в частности: EventQL, ряд конструктивных решений вошло в ClickHouse; LucidDB, кодовая база системы использовалась в Apache Calcite и в адаптированном виде применяется в Hive, Drill, Samza, Storm и др.; InfiniDB вдохновила создателей MariaDB; документоориентированная RethinkDB оказалась весьма эффективной для платформы SSD и поддержки приложений реального времени; идеи XML СУБД Sedna и ViyaDB применяются в ряде современных коммерческих систем.

Простые решения сложных задач

Как известно, для достижения предельной производительности достаточно избавить машину от лишней работы. Как правило, можно справиться со сложной задачей путем максимально эффективного использования сильных сторон простых/минималистических решений, например, в двух достаточно распространенных сценариях применения OLAP и OLTP: мало обновлений, но много «тяжелых», конкурирующих за ресурсы чтений записей; обновлений так много, что обработать их нельзя даже при наличии SSD/NVMe, не говоря об использовании систем хранения на шпиндельных дисках. Доклад посвящен разбору одного из таких решений технологической ниши специализированных высокопроизводительных хранилищ, способных конкурировать по производительности с популярными In-Memory решениями, а также его сравнению с другими подходами, используемыми, в том числе в СУБД Tarantool и RocksDB. Рассматриваются противопоказания, пограничные случаи и возможные компромиссы, востребованные при решении задачи обеспечения долговечности данных.

Управление потоками корпоративных данных на «Марсе»

В больших распределенных компаниях обычно эксплуатируются десятки систем мониторинга, работающих с потоками корпоративных данных, в цифровую эпоху составляющих основной актив бизнеса. Как компании ориентироваться в потоках разнородных данных, умудряясь получать выгоду от анализа обобщенных данных? Доклад посвящен изложению опыта построения в компании Mars системы «умного» мониторинга, хранения и анализа данных. Особое внимание уделено истории развертывания системы, анализу ошибок и обобщению полученного опыта, добытого в «боевых» условиях работы в реальном времени с неструктурированными данными и моделями.

Экосистема работы с корпоративными данными

Хранение на уровне объектов – не новшество, однако острая необходимость обеспечения быстрого поиска в массивах неструктурированных данных, управления корпоративными данными на всех этапах их жизненного цикла, а также рост популярности таких технологий доступа к объектным хранилищам, как Ceph, AWS S3 RESTful, OpenStack Swift и пр., вызвали сегодня прилив интереса к системам хранения на уровне объектов. За более, чем десятилетие компания Hitachi Vantara выстроила экосистему объектного хранения, включающую хранилище, средства мобильного доступа к данным и поддержки контекстного поиска, систему мониторинга и пр., способствующую решению задач управления корпоративными данными. Доклад посвящен обзору возможностей систем объектного хранения, проблемам их развертывания и перспективам развития. Особое внимание уделено анализу задач, решаемых в рамках экосистемы, созданной на базе продуктов Hitachi Vantara.

Работа с пространственными данными неограниченного объема

Многие современные задачи, такие как ГИС, решения класса Vehicle to everything (V2X) – обеспечение взаимодействия между всеми участниками дорожного движения (автомобили, инфраструктура и пр.), мониторинг транспортных потоков и т.д. подразумевают работу с пространственными данными большого объема. Доклад посвящен обсуждению методов индексации и поиска, на которых основана специализированная СУБД для работы с пространственными данными. Новые методы превосходят такие традиционные способы как M-tree, R-tree и позволяют поддерживать режим высокой нагрузки и доступности. Особое внимание уделено обсуждению на конкретных задачах (например, режим V2X) особенностей выполнения таких требований как: масштабируемость, балансировка нагрузки, хранение со сжатием и т.д., а также обеспечение режимов "Spatial DBMS", "Time spatial DBMS" и поддержки пространственной аналитики.

Greenplum – ядро корпоративной платформы данных

«Игра изменилась» – именно так лучше всего можно охарактеризовать ситуацию, сложившуюся сегодня в области корпоративных хранилищ. В противовес моновендорным решениям от ИТ-гигантов индустрии, современные решения управления данными все чаще строятся из нескольких отдельных компонентов, каждый из которых эффективно решает конкретную задачу. Однако, для максимально гибкого и эффективного использования наборов таких разнообразных компонентов необходима надежная, масштабируемая СУБД корпоративного уровня, выполняющая роль единой точки доступа всех пользователей к корпоративной информационной платформе. Доклад посвящен массивно-параллельной СУБД Greenplum – основе современных информационных платформ, поддерживающей выполнение всех функций, требуемых от корпоративной системы управления данными и обеспечивающей работу с сотнями серверов, составляющих сегодня основу аналитического ядра современных корпоративных хранилищ.

От базы данных к платформе

Сложность информационного ландшафта современных корпораций и многообразие бизнес-сценариев, которые им требуется реализовать сегодня и быть готовыми к завтрашним – означает, что выполнить все многообразие, порой взаимоисключающих требований, в рамках одной СУБД или конкретной технологии практически невозможно. Время монолитных систем прошло и сегодня все больше крупных компаний делает свой выбор в пользу интегрированных платформ данных, содержащих различные инструменты работы с данными: загрузка, трансформация, очистка, хранение, обеспечение безопасности, разграничение доступа и т.п., использующих, в частности, технологии и решения на базе продуктов Open Source. Доклад посвящен обзору многофункциональной платформы Arenadata Enterprise Data Platform, позволяющей решать большинство задач, возникающих при работе с корпоративными данными на всем протяжении их жизненного цикла.

Платформа мониторинга клиентского опыта и доступности сервисов

В любой телекоммуникационной компании генерируются огромные потоки данных – различные ИТ-системы в реальном времени формируют массивы разнообразных сведений, которые до недавнего времени использовались лишь ИТ-специалистами, например для устранения технических проблем либо хранились мертвым грузом. Вместе с тем, новые подходы к анализу и обработке данных позволяют извлекать из накопленных сведений пользу и для бизнеса. Доклад посвящен анализу опыта построения платформы мониторинга доступности услуг, оценки качества обслуживания клиентов и уровня инфраструктурных сервисов, предоставляемых компанией «МегаФон».

Платформы и технологии управление «океаном» данных

Подразделения современных распределенных корпораций, медицинских учреждений, страховых компаний и пр. генерируют сотни петабайт данных, что требует иных подходов работы с ними, отличных, например от применяемых в Grid. Одна из возможных моделей обработки, хранения, доступа и управления экзабайтными массивами распределенных данных в различных форматах – это федерация ресурсов или модель «океана» данных, учитывающая возможности сетей, особенности конкретного оборудования, установленного в различных отделениях корпорации, параметры систем хранения и пр. Для нивелирования различий в архитектурных решениях подразделений требуется система управления потоками заданий обработки и анализа данных; система мониторинга, контроля и визуализации функционирования распределенной инфраструктуры. Доклад посвящен обзору проектов создания «океана» корпоративных данных – географически распределенной инфраструктуры, которая для конечного пользователя выглядит логически единой – ведущихся сегодня в рамках национальных и международных научных проектов, а также силами отдельных коммерческих компаний, включая и Google. Особое внимание уделено пилотному проекту создания "океана данных" на базе компонента Google Compute Engine облачной инфраструктуры Google Cloud Platform, обеспечивающий доступ к информационным ресурсам из различных точек Земного шара.