Конференция "Технологии баз данных 2017"

Производительность – это важнейшая характеристика СУБД, достижение которой далеко не всегда дается само собой, а требует постоянной работы: объемы данных и нагрузки постоянно увеличиваются, а аппаратные платформы непрерывно совершенствуются. Для оптимизации производительности СУБД PostgreSQL также требуется регулярный мониторинг быстродействия, что и входит сегодня в сферу деятельности компании Postgres Professional. Вклад компании в повышение производительности включает в себя выполнение различных работ, начиная от устранения "узких мест" в коде, которые проявляются на многоядерных архитектурах и заканчивая разработкой новых индексных методов доступа. В докладе дается детальный анализ улучшений производительности, выполненных как компанией Postgres Professional, так и всего сообщества развития этой базы данных.

Производительность – это важнейшая характеристика СУБД, достижение которой далеко не всегда дается само собой, а требует постоянной работы: объемы данных и нагрузки постоянно увеличиваются, а аппаратные платформы непрерывно совершенствуются. Для оптимизации производительности СУБД PostgreSQL также требуется регулярный мониторинг быстродействия, что и входит сегодня в сферу деятельности компании Postgres Professional. Вклад компании в повышение производительности включает в себя выполнение различных работ, начиная от устранения "узких мест" в коде, которые проявляются на многоядерных архитектурах и заканчивая разработкой новых индексных методов доступа. В докладе дается детальный анализ улучшений производительности, выполненных как компанией Postgres Professional, так и всего сообщества развития этой базы данных.

Платформа Firebird широко применяется сегодня в корпоративных клиент-серверных продуктах: биллинг, учетные системы, ретейл и др., поддерживая работу с тысячами пользователей и террабайтными базами данных. Однако, помимо обеспечения надежности и производительности такие приложения требуют развитых средств контроля и мониторинга для их сопровождения администраторами и DevOps-инженерами. Доклад посвящен разбору архитектурных и технологических решений в СУБД Firebird, предназначенных для реализации средств онлайн-диагностики баз данных: валидация, мониторинг контроля текущего состояния и трассировка для анализа ситуаций в прошлом. Особое внимание в докладе уделено особенностям организации данных механизмов и тонкостям их использования на практике по отдельности и комбинированно для поиска проблем и анализа узких мест. Кроме этого рассматриваются встроенные в ядро счетчики производительности и анализируются возможности улучшения подсистем мониторинга, трассировки и диагностики.

ClickHouse -- распределенная аналитическая СУБД с открытым исходным кодом. В докладе рассмотрены архитектура, особенности реализации и функционирования этой СУБД, а также прикладные области, в которых применение ClickHouse наиболее оправданно. Особое внимание в докладе уделено учету тонкостей реализации СУБД и разбору типичных ошибок использования ClickHouse, что позволит без задержек развернуть систему в промышленную эксплуатацию. Кроме этого в докладе приводятся примеры использования СУБД ClickHouse как для поддержки сервисов компании «Яндекс»,так и для построения решений других компаний.

Ценность информации для современного бизнеса сегодня сложно переоценить – часто ее утрата равносильна потери конкурентных преимуществ, а иногда и всего бизнеса. Доклад посвящен обзору современных технологий, используемых для построения надежной защиты баз данных. Особое внимание в докладе уделяется вопросам обеспечения сохранности баз и хранилищ, используемых для хранения и анализа больших данных.

К современным СУБД предъявляются серьезные требования по минимизации времени простоя, обеспечение которых невозможно без набора технологий, позволяющих предотвратить появление проблем или исправить их без остановки сервиса. В докладе рассматривается такой набор технологий для СУБД Ред База Данных: логические, физические и инкрементальные бэкапы, различные виды репликации и пр. Особое внимание в докладе уделяется анализу опыта применения этой СУБД в решениях для федеральных ведомств России.

Технология SQL-ориентированных СУБД неразрывно связана с технологией HDD, особенности которой влияют на структуры данных и алгоритмы выполнения операций, методы управления буферным пулом СУБД, управление транзакциями, оптимизацию запросов и т.д. Альтернатива дисковым СУБД – In-memory СУБД, хранящие базы данных целиком в основной памяти. Несмотря на наличие у In-memory СУБД ряда преимуществ перед дисковыми СУБД, конкуренции между ними практически нет, что, прежде всего, связано с естественными ограничениями на размеры баз данных, свойственные In-memory СУБД. Сейчас появились новые виды аппаратуры хранения данными: SSD – блочные твердотельные накопители и SCM – энергонезависимая основная память. Характеристики SSD делали целесообразной разработку СУБД в расчете на их исключительное использование, однако до сих пор такой СУБД нет, а SSD используются лишь как простая замена HDD в СУБД, не учитывающих особенности новых сред хранения. Наличие SCM позволяет радикально упростить архитектуры СУБД и значительно повысить их производительность, однако для этого нужно пересмотреть многие идеи, положенные в основу дисковых СУБД.

Недавно появилась версия СУБД MySQL Server 8.0.3, которая была объявлена релиз-кандидатом, а значит через какое-то время сообщество получит стабильную версию на базе ветки 8.0. Доклад посвящен описанию новых функциональных возможностей и разбору решений по повышению производительности, реализованных в этой ветке: новый словарь данных; атомарные DDL-операторы; Common Table Exrpressions; Descending и Invisible в индексах; улучшенная поддержка Unicode и ролей; изменения в системе привилегий; усовершенствования репликации; и многое другое.

Достоинства высокоуровневых декларативных языков запросов, в том числе выразительность и возможность эффективного выполнения, традиционно считались важнейшими свойствами СУБД. В докладе рассматриваются методы оптимизации и выполнения декларативных запросов в распределенных масштабируемых средах обработки данных.

Постройка вокруг ЦОД любой крупномасштабной структуры, будь то фабрика, платформа, озеро, хранилище или грид, неизбежно предваряется подбором СУБД и инструментальных компонентов. В докладе систематизируется актуальный опыт проведения функциональных сравнений, эталонного тестирования и воспроизведения нагрузок, а также разбираются наиболее характерные ошибки и упущения всех этих процессов. Особое внимание в докладе уделяется вопросам оценки классических и массово-параллельных реляционных СУБД, систем NoSQL («ключ—значение», поколоночные, документо-ориентированные, графовые), полнотекстовых движков и резидентных гридов. Разбираются также вопросы совместимости экосистем и стеков (Hadoop, SMACK, ELK и др.) от различных поставщиков.

Интерфейс большинства современных СУБД – это язык SQL, обработка запроса к СУБД на котором состоит из трансляции и выполнения, причем время трансляции обычно во внимание не принимается, поскольку время обращения к системе хранения в традиционных гораздо много больше. Однако при работе с In-memory базами данных, время трансляции запроса может оказаться весьма существенным. В докладе представлен подход, использованный при обработке SQL-запросов в СУБД Tarantool – преобразование запроса в байткод для исполнения на виртуальной машине. Особое внимание уделяется примерам оптимизирующих преобразований байткода, призванных повысить производительность при работе с СУБД класса In-memory.

Tibero – единственная на сегодняшний СУБД, совместимая по основным параметрам с СУБД Oracle, что позволяет специалистам, имеющим опыт работы с этой базой, упростить процессы разработки, администрирования, оптимизации для среды Tibero. Максимальное сходство структур словаря, оптимизатора запросов, синтаксиса PL/SQL, DCL, DML, DDL дает возможность выполнить миграцию из Oracle в Tibero с сохранением кода SQL и PL/SQL. Сегодня многие уже поняли, что далеко не всегда требуется совместимость на 100%, а для ряда задач совсем необязательно «платить за самолет, когда достаточно автомобиля», однако неясно, что делать с уже имеющимися объектами на PL/SQL при замене СУБД и как учесть все особенности работы единого кода на двух СУБД. Доклад посвящен ответам на эти и другие вопросы, возникающие при выполнении миграции на Tibero 6. Особое внимание в докладе уделено технологиям миграции и анализу конкретного опыта переноса баз данных в проектах различного уровня, включая и федерального, например для АО «Администратор торговой системы оптового рынка электроэнергии».

Apache Ignite — платформа поддержки высокопроизводительной распределенной обработки петабайтных массивов данных в транзакционно-аналитическом режиме с применением SQL или Java/.NET/C++. Apache Ignite стоит сегодня на вооружении, в частности, в таких компаниях как Apple, Microsoft, IBM, Avis, Barclays, Canon, Сбербанк и Siemens PLM Software, работая на кластерах, масштабируемых до тысяч узлов и позволяя строить интегрированные хранилища емкостью от десятков гигабайт до тысяч терабайт. Изначально Apache Ignite позиционировалась как платформа In-Memory Data Grid, обеспечивающая интеграцию с внешними системами постоянного хранения, но с ограничениями выполнения операции «холодный» старт. Работа SQL в старой версии была возможна поверх данных в оперативной памяти, что ограничивало емкость рабочего пространства хранения. Доклад посвящен описанию возможностей новой версии Apache Ignite 2.1, позволяющей создавать практически безграничные пользовательские постоянные хранилища данных на базе модернизированной инфраструктуры построения отказоустойчивых масштабируемых систем обработки больших данных в оперативной памяти с использованием привычных интерфейсов SQL или Java/.NET.

Еще совсем недавно наиболее распространенным аналитическим инструментом в финансовых организациях было сочетание корпоративного хранилища данных на платформе реляционных СУБД и системы бизнес-аналитики, от которой обычно требовалось формировать ретроспективные текстовые отчеты или элементарную графику по событиям за отчетный период (как правило – месяц). Однако конкурентная борьба за клиента, все чаще предпочитающего цифровые каналы взаимодействия, стимулировала появление новых решений, позволяющих с минимальными задержками анализировать растущие объемы разнородных данных. В докладе рассмотрены задачи, решаемые в отдельном банке на Data Lake – системе, построенной в стеке технологий больших данных. Особое внимание уделено вопросам интеграции и обеспечения взаимодействия озера данных с уже имеющимися в банке решениями для анализа данных.

Через несколько лет после внедрения автоматизированных систем заказчики обычно оказываются в ситуации, когда загрузка оборудования приближается к максимуму, производительность выполнения ежедневных штатных процедур уже не устраивает бизнес и, как следствие, встает вопрос о необходимости покупки более мощного оборудования. Можно ли максимально отсрочить этот момент без ущерба для бизнеса? Доклад посвящен обсуждению, на примере СУБД от Oracle, методов оптимизации «боевых» баз данных, работающих на морально устаревшем оборудовании, используя методики оптимизации для OLTP и OLAP: например, Enterprise Manager, SQL Monitoring, параллельное выполнение, секционирование и др. Особое внимание уделено анализу ошибок проектирования и написания кода, мешающих «выжать» из оборудования максимум его возможностей.

Часто при построении корпоративного хранилища данных или Data Lake не учитываются ключевые требования к инфраструктуре, что приводит к провалу проекта. В современном мире нельзя обойтись без систем поддержки потоковой аналитики и машинного обучения, однако большинство компаний до сих пор находятся в заложниках унаследованной архитектуры, расходуя ресурсы на поддержку работоспособности и оптимизацию устаревших систем. В докладе, на примере СУБД Vertica, разбираются ключевые принципы построения современных аналитических хранилищ, отвечающих актуальным сегодня требованиям по производительности, масштабированию и надежности. Особое внимание в докладе уделено примерам проектов для компаний, строящих свою деятельность на данных.

Массивно-параллельные СУБД, в отличие от традиционных, позволяют использовать для хранения и обработки данных вычислительную мощность кластеров из десятков и сотен серверов – именно такие СУБД стали сегодня основой аналитического ядра современных корпоративных хранилищ. В этом году массивно-параллельной СУБД Greenplum исполнилось 12 лет, что ознаменовалось судьбоносным для проекта событием – он вошел в плеяду продуктов Open Source, что позволили существенно ускорить развитие проекта и расширить функционал. Новый подход к разработке, новая дорожная карта и расширение экосистемы СУБД Greenplum, привели, в частности, к появлению проекта Arenadata DB – первого дистрибутива СУБД корпоративного уровня на базе открытой версии Greenplum. Доклад посвящен описанию проекта Greenplum в целом, новшествам пятой версии и комплектации дистрибутива Arenadata DB. Разбирается также позиционирование проекта как современной платформы хранения и обработки данных – ядро СУБД было дополнено всеми необходимыми расширениями для работы в продуктивных средах средних и крупных предприятий.

В условиях экспоненциального роста данных, усложнения инфраструктур их хранения и обработки, а также ускорения процессов анализа разнообразных сведений растет цена ошибки администраторов баз данных, которые часто уже не в состоянии контролировать весь информационный ландшафт. Сегодня индустрии остро требуются решения, автоматически задающие параметры СУБД для достижения требуемого уровня надежности, безопасности, производительности, типу нагрузки и т.д. для оперативного построения необходимой архитектуры и работоспособной базы данных при минимальных усилий DBA по настройке и администрированию. В докладе разбираются подходы компании Oracle к созданию автономных коммерческих СУБД, обсуждаются достоинства таких баз и их механизмы обеспечения быстрого развертывания, самоуправляемости и самонастройки.

Компания CarPrice предлагает своим клиентам сервис оперативной продажи автомобиля по максимально возможной для текущей рыночной конъюнктуры цене – это реально, учитывая, что ее формирование происходит с учетом мнений тысяч дилерских центров, принимающих участие аукционе. Для поддержки разработки информационной системы автомобильного аукциона и сопровождаемых его услуг применяются, в частности, модные сегодня технологии микросервисов и нейронные сети. Однако, как показала практика, слепое следование моде чревато сюрпризами и разработчикам надо четко оценивать все возможные риски. В докладе рассматриваются особенности работы с данными в современных высоконагруженных и распределенных системах, проблемы при настройке нейронных сетей и преимущества, которые дает применение глубинного обучения.

Сегодня технологии блокчейна у всех на слуху, однако до сих пор имеются сомнения в надежности и безопасности распределенных реестров, что ставит под сомнение серьезность многих блокчейн-проектов. Доклад посвящен анализу рисков безопасности распределенных реестров и способности действующих протоколов им противостоять. Особое внимание уделено оценке возможностей блокчейн-систем отражать атаки различных типов: подмена пиров, сдвиг времени, сегментация сети, двойная трата (double-spending), консенсус-атаки и др. На опыте реальных инцидентов демонстрируются пути решения задачи обеспечения безопасности распределенных реестров.

База данных — основа архитектуры любого современного проекта, однако сегодня таких "сердец" у проекта может быть множество и кроме этого в одном проекте могут использоваться несколько разных движков СУБД, включая NoSQL, реляционные, распределенные хранилища и др. Все такие компоненты нуждаются в поддержке и мониторинге, причем для оперативного решения проблем со сложными системами недостаточно мониторинга типа "работает/не работает" – требуется получить исчерпывающий ответ на вопрос "что происходит и почему?". Однако, в условиях больших распределенных команд, отвечающих за эксплуатацию системы далеко не всегда удается идентифицировать проблему в конфигурации, даже если каждая ее отдельная часть функционирует в штатном режиме. Доклад посвящен вопросам организации эффективного мониторинга, позволяющего получить общую картину работы сложной системы, обеспечить прозрачность происходящих в ней процессов и упростить принятие решений. Особое внимание в докладе уделяется анализу недостатков ряда СУБД, препятствующих организации оптимального мониторинга, а значит и затрудняющих промышленную эксплуатацию критичных для бизнеса баз данных.

В докладе раскрывается концепция построения корпоративного хранилища на базе открытых технологий больших данных, поддерживающих все операции жизненного цикла доступной компаниям и организациям информации, начиная от ETL и до аналитики: обработка структурированных и слабо структурированных данных на базе Hadoop, потоковая обработка данных с использованием Apache Spark и др.