Хранилища данных и OLAP

По мере роста бизнеса оказывается, что еще совсем недавно отлично работавшая аналитическая платформа становится узким местом. Почему? Всему виной — архитектура, а именно: централизованная модель данных, которая при масштабировании из инструмента превращается в препятствие. Как перейти к децентрализованному подходу на базе LakeHouse, сохранить целостность системы, не воспроизвести старые проблемы в новой обертке и не породить новые «силосные ямы».

Юлия Валентини, глава финансового департамента и член правления Банка Эсхата, — о переходе от разрозненных Excel-отчетов и локальных баз данных к автоматизированной экосистеме сбора, очистки и визуализации данных.

Кристина Проскурина, управляющий директор управления бизнес-анализа данных Блока больших данных РСХБ.Цифра, — о создании единой платформы для аналитиков, позволившей централизовать все разрозненные аналитические «песочницы» банка.

Геополитическая турбулентность усиливает конкуренцию на рынке логистических услуг, участники которого вынуждены переосмысливать традиционные модели ценообразования, пересматривать спектр предоставляемых сервисов и сокращать издержки, причем все это на фоне постоянного поиска новых маршрутов. Как показывает опыт транспортной компании ПЭК, без решений прогнозной аналитики и систем ИИ эффективный бизнес сегодня уже невозможен.

Сергей Черномырдин, руководитель направления по архитектуре данных «Магнита», – о внедрении Lakehouse, развернутого в Яндекс.Облаке на базе решений open source. С его помощью планируется не только заменить используемую платформу данных, но и существенно улучшить качество data-сервисов.

Ян Гузов, CDO банка «Санкт-Петербург», – о создании единой платформы данных и роли этого проекта для бизнеса банка.

В сети ресторанов быстрого питания Rostic’s проведена масштабная реорганизация платформы работы с данными, обеспечена работа в облаке и внедрены эффективные инструменты, позволившие оперативно принимать управленческие бизнес-решения на основе актуальных достоверных данных.

Программное обеспечение Kyvos можно применять со всеми популярными дистрибутивами Hadoop, в том числе с предлагаемыми компаниями Cloudera, Hortonworks и MapR, а также со стандартным от Apache.

«Россельхозбанк» завершил создание централизованного хранилища данных на платформе RS-DataHouse. Проект позволил консолидировать информацию, поступающую из 78 территориально распределенных филиалов, а также формировать на ее основе бухгалтерскую и управленческую отчетность.

Представив год назад архитектуру логического хранилища данных Unified Data Architecture, определяющую место и задачи различных платформ относительно источников и потребителей данных, компания Teradata предлагает теперь среду QueryGrid для унифицированной работы со всеми платформами как с единым пулом ресурсов для хранения и обработки любых типов данных.

Многолетний застой в сфере СУБД сменился расцветом новых решений – под влиянием возрастающего интереса к информационным экосистемам и работающим с ними аналитическим приложениям установившееся положение стало меняться. Возникла потребность в новых средствах для работы с хранилищами больших объемов данных, среди которых, в частности, СУБД с поколоночной структурой.

Параллелизм проникает повсюду, его необходимость обусловлена ростом объемов данных, количества приложений и пользователей информационных хранилищ. Он просачивается снизу, наслаивается сверху и встраивается внутрь почти всех СУБД и хранилищ данных.