Обработка в памяти

Объемы данных во всем мире постоянно увеличиваются — организациям все труднее управлять их потоками без специализированных высокопроизводительных инструментов. Эффективный анализ данных именно в режиме реального времени становится уже не просто желательным, но и, в ряде случаев, критически важным. СУБД Picodata — один из таких инструментов обработки данных в реальном времени.

Измеряя потребление процессором энергии, можно статистическими методами восстановить данные, с которыми он работал. Исследователи научились устранять эту уязвимость.

Исследователям удалось найти решение проблемы аналоговых вычислений — шумов и накопления ошибок.

Однако его архитектура настолько необычна с точки зрения традиционного программирования, что его создатели в течение нескольких лет работали над специализированным ПО.

Традиционные системы хранения не могут расширяться бесконечно или хотя бы достаточно быстро, что особенно критично для задач глубинного обучения, в случае когда данных больше, чем может поместиться на одной машине. Поэтому для поддержки работы с большими данными все чаще применяются распределенные горизонтально масштабируемые архитектуры хранения и обработки в памяти.

Открытая платформа обработки данных в памяти может применяться для ускорения аналитической обработки оперативных данных в массивно-параллельной СУБД, кэширования оперативных данных в HDFS и реализации транзакционного кэша данных для систем потоковой передачи и шин данных.

В эпоху цифровой экономики невозможно принимать взвешенные решения без анализа в реальном времени всех доступных данных. Но сегодня пока нет технологий, способных обеспечить более высокую скорость и масштабируемость, чем обработка и хранение в памяти.

Для приложений, критичных к скорости доступа к данным, сегодня все активнее применяются СУБД с хранением в памяти (in-memory), однако реальным проектам требуются еще и сохранность данных при сбоях, поддержка транзакций, вторичных индексов, хранимых процедур и другие функции, обеспечиваемые классическими системами управления базами данных.

Вычисления в памяти, ориентированные на приложения Больших Данных, сулят выход на новый уровень производительности и масштабируемости.

Особенность Vora — возможность использования традиционных методов оперативной аналитической обработки и языков программирования для анализа всех доступных на предприятии данных.

По утверждениям участников проекта Apache Arrow, он позволит увеличить производительность при решении аналитических задач в сто с лишним раз.

Директор компании Hazelcast заявил, что компания GridGain — один из основных конкурентов его компании на рынке СУБД категории in-memory — опубликовала некорректное сравнение производительности их соответствующих разработок.

Платформа SAP Foundation for Health специально адаптирована для медицинских учреждений.

Платформа SAP Foundation for Health специально адаптирована для медицинских учреждений.

В компании добавляют, что HANA Vora будет полезен организациям, которым надо анализировать большие объемы данных в контексте бизнес-процессов, в том числе предприятиям, работающим в финансовой сфере и в отраслях услуг связи, здравоохранения и производства.

В условиях нынешней экономической турбулентности наиболее успешным и, скорее всего, единственно возможным направлением развития крупных предприятий будет применение решений, кардинально улучшающих бизнес-возможности с одновременным снижением совокупной стоимости владения информационной системой. Один из вариантов — СУБД класса in-memory.

Особенностями новой версии работающей в памяти СУБД стали поддержка геопространственных данных и Spark Connector — механизм интеграции с фреймворком разработки распределенных приложений Apache Spark.

Облачная версия платформы обработки данных SAP S/4Hana предназначена для реализации гибридных сценариев работы с использованием как облачных приложений, так и приложений, работающих на аппаратной платформе клиентов.

Компания SAP представила новое поколение корпоративного программного обеспечения, построенного на платформе СУБД HANA, основанной на обработке данных в оперативной памяти.

Компании выпустили решение для анализа потоков данных в реальном времени. Совместно созданная система позволяет оперативно реагировать на события, и как утверждается, обладает неограниченной масштабируемостью.