data pipelining

Организация многоэтапной распределенной обработки потенциально бесконечного потока данных большого объема, поступающих, например, со спутников, — весьма сложная задача, особенно если требуется обеспечить отказоустойчивость и гарантированную обработку всех входных данных. Реализация такой обработки с использованием существующих менеджеров ресурсов требует выполнения множества действий вручную. Одно из возможных решений — облачная система автоматической конвейерной обработки.