МЕТОД ДЕКОМПОЗИЦИИ КОММУНИКАЦИОННЫХ ПРОСТРАНСТВ В РЕАЛИЗАЦИИ КОЛЛЕКТИВНЫХ ОПЕРАЦИЙ MPI

С. И. Сапронов
Вопросы атомной науки и техники. Сер. Математическое моделирование физических процессов 2013. Вып.2. С. 78-85.

Современные высокопроизводительные кластерные системы чаще всего имеют неоднородную инфраструктуру, когда гетерогенные вычислительные узлы с многоядерной архитектурой соединены посредством разнообразных коммуникационных средств. Такая неоднородность может оказывать критическое влияние на производительность параллельных приложений, которые используют коллективные коммуникации MPI: обмены через общую память на отдельных узлах должны эффективно согласовываться с обменами по быстрым и медленным каналам, соединяющим различные узлы. Одним из возможных способов адаптации средств обмена сообщениями к новым условиям применения является реализация для коллективных операций новых алгоритмов, учитывающих ту или иную особенность коммуникаций. Такой подход зачастую очень трудоемок.
       В статье освещается альтернативный подход, который предусматривает возможность более эффективного использования уже существующих алгоритмов коллективных операций. Суть этого метода заключается в разбиении сложного коммуникационного пространства, на котором изначально инициируется коллективная операция (всех процессов, выполняемых под управлением коммуникатора), на однородные подпространства (подкоммуникаторы) и в последующем выполнении этих операций по частям на отдельных подпространствах. Таким образом, организуется большой набор дополнительных алгоритмов коллективных операций.
       Преимущества таких алгоритмов заключаются, во-первых, в использовании достоинств уже существующих алгоритмов в однородной среде исполнения; во-вторых, в одновременном выполнении отдельных частей коллективной операции на независимых коммуникационных подпространствах; в-третьих, в сокращении количества медленных коммуникаций. (рис. 9, список лит. - 4 назв.).