Латентность OpenMPI в сети ethernet

Недавно узнал интересный факт: при использовании в качестве транспорта сети ethernet библиотека OpenMPI позволяет понизить латентность передачи сообщений, если узлы соединены между собой несколькими сетевыми интерфейсами. При этом еще, что не удивительно, возрастает пропускная способность.

В тесте учавствовали два одинаковых узла, между собой они были соеденены двумя сетевыми кабелями (eth0 — свитч, eth1 — кроссовер).

Тесты проведены с использованием Open MPI 1.4.1. Компиляция: mpicc -O2.

Под латентностью понимается половина времени, требуемая для обмена сообщением длинной 1 байт двумя процессами.

Как видно из результатов, использование двух сетевых интерфейсов позволяет понизить латентность (в полтора раза на маленьких сообщениях) и увеличить пропускную способность сети почти в два раза.

Задание интерфейса осуществляется опцией типа –mca btl_tcp_if_include eth1 для команды mpirun.

Латентность для одного интерфейса – 25.1 мкс, для 2-х – 17.5 мкс. Пропускная способность – 109 и 206 МБайт/с соответственно.

Tags: mpi, openmpi, латентность