Титан – как устроен самый быстрый в мире компьютер

16 ноября 2012 года завершилась проходившая в Солт-Лейк-Сити двадцать пятая конференция по высокопроизводительным вычислениям Supercomputing 2012 (SC12). Обсуждаемые в отрасли изменения нашли отражение в обновлённом рейтинге суперкомпьютеров TOP500. Вновь изменилась расстановка сил, и укрепились наметившиеся в июне тенденции.

Пять мест в десятке лидеров (включая первые два) и 251 суперкомпьютер среди пятисот самых быстрых в мире установлены в США. Второе место по числу высокопроизводительных систем (72 из топовых 500) занял Китай, сместив Японию на третье место.

Основной вклад в вычислительную мощь Европы примерно в равных долях вносят Великобритания, Франция и Германия. На их территории расположены 65 из 500 лучших суперкомпьютеров.
Победители TOP500

За прошедшие пять месяцев список претерпел существенные изменения, что лишний раз демонстрирует скорость развития данной отрасли. Прежний лидер – система Sequoia Ливерморской национальной лаборатории имени Лоуренса, покорившая в июне планку в 16,32 петафлопс, оказалась на втором месте.

Суперкомпьютер IBM Sequoia (BlueGene/Q) — второе место в ноябрьском рейтинге TOP500 2012 (фото: IBM)

На третьем месте с результатом 10.51 петафлопс в бенчмарке LINPACK находится созданный компанией Fujitsu японский суперкомпьютер K Computer, установленный в Институте физико-химических исследований RIKEN (г. Кобе).

Суперкомпьютер Fujitsu K Computer — третье место (фото: Fujitsu)

Пятое и шестое место принадлежат Германии. Разработанные в IBM суперкомпьютеры JUQUEEN (самый быстрый в Европе) и SuperMUC продемонстрировали производительность на уровне 4,14 и и 2.89 петафлопс соответственно.

Китайский суперкомпьютер Tianhe-1A, созданный в оборонном научно-техническом университете города Тяньцзинь, переместился на восьмое место рейтинга с результатом 2,57 петафлопс.

Суперкомпьютер Tianhe-1A (фото: National Supercomputing Center of Tianjin)

Девятое место занимает итальянский Fermi (1,73 петафлопс), а десятое – DARPA Trial Subset (1,52 петафлопс).

Самый быстрый российский суперкомпьютер «Ломоносов», принадлежащий МГУ, оказался на 26 месте с результатом 0,9 петафлопс.

Суперкомпьютер «Ломоносов» (фото: «Т-Платформы»)

Возглавляющий список Titan (Cray XK7) расположен в Национальной Лаборатории Окриджа – ведущем вычислительном центре министерства энергетики США. Он стал не просто самым быстрым суперкомпьютером. Его архитектура и оригинальные технические решения заслуживают самого пристального внимания.
Titan

«Титан» состоит из 18 688 вычислительных узлов. Каждый узел включает в себя 16-ядерный процессор AMD Opteron 6274/6276 с четырёхканальным контроллером оперативной памяти, 32 ГБ ОЗУ DDR3 (registered ECC) и главный козырь – графический ускоритель NVIDIA Tesla K20X с 2688 ядрами CUDA и 6 ГБ собственной памяти GDDR5.

Суперкомпьютер Titan (Cray XK7) — лидер ноябрьского рейтинга TOP500 2012 (фото: Oak Ridge National Laboratory)

Вычислительные узлы «Титана» объединяются по 8 штук в блоки и далее соединяются в отдельно стоящие модули при помощи сетевого интерфейса Gemini с пропускной способностью 160 ГБ/с на чип.

Вычислительный блок суперкомпьютера Titan (фото: Oak Ridge National Laboratory)

Внешне модули напоминают стандартные 19” шкафы 42U, однако фактические размеры одного модуля составляют 236 x 144 x 57 см, а масса – около 725 кг без учёта системы водяного охлаждения. На момент составления рейтинга «Титан» состоял из 208 таких модулей. Пиковая потребляемая мощность одного модуля составляет немногим более 54 кВт.

В сумме 18688 узлов обеспечивают 299008 ядер архитектуры x86 с частотой 2,2 – 3,2 ГГц и 50 233 344 ядер CUDA в 261 632 SMX блоках. В качестве общего количества вычислительных ядер суперкомпьютера Titan указывается сумма всех ядер архитектуры x86 и SMX блоков – 560 640.

Используемые процессоры AMD серии Opteron 6200 (Interlagos) стали первым серверным решением на базе архитектуры Bulldozer с энергоэффективностью 4,375 Вт на ядро.

Последнее обстоятельство и применение графических ускорителей позволило «Титану» занять также третье место в рейтинге Green500. Помимо статуса самого быстрого он стал ещё и одним из самых энергоэффективных суперкомпьютеров с результатом 2142,77 мегафлопс на Ватт потребляемой энергии.

По разным оценкам ускорители Nvidia обеспечивают порядка 85% – 90% всей вычислительной мощности. Отказ от них в пользу наращивания числа процессоров потребовал бы увеличения занимаемой площади примерно в 4 раза и во столько же увеличил бы энергопотребление. Использование графических ускорителей прочно «вошло в моду», что хорошо заметно на графике ниже.

Динамика роста использования графических ускорителей (фото: Nvidia)

Сейчас «Титану» требуется для размещения 404 квадратных метра, а усреднённое значение его потребляемой мощности составляет 8,2 МВт.

Разработка «Титана» не велась с нуля. Он был создан в процессе обновления предыдущего суперкомпьютера – Jaguar (Cray XT5). В 2008 году «Ягуар» стал первым компьютером, преодолевшим рубеж в 1 петафлопс, а в 2009 году возглавил список TOP500.

Модернизация «Ягуара» и его превращение в «Титана» заняла около года. Помимо добавления графических ускорителей Nvidia Tesla K20 она включала установку оперативной памяти суммарным объёмом 710 144 ГБ.

По оценкам Cray, дальнейшая модернизация и масштабирование позволит ей наращивать производительность до 50 петафлопс, удерживая престиж лидера ценой минимально возможных вложений.

Работает «Титан» в программной среде Cray Linux Environment на основе SUSE Linux Enterprise Server 11. Примечательно, что он открыт для свободных научных исследований. С его помощью учёные надеются значительно ускорить процессы моделирования и визуализации в самых разных областях, включая астрономию, геологию, океанологию, квантовую химию, физику элементарных частиц, генетику и многие другие.

Источник Комьютерра