Суперкомпьютер на GPU, шаги строительства Опции

[Librarian]

Итак расскажу о всех своих шагах и ошибках, которые я сделал собирая маленький суперкомпьютер на GPU. Те подводные камни которые я нашол постораюсь описать в деталях, возможно комуто они помогут в дальнейшеих прикладных вычислениях. Так же постараюсь подробно описать достоинства и недостатки различного компьютерного железа.
ссылки на источники давать не буду, т.к. очень много информации получено в приватных беседах с различными специалистами, и пока не опубликованы. Вобщем все что я сдесь расскажу является личным опытом.


Задача - нужно наиболее эффективно (по конечным затратам) сделать мощную вычислительную машину.

Первое же решение приходящее в голову - перевести все рассчеты с процессоров на графические сопроцессоры. Почему? Потому что у них производительность существенно выше. Например Пентиум I7 по производительности оценивается в 100Gflops. GPU производства AMD дает около 2Tflops, т.е. как минимум 20 раз увеличение скорости.

Какие GPU лучше, AMD или NVIDA? К сожалению они поддерживают разные типы программ, поэтому под каждый из них придется немного переделывать программу, поэтому желательно с самого начал выбрать то на чем работать и больше не мнять производителя.

Я для всех работ выбрал AMD - самые производительные модели от АМД существенно мощнее чем NVIDA.

Операционка - однозначно линукс, т.к. линукт поддерживает до 8GPU (windows только 4). А для всяких freebsd пока нет нормальных драйверов для GPU. Какой линукс? Лучшие результаты по производительности были получены на ArchLinuх с наполовину зарезанным X- это если не нужно доступа к десктопу на данном компьютере и вся работа ведется по удаленке. Использовать же дlанный суперкомпьютер как терминал - не очень удобно, т.к. уровень шума может быть выше 70Дб.

Итак, теперь пройдемся по всему железу. Совет первый и последний - не надо экономить копейки покупая более дешевое!!!!

PSU, или блок питания. Надо использовать самый мощный, с классификацией 80+Gold. Это даст наиболее эффективное преобразорваниее тока сети в питание для компьютера. Кроме того, на данный момент, самый мощный компьютер будет потреблять 1700ВТ, а самый мощный серийно растпространеный блок питания выдает 1200ВТ. Плюс запас прочности, минус эффективность. Итого в штатном режиме из хорошего блока можно выжать 1300-1350ВТ.
А что такое хороший блок питания? Блоки питания бывают двух типов.
1. Большой блок питания состоит из массы маленьких блоков питания.
2. Блок питания собержит всего один блок питания, с единой 12 вольтовой шиной на 90-100 ампер.

Вот например если мы посмотрим на Antec TPQ TruePower Quattro 1200W PSU то в описании увидим
Output Current: +3.3V - 25 A / 0 A , +5V - 30 A / 0 A , +12V1 - 38 A / 0 A , +12V2 - 38 A / 0 A , +12V3 - 38 A / 0 A , +12V4 - 38 A / 0 A , +12V5 - 38 A / 0 A , +12V6 - 38 A / 0 A , -12V - 0.5 A / 0 A , +5VSB - 6 A / 0 A
что означает, что все питание разбито на несколько независимых постащиков и взять все что нужно очень сложно.

Посмотрим на другого производителя
Cooler Master Silent Pro Gold 1200W PSU
Single +12V rail up to 98A.
что означает что нагрузку гораздо легче приложить и использовать все до конца.

Итого, в качестве блока питания советую только Cooler Master Silent Pro Gold 1200W PSU или Corsair AX 1200w ATX PSU - у них одна выводная шина. Но по моему опыту Cooler Master легче выдерживает перегрузки по сравнению с Corsair.

продолжение следует......

[Librarian]

Теперь очень важный вопрос - охлаждение. Важен этот вопрос потому, что сделав что-то неправильно есть замечательная возможность сжечь все оборудование. Ну или хотя бы часть (IMG:style_emoticons/default/09.gif) .
Как я уже писал ранее, для нормального охлаждения одного графического процессора нужно окло 2х кубометров воздуха в минуту, но я лучше буду писать в стандартной класссификации используемой на оборудовании.
70 cfm - вот приблизительная норма на один GPU, поэтому подбирая вентиляторы, надо ставить их исходя из этого критерия.

Существует два способа ставить охлаждающие вентиляторы, правильный и неправильный (IMG:style_emoticons/default/rolleyes.gif)
Правильный способ. Передняя стенка компьютера работает на вход холодного воздуха - на нее устанавливается как можно больше вентиляторов. На боковой стенке компьютера чаще всего дизайнеры делают некие отверстия, которые фактически е нужны и только отвлекают. На задней стенке удаляются все возможные переборки и если есть возможность ставятся вентиляторы выдувающие воздух.
Благодаря дурости (именно дурости ) дизайнеров графических карт, побовина горячего воздуха выкидывается внутрь компьютера, и его надо утилизировать в большом количестве, и переборки только мешают.

Вот так это выглядит схематически

У компьютера есть вход холодного возду[а и выход горячего, и холодная с горячей зоной разделены стеной компьютеров. Система работает идеально.

А вот так делать не надо. Это неправильный способ.

Можно подумать что набив вентиляторов в боковую стенку можно создать практически любой очень сильный поток воздуха. Даже на простых вентиляторах можно добиться 280 cfm. Конечно в стандартном корпусе нет такого количества отверстий сбоку, чтобы поставить столько вентиляторов. Но разве это проблема для человека с руками и дрелью? Кстати тонкая жесть очень хорошо сверлиться большими сверлами-лопатками для дерева.

А что получается в результате?
А в результате получается вот что:

Мощный поток входящий сбоку продавливает горячий воздух в холодную область, а как следствие:
- температура в холодной области повышается.
- в компьютере пропадают холодные отсеки. А ведь именно в холодном отсеке должен находиться жесткий диск, если вы решили поставить его. У SSD дисков например верхняя допустимая граница - 70 градусов по цельсию, который запросто перекрывается потоком 90градусного воздуха и через неделю-две SSD диск умирает (IMG:style_emoticons/default/plach2.gif) Если я не ошибаюсь, то у обычных HDD допустимая температурная граница еще ниже.

Так что как бы не хотелось, если приходится работать со стандартными компьютерными корпусами, то надо однозначно вход холодного воздуха делать через переднюю стенку, а выход горячего через заднюю.


В следующий раз я напишу пару слов про вентиляторы.