Суперкомпьютер на GPU, шаги строительства Опции

[Librarian]

Итак расскажу о всех своих шагах и ошибках, которые я сделал собирая маленький суперкомпьютер на GPU. Те подводные камни которые я нашол постораюсь описать в деталях, возможно комуто они помогут в дальнейшеих прикладных вычислениях. Так же постараюсь подробно описать достоинства и недостатки различного компьютерного железа.
ссылки на источники давать не буду, т.к. очень много информации получено в приватных беседах с различными специалистами, и пока не опубликованы. Вобщем все что я сдесь расскажу является личным опытом.


Задача - нужно наиболее эффективно (по конечным затратам) сделать мощную вычислительную машину.

Первое же решение приходящее в голову - перевести все рассчеты с процессоров на графические сопроцессоры. Почему? Потому что у них производительность существенно выше. Например Пентиум I7 по производительности оценивается в 100Gflops. GPU производства AMD дает около 2Tflops, т.е. как минимум 20 раз увеличение скорости.

Какие GPU лучше, AMD или NVIDA? К сожалению они поддерживают разные типы программ, поэтому под каждый из них придется немного переделывать программу, поэтому желательно с самого начал выбрать то на чем работать и больше не мнять производителя.

Я для всех работ выбрал AMD - самые производительные модели от АМД существенно мощнее чем NVIDA.

Операционка - однозначно линукс, т.к. линукт поддерживает до 8GPU (windows только 4). А для всяких freebsd пока нет нормальных драйверов для GPU. Какой линукс? Лучшие результаты по производительности были получены на ArchLinuх с наполовину зарезанным X- это если не нужно доступа к десктопу на данном компьютере и вся работа ведется по удаленке. Использовать же дlанный суперкомпьютер как терминал - не очень удобно, т.к. уровень шума может быть выше 70Дб.

Итак, теперь пройдемся по всему железу. Совет первый и последний - не надо экономить копейки покупая более дешевое!!!!

PSU, или блок питания. Надо использовать самый мощный, с классификацией 80+Gold. Это даст наиболее эффективное преобразорваниее тока сети в питание для компьютера. Кроме того, на данный момент, самый мощный компьютер будет потреблять 1700ВТ, а самый мощный серийно растпространеный блок питания выдает 1200ВТ. Плюс запас прочности, минус эффективность. Итого в штатном режиме из хорошего блока можно выжать 1300-1350ВТ.
А что такое хороший блок питания? Блоки питания бывают двух типов.
1. Большой блок питания состоит из массы маленьких блоков питания.
2. Блок питания собержит всего один блок питания, с единой 12 вольтовой шиной на 90-100 ампер.

Вот например если мы посмотрим на Antec TPQ TruePower Quattro 1200W PSU то в описании увидим
Output Current: +3.3V - 25 A / 0 A , +5V - 30 A / 0 A , +12V1 - 38 A / 0 A , +12V2 - 38 A / 0 A , +12V3 - 38 A / 0 A , +12V4 - 38 A / 0 A , +12V5 - 38 A / 0 A , +12V6 - 38 A / 0 A , -12V - 0.5 A / 0 A , +5VSB - 6 A / 0 A
что означает, что все питание разбито на несколько независимых постащиков и взять все что нужно очень сложно.

Посмотрим на другого производителя
Cooler Master Silent Pro Gold 1200W PSU
Single +12V rail up to 98A.
что означает что нагрузку гораздо легче приложить и использовать все до конца.

Итого, в качестве блока питания советую только Cooler Master Silent Pro Gold 1200W PSU или Corsair AX 1200w ATX PSU - у них одна выводная шина. Но по моему опыту Cooler Master легче выдерживает перегрузки по сравнению с Corsair.

продолжение следует......

[Librarian]

Теперь пару слов про вентиляторы. В данном случае охлаждающие вентиляторы являются илключительно важной частью, от которой зависит производительность и срок службы системы, поэтому на вентиляторах экономить не стоит.

Я буду всегда писать производительность в CFM (cubic feet per min) 30cfm = 1cubic meter per min.

У вентилятора есть три основных параметра.
1. Размеры
2. Проиводительность
3. Уровень шума
Также есть дополнительные радости в виде некой подсветки.

Многие считают что подсветка это баловство и для профессиональных систем не актуально, но это не так. При наличии большого количества компьютеров, достаточно одного взгдяда чтобы увидеть как работают светящиесы вентиляторы и увидеть если некоторые из них вышли из строя.

1 Размеры.
Есть стандартные вениляторы, для которых указывается только основной размер (ширина квадрата), у которых отверстия для креплений находятся в стандартных местах, и нестандартные, для которых указывается как размер основного вентилятора так и размер креплений.
Самые распространенные вентиляторы имею размеры 8, 12, 14 и 20 см
Анализ всех возможных вентиляторов на рынке показывает что только среди 12см вентиляторов существует широкий выбор подходящих моделей, кроме того все стандартные современные корпусы обычно адаптированы к 12см (и 14 см) вентиляторам.

2. Производительность
Для 12см вентиляторов можно выделить три основных группы.
- слабые - производительность около 30 cfm - эти вентитяторы можно нужно вообще не рассматривать и забыть о них как о страшном сне.
- средние - производительность около 70 cfm - фактически один входной вентилятор на один GPU будет достаточно.
- мощные - производительность более 100 cfm. При установке более 2х GPU эти вентиляторы станут фактически единственным выходом.

3. Уровень шума. Однозначно получается что чем мощнее вентилятор то больше шума он производит. При этом для слабых и средних вентиляторов уровень шума обычно не превышает 20Дб, что даже ниже шума многих видеокард, которые выдают до 50Дб.
Мощные вентиляторы выдают до 70Дб, что является уже непримелемым для оффиса, и компютеры с такими вентиляторами должны находиться в удаленном помещении.

Вот примеры хороших вентиляторов.
Средняя производительность:
Coolermaster 120x120x25mm SickleFlow - 70 CFM

Высокая производительность
В этом диапазоне мне удалось найти только одного производителя "Delta fan"
Я протестировал самые мощные вентиляторы из вот этих двух серий
http://www.delta.com.tw/product/cp/dcfans/...20x120x38mm.pdf
http://www.delta.com.tw/product/cp/dcfans/...20x120x38mm.pdf

В принципе одного вентилятора Delta PFB1212UHE полностью достаточно для охлаждения 4GPU самых горячих видеокарт типа 6990.