Суперкомпьютер на GPU, шаги строительства Опции

[Librarian]

Итак расскажу о всех своих шагах и ошибках, которые я сделал собирая маленький суперкомпьютер на GPU. Те подводные камни которые я нашол постораюсь описать в деталях, возможно комуто они помогут в дальнейшеих прикладных вычислениях. Так же постараюсь подробно описать достоинства и недостатки различного компьютерного железа.
ссылки на источники давать не буду, т.к. очень много информации получено в приватных беседах с различными специалистами, и пока не опубликованы. Вобщем все что я сдесь расскажу является личным опытом.


Задача - нужно наиболее эффективно (по конечным затратам) сделать мощную вычислительную машину.

Первое же решение приходящее в голову - перевести все рассчеты с процессоров на графические сопроцессоры. Почему? Потому что у них производительность существенно выше. Например Пентиум I7 по производительности оценивается в 100Gflops. GPU производства AMD дает около 2Tflops, т.е. как минимум 20 раз увеличение скорости.

Какие GPU лучше, AMD или NVIDA? К сожалению они поддерживают разные типы программ, поэтому под каждый из них придется немного переделывать программу, поэтому желательно с самого начал выбрать то на чем работать и больше не мнять производителя.

Я для всех работ выбрал AMD - самые производительные модели от АМД существенно мощнее чем NVIDA.

Операционка - однозначно линукс, т.к. линукт поддерживает до 8GPU (windows только 4). А для всяких freebsd пока нет нормальных драйверов для GPU. Какой линукс? Лучшие результаты по производительности были получены на ArchLinuх с наполовину зарезанным X- это если не нужно доступа к десктопу на данном компьютере и вся работа ведется по удаленке. Использовать же дlанный суперкомпьютер как терминал - не очень удобно, т.к. уровень шума может быть выше 70Дб.

Итак, теперь пройдемся по всему железу. Совет первый и последний - не надо экономить копейки покупая более дешевое!!!!

PSU, или блок питания. Надо использовать самый мощный, с классификацией 80+Gold. Это даст наиболее эффективное преобразорваниее тока сети в питание для компьютера. Кроме того, на данный момент, самый мощный компьютер будет потреблять 1700ВТ, а самый мощный серийно растпространеный блок питания выдает 1200ВТ. Плюс запас прочности, минус эффективность. Итого в штатном режиме из хорошего блока можно выжать 1300-1350ВТ.
А что такое хороший блок питания? Блоки питания бывают двух типов.
1. Большой блок питания состоит из массы маленьких блоков питания.
2. Блок питания собержит всего один блок питания, с единой 12 вольтовой шиной на 90-100 ампер.

Вот например если мы посмотрим на Antec TPQ TruePower Quattro 1200W PSU то в описании увидим
Output Current: +3.3V - 25 A / 0 A , +5V - 30 A / 0 A , +12V1 - 38 A / 0 A , +12V2 - 38 A / 0 A , +12V3 - 38 A / 0 A , +12V4 - 38 A / 0 A , +12V5 - 38 A / 0 A , +12V6 - 38 A / 0 A , -12V - 0.5 A / 0 A , +5VSB - 6 A / 0 A
что означает, что все питание разбито на несколько независимых постащиков и взять все что нужно очень сложно.

Посмотрим на другого производителя
Cooler Master Silent Pro Gold 1200W PSU
Single +12V rail up to 98A.
что означает что нагрузку гораздо легче приложить и использовать все до конца.

Итого, в качестве блока питания советую только Cooler Master Silent Pro Gold 1200W PSU или Corsair AX 1200w ATX PSU - у них одна выводная шина. Но по моему опыту Cooler Master легче выдерживает перегрузки по сравнению с Corsair.

продолжение следует......

[Librarian]

Следующий шаг - выбор материнской платы. т.к. все расчеты планировалось проводить на GPU то естественное решение - взять самый дешевый процессор. Все равно процессор будет только данные рассылать и получать. Таковым на данный момент является am3 sempron. Поэтому и материнскую плату будем искать под него.
Из всех брендов, в различных тестах было выявлено, что только MSI, Gigabyte и ASRock проявили достаточную надежность, но самый широкий выбор моделей конечно остается за MSI, Gigabyte.

Видаокарта ставится в большой PCIE слот. Как ее поставить в маленький PCIE слот я расскажу потом.

Если планируется установка всего одной видеокарты - то тут нет никаких вопросов. можно брать самую дешевую материнскую плату.
Если же планируется ставить несколько видеокарт, то тут возможны варианты. Надо помнить, что видеокарта с одим или двумя GPU всегда занимет ширину двух слотов, поэтому материнские платы нужно выбирать такие, чтобы было достаточно места.
Кроме того надо помнить, что если между PCIE слотами вставлен только один слот, то видеокарты будут касаться друг друга и одна из них не будет охлаждаться - дурной дизайн - все берут воздух для охлаждения сбоку (IMG:style_emoticons/default/zloy.gif)
Если PCIE слот расположен скраю татеринской платы, то с большой вероятностью карта будет лежать на корпусе и затыкаться корпусом. Чтобы ее продуть придется также делать сложные решения.

Что я имею в виду? лучше всего продемонстрировать на картинке. Вот неплохая материнская плата MSI 870A-G54

два слота под видеокарточки на достаточном (2 промежутка) расстоянии для охлаждения. Но установленная видеокарта (5830) ложиться на корпус и так просто не будет охлаждаться. Если же взять большую видеокарту 6990 - то она фактически упрется в вентилятор справа и с охлаждением будет вообще грустно.
Кстати корпуса нужно искать с большим пространством, или придется вырезать подставки для 2.5 дисков. В данном корпусе все маленькие подставки удалены бензопилой с помощью подходящего инструмента.


Если взять очень мощную материнскую плату c 7 PCIE слотами, то все равно сразу более 4х видеокарт поставить неполучится, т.к. расстояние между слотами маленькое, и вся система будет безумно греться.
Вот на фотке у меня какйото ASRock чипсетом X58.

Вставленные видеокарточки придется расстаскивать, фактически разламывая переходники, что сильно повышает понижает надежность, как это сделал некий Zorinaq


Так делать крайне нерекомендуется. Ненадежно и все равно будет перегреватсья сильно.

Так что же я порекомендую в качестве одной из самых оптимальных материнских плат???
Два варианта.
Gigabyte GA-880GA-UD3H 880GA Socket AM3 8 Channel Audio ATX Motherboard
или MSI 890FXA-GD65 890FX Socket AM3 8

Gigabyte позволит без трудностей поставить 2 тяжелые видеокарточки и особо не мучаться с охлаждением - все расстояния соблюдены идеально.

MSI не очень удобна для стандартной установки в корпус - одна карта будет перегреваться, но зато при серьезной модификации всей системы позволит установить 6 видеокарточек - фактически предел по энергопотреблению на стандартных блоках питания.

Картинки этих моделей можно найти в сети, или я скоро сделаю фотки и выложу тут.