Суперкомпьютер на GPU, шаги строительства Опции

[Librarian]

Итак расскажу о всех своих шагах и ошибках, которые я сделал собирая маленький суперкомпьютер на GPU. Те подводные камни которые я нашол постораюсь описать в деталях, возможно комуто они помогут в дальнейшеих прикладных вычислениях. Так же постараюсь подробно описать достоинства и недостатки различного компьютерного железа.
ссылки на источники давать не буду, т.к. очень много информации получено в приватных беседах с различными специалистами, и пока не опубликованы. Вобщем все что я сдесь расскажу является личным опытом.


Задача - нужно наиболее эффективно (по конечным затратам) сделать мощную вычислительную машину.

Первое же решение приходящее в голову - перевести все рассчеты с процессоров на графические сопроцессоры. Почему? Потому что у них производительность существенно выше. Например Пентиум I7 по производительности оценивается в 100Gflops. GPU производства AMD дает около 2Tflops, т.е. как минимум 20 раз увеличение скорости.

Какие GPU лучше, AMD или NVIDA? К сожалению они поддерживают разные типы программ, поэтому под каждый из них придется немного переделывать программу, поэтому желательно с самого начал выбрать то на чем работать и больше не мнять производителя.

Я для всех работ выбрал AMD - самые производительные модели от АМД существенно мощнее чем NVIDA.

Операционка - однозначно линукс, т.к. линукт поддерживает до 8GPU (windows только 4). А для всяких freebsd пока нет нормальных драйверов для GPU. Какой линукс? Лучшие результаты по производительности были получены на ArchLinuх с наполовину зарезанным X- это если не нужно доступа к десктопу на данном компьютере и вся работа ведется по удаленке. Использовать же дlанный суперкомпьютер как терминал - не очень удобно, т.к. уровень шума может быть выше 70Дб.

Итак, теперь пройдемся по всему железу. Совет первый и последний - не надо экономить копейки покупая более дешевое!!!!

PSU, или блок питания. Надо использовать самый мощный, с классификацией 80+Gold. Это даст наиболее эффективное преобразорваниее тока сети в питание для компьютера. Кроме того, на данный момент, самый мощный компьютер будет потреблять 1700ВТ, а самый мощный серийно растпространеный блок питания выдает 1200ВТ. Плюс запас прочности, минус эффективность. Итого в штатном режиме из хорошего блока можно выжать 1300-1350ВТ.
А что такое хороший блок питания? Блоки питания бывают двух типов.
1. Большой блок питания состоит из массы маленьких блоков питания.
2. Блок питания собержит всего один блок питания, с единой 12 вольтовой шиной на 90-100 ампер.

Вот например если мы посмотрим на Antec TPQ TruePower Quattro 1200W PSU то в описании увидим
Output Current: +3.3V - 25 A / 0 A , +5V - 30 A / 0 A , +12V1 - 38 A / 0 A , +12V2 - 38 A / 0 A , +12V3 - 38 A / 0 A , +12V4 - 38 A / 0 A , +12V5 - 38 A / 0 A , +12V6 - 38 A / 0 A , -12V - 0.5 A / 0 A , +5VSB - 6 A / 0 A
что означает, что все питание разбито на несколько независимых постащиков и взять все что нужно очень сложно.

Посмотрим на другого производителя
Cooler Master Silent Pro Gold 1200W PSU
Single +12V rail up to 98A.
что означает что нагрузку гораздо легче приложить и использовать все до конца.

Итого, в качестве блока питания советую только Cooler Master Silent Pro Gold 1200W PSU или Corsair AX 1200w ATX PSU - у них одна выводная шина. Но по моему опыту Cooler Master легче выдерживает перегрузки по сравнению с Corsair.

продолжение следует......

[Librarian]

Следующий шаг - выбор материнской платы. т.к. все расчеты планировалось проводить на GPU то естественное решение - взять самый дешевый процессор. Все равно процессор будет только данные рассылать и получать. Таковым на данный момент является am3 sempron. Поэтому и материнскую плату будем искать под него.
Из всех брендов, в различных тестах было выявлено, что только MSI, Gigabyte и ASRock проявили достаточную надежность, но самый широкий выбор моделей конечно остается за MSI, Gigabyte.

Видаокарта ставится в большой PCIE слот. Как ее поставить в маленький PCIE слот я расскажу потом.

Если планируется установка всего одной видеокарты - то тут нет никаких вопросов. можно брать самую дешевую материнскую плату.
Если же планируется ставить несколько видеокарт, то тут возможны варианты. Надо помнить, что видеокарта с одим или двумя GPU всегда занимет ширину двух слотов, поэтому материнские платы нужно выбирать такие, чтобы было достаточно места.
Кроме того надо помнить, что если между PCIE слотами вставлен только один слот, то видеокарты будут касаться друг друга и одна из них не будет охлаждаться - дурной дизайн - все берут воздух для охлаждения сбоку (IMG:style_emoticons/default/zloy.gif)
Если PCIE слот расположен скраю татеринской платы, то с большой вероятностью карта будет лежать на корпусе и затыкаться корпусом. Чтобы ее продуть придется также делать сложные решения.

Что я имею в виду? лучше всего продемонстрировать на картинке. Вот неплохая материнская плата MSI 870A-G54

два слота под видеокарточки на достаточном (2 промежутка) расстоянии для охлаждения. Но установленная видеокарта (5830) ложиться на корпус и так просто не будет охлаждаться. Если же взять большую видеокарту 6990 - то она фактически упрется в вентилятор справа и с охлаждением будет вообще грустно.
Кстати корпуса нужно искать с большим пространством, или придется вырезать подставки для 2.5 дисков. В данном корпусе все маленькие подставки удалены бензопилой с помощью подходящего инструмента.


Если взять очень мощную материнскую плату c 7 PCIE слотами, то все равно сразу более 4х видеокарт поставить неполучится, т.к. расстояние между слотами маленькое, и вся система будет безумно греться.
Вот на фотке у меня какйото ASRock чипсетом X58.

Вставленные видеокарточки придется расстаскивать, фактически разламывая переходники, что сильно повышает понижает надежность, как это сделал некий Zorinaq


Так делать крайне нерекомендуется. Ненадежно и все равно будет перегреватсья сильно.

Так что же я порекомендую в качестве одной из самых оптимальных материнских плат???
Два варианта.
Gigabyte GA-880GA-UD3H 880GA Socket AM3 8 Channel Audio ATX Motherboard
или MSI 890FXA-GD65 890FX Socket AM3 8

Gigabyte позволит без трудностей поставить 2 тяжелые видеокарточки и особо не мучаться с охлаждением - все расстояния соблюдены идеально.

MSI не очень удобна для стандартной установки в корпус - одна карта будет перегреваться, но зато при серьезной модификации всей системы позволит установить 6 видеокарточек - фактически предел по энергопотреблению на стандартных блоках питания.

Картинки этих моделей можно найти в сети, или я скоро сделаю фотки и выложу тут.

[Librarian]

Чистый воздух.
На один GPU для нормального охлаждения нужно подавать около 2х кубометров воздуха в минуту. Соответсвенно если компьютер содержит 2 карточки по 2GPU в каждой, то для номального охлаждения нужно как минимум 8 кубометров воздуха в минуту или 11 тысяч кубометров в сутки. Это много. Вся существующая в помещении пыль будет наша (IMG:style_emoticons/default/wink.gif) А это нехорошо. Мы же не можем как в датацентрах ставить глобальные фильтры ничего кроме компьютера в помещении не держать, иметь липкий вход и т.д. Поэтому надо ставить индивидуальные фильтры, которые
- хорошо фильтровать воздух.
- не мусорить самим
- не создавать большого сопротивления воздуху
- легко устанавливаться, сниматься, чиститься.
- быть дешевыми в конце концов


Лучшее решение которе я пока нашол это нейлоновые колготки.

Они удовлетворяют всем требованиям.

[Librarian]

Сегодня я напишу пару слов про важную мелочевку.
Память Если поговорить с грамотным продавцом в магазине то есть 100% вероятность того что он впихнет дорогую но ненужную память. С другой стороны многочисленные тесты показыват, что скорость памяти практически не влияет на производительность системы в целом. Поэтому рекомендую выбирать самую дешевую память, что-то типа DDR3 1333MHz. Соответсвенно размер памяти нужно подбирать по реальным потребностям для задач, но опять таки чаще всего хватает только 2GB для работы операционной системы и небольшого виртуального диска для временных данных. Обычно в таких системах все данные храняться на центральных управляющих машинах.
HDD Необходим для загрузки системы, а также для временного хранения данных. Для ускорения работы системы все временные данные лучше хранить на временных дисках организованных в памяти, поэтому диск нужен тольбко для загрузки операционной системы, т.е. его размер может быть минимальным. Для начала я перешол на самые маленькие SSD диски (8GB), а потом вообще отказался от них перейдя на 4Gb USB флешки. Все современные компьютеры могут загружать операционную систему с USB флешек. Единственное что надо изменить в операционной сисетме это организовать вывод всех лог-файлов на временный диск в памяти, иначе флешки будут сгорать за неделю.
В идеале загрузка операционной системе должна производиться по сети с центрального сервера - это даст более удобное управление системой в целом.

[Ллюль]

У GPU процессоров ведь нет двойной точности в операциях с плавающей точках. Из-за этого решение числодробительных задач на них, типа квантовохимических расчетов заведомо бессмысленно. Или я не прав?

[Librarian]

У GPU процессоров ведь нет двойной точности в операциях с плавающей точках. Из-за этого решение числодробительных задач на них, типа квантовохимических расчетов заведомо бессмысленно. Или я не прав?

Вы абсолютно правы.
Но я еще раз хочу повторить, что большинство задач может быть запрограмировано через целочисленные данные. При этом теряется скорость написания программы, но возрастает производительность системы, а учитывая что некоторые программы используются годами, а то и десятилетиями, то выгода очевидна.

[Const]

У GPU процессоров ведь нет двойной точности в операциях с плавающей точках. Из-за этого решение числодробительных задач на них, типа квантовохимических расчетов заведомо бессмысленно. Или я не прав?

Неправда ваша.
Если вы посмотрите столбец «COMPUTE CAPABILITY» в этих таблицах, то те карты, для которых стоит значение ≥1.3, поддерживают двойную точность…

Сообщение отредактировал Const - 28.06.2011, 17:27

[Librarian]

Теперь очень важный вопрос - охлаждение. Важен этот вопрос потому, что сделав что-то неправильно есть замечательная возможность сжечь все оборудование. Ну или хотя бы часть (IMG:style_emoticons/default/09.gif) .
Как я уже писал ранее, для нормального охлаждения одного графического процессора нужно окло 2х кубометров воздуха в минуту, но я лучше буду писать в стандартной класссификации используемой на оборудовании.
70 cfm - вот приблизительная норма на один GPU, поэтому подбирая вентиляторы, надо ставить их исходя из этого критерия.

Существует два способа ставить охлаждающие вентиляторы, правильный и неправильный (IMG:style_emoticons/default/rolleyes.gif)
Правильный способ. Передняя стенка компьютера работает на вход холодного воздуха - на нее устанавливается как можно больше вентиляторов. На боковой стенке компьютера чаще всего дизайнеры делают некие отверстия, которые фактически е нужны и только отвлекают. На задней стенке удаляются все возможные переборки и если есть возможность ставятся вентиляторы выдувающие воздух.
Благодаря дурости (именно дурости ) дизайнеров графических карт, побовина горячего воздуха выкидывается внутрь компьютера, и его надо утилизировать в большом количестве, и переборки только мешают.

Вот так это выглядит схематически

У компьютера есть вход холодного возду[а и выход горячего, и холодная с горячей зоной разделены стеной компьютеров. Система работает идеально.

А вот так делать не надо. Это неправильный способ.

Можно подумать что набив вентиляторов в боковую стенку можно создать практически любой очень сильный поток воздуха. Даже на простых вентиляторах можно добиться 280 cfm. Конечно в стандартном корпусе нет такого количества отверстий сбоку, чтобы поставить столько вентиляторов. Но разве это проблема для человека с руками и дрелью? Кстати тонкая жесть очень хорошо сверлиться большими сверлами-лопатками для дерева.

А что получается в результате?
А в результате получается вот что:

Мощный поток входящий сбоку продавливает горячий воздух в холодную область, а как следствие:
- температура в холодной области повышается.
- в компьютере пропадают холодные отсеки. А ведь именно в холодном отсеке должен находиться жесткий диск, если вы решили поставить его. У SSD дисков например верхняя допустимая граница - 70 градусов по цельсию, который запросто перекрывается потоком 90градусного воздуха и через неделю-две SSD диск умирает (IMG:style_emoticons/default/plach2.gif) Если я не ошибаюсь, то у обычных HDD допустимая температурная граница еще ниже.

Так что как бы не хотелось, если приходится работать со стандартными компьютерными корпусами, то надо однозначно вход холодного воздуха делать через переднюю стенку, а выход горячего через заднюю.


В следующий раз я напишу пару слов про вентиляторы.

[Librarian]

Теперь пару слов про вентиляторы. В данном случае охлаждающие вентиляторы являются илключительно важной частью, от которой зависит производительность и срок службы системы, поэтому на вентиляторах экономить не стоит.

Я буду всегда писать производительность в CFM (cubic feet per min) 30cfm = 1cubic meter per min.

У вентилятора есть три основных параметра.
1. Размеры
2. Проиводительность
3. Уровень шума
Также есть дополнительные радости в виде некой подсветки.

Многие считают что подсветка это баловство и для профессиональных систем не актуально, но это не так. При наличии большого количества компьютеров, достаточно одного взгдяда чтобы увидеть как работают светящиесы вентиляторы и увидеть если некоторые из них вышли из строя.

1 Размеры.
Есть стандартные вениляторы, для которых указывается только основной размер (ширина квадрата), у которых отверстия для креплений находятся в стандартных местах, и нестандартные, для которых указывается как размер основного вентилятора так и размер креплений.
Самые распространенные вентиляторы имею размеры 8, 12, 14 и 20 см
Анализ всех возможных вентиляторов на рынке показывает что только среди 12см вентиляторов существует широкий выбор подходящих моделей, кроме того все стандартные современные корпусы обычно адаптированы к 12см (и 14 см) вентиляторам.

2. Производительность
Для 12см вентиляторов можно выделить три основных группы.
- слабые - производительность около 30 cfm - эти вентитяторы можно нужно вообще не рассматривать и забыть о них как о страшном сне.
- средние - производительность около 70 cfm - фактически один входной вентилятор на один GPU будет достаточно.
- мощные - производительность более 100 cfm. При установке более 2х GPU эти вентиляторы станут фактически единственным выходом.

3. Уровень шума. Однозначно получается что чем мощнее вентилятор то больше шума он производит. При этом для слабых и средних вентиляторов уровень шума обычно не превышает 20Дб, что даже ниже шума многих видеокард, которые выдают до 50Дб.
Мощные вентиляторы выдают до 70Дб, что является уже непримелемым для оффиса, и компютеры с такими вентиляторами должны находиться в удаленном помещении.

Вот примеры хороших вентиляторов.
Средняя производительность:
Coolermaster 120x120x25mm SickleFlow - 70 CFM

Высокая производительность
В этом диапазоне мне удалось найти только одного производителя "Delta fan"
Я протестировал самые мощные вентиляторы из вот этих двух серий
http://www.delta.com.tw/product/cp/dcfans/...20x120x38mm.pdf
http://www.delta.com.tw/product/cp/dcfans/...20x120x38mm.pdf

В принципе одного вентилятора Delta PFB1212UHE полностью достаточно для охлаждения 4GPU самых горячих видеокарт типа 6990.

[Nils]

PCI Express 2.0 или PCI Express 3.0?

[Librarian]

PCI Express 2.0 или PCI Express 3.0?

Эти разные стандарты фактически описывают пропускную способность PCIE шины. Большинство современных видеокарт работают на стандарте 2.0 - 2.1, но для расчетных задач это не актуально. Это важно для графики - когда передается большие массивы графической информации.
А для расчетных задач можно даже зарезать пропускную способность PCIE, и немного позже я расскажу как это делать.

Вот кстати фотки вентиляторов. Слева направа. Слабый, средний, сильный. Те что слева - брать бесполезно.

[Wild Bill]

Немного практики... Кондовый четырёхядерный процессор i7 930, 24 ГБ оперативки... Что можно сказать о сравнении на задачах CFD?

Сообщение отредактировал Wild Bill - 3.08.2011, 22:40

[Nils]

Немного практики... Кондовый четырёхядерный процессор i7 930, 24 ГБ оперативки... Что можно сказать о сравнении на задачах CFD?

На русском сайте Nvidia были сравнения об использовании GPU для задач данного типа.

[Librarian]

Продолжу описание суперкомпьютера.
Как я уже говорил, современные операционные системы поддерживают до восьми графических процессоров, но как их все вместить в один "маленький" корпус, и при этом не забыть про охлаждение? Самая бльшая материнская плата геометрически может позволить использовать только 4 видеокарточки, но как я уде говорил, вставленные вплотную карты очень трудно остудить.

Что делать????

Я решил эту задачу за неделю, хотя как я понял из литературы потом, на решение этой задачи было затрачено несколько лет в одном из научных институтов, и там выпустили массу кандидатов наук на этой работе.

Итак, делаем два умных шага сразу:
1 - делаем самодельный открытый корпус
2 - выносим графические карты на проводках от материнской платы.


Делаем простенькую рамку из аллюминиевых уголков. На дно кладем хорошую досочку, лучше всего мне понравился ламинированый пол - тонко, прочно и удобно. На доску приделываем материнскую плату и блок питания, на рамки развешиваем видеокарточки, соединяем проводочками.

[Const]

Немного практики... Кондовый четырёхядерный процессор i7 930, 24 ГБ оперативки... Что можно сказать о сравнении на задачах CFD?

Зависит от размера задачи (хватит ли памяти на видеокарте, чтоб максимально ускориться и не лазить в основную память; на современной Тесле это 6 Gb). Но в общем случае GPU работает по принципу «шапками закидаем». На той же Тесле без малого 500 вычислительных ядер. Ну и стоит отметить, что одна Тесла по цене оказывается выгоднее, чем «кондовый четырёхядерный процессор i7 930, 24 ГБ оперативки»

Мне самому CPU программить гораздо комфортнее, но с имеющимся трендом развития CPU, на ближайшие несколько лет я не вижу адекватной замены GPU в качестве настольного суперкомпа. Есть некоторая надежда, что ARM выстрелят сотнями ядер на нормальном CPU, но пока как-то не слышно особо.

[Ninat]

Самая бльшая материнская плата геометрически может позволить использовать только 4 видеокарточки, но как я уде говорил, вставленные вплотную карты очень трудно остудить.

Я насчитал на фото 5 видеокарт. Это как?
На фото не понятно, как карты вставлены в разъемы материнской платы.

Сообщение отредактировал Ninat - 21.12.2011, 8:58

[Wild Bill]

А я опять о практике программирования... так как давно понял, что даже вставить память в слот для меня большая проблема. (IMG:style_emoticons/default/smile.gif) У меня все компы с Radeon'ом, значит GPU мне не светит, как я понимаю? А как GPU связано с CUDE? (У меня хоть и большой опыт программирования, но стандарты Fortran&C++ Forever!)

Const, я веду расчёты на академическом кластере (8*** процессоров), потому вопрос пока теоретический, просто хочется понять перспективы...

[Librarian]

CUDA это библиотека для NVIDIA GPU. Для ATI GPU используются OpenCL библиотеки. Фактически их использование очень схоже и я видел масу программ которые в дависимости от типа библиотек используют те или иные интерфейсы для работы с GPU.

На остальные вопросы ответы будут очевидны из следующих моих постов.

[Const]

Про AMD и CUDA уже ответили…

Const, я веду расчёты на академическом кластере (8*** процессоров), потому вопрос пока теоретический, просто хочется понять перспективы...

8k CPU это, конечно, хорошо.
Но есть проблема: масса задач плохо ложатся на MPI, но великолепно — на общую память.
Хороший пример: молекулярная динамика с кулоновским потенциалом. На кластере мы тупо забьём каналы связи, раздавая все массивы всем по нескольку раз за шаг.
То есть кластер, — это хорошо, сам их пользую активно. Но всегда повторяю: это не панацея.

[eurisco1]

CUDA это библиотека для NVIDIA GPU. Для ATI GPU используются OpenCL библиотеки. Фактически их использование очень схоже и я видел масу программ которые в дависимости от типа библиотек используют те или иные интерфейсы для работы с GPU.

На остальные вопросы ответы будут очевидны из следующих моих постов.

Здравствуйте.

Очень хочется знать, появились ли у Вас какие-либо тестовые результаты по применению GPU, сравнение с CPU близкой стоимости для приложений, скомпилированных с применением библиотек и без них? Интересует практически всё - молекулярная динамика, MC, квантовая химия. Интересует при этом, если видеокарта только одна или, например, две. Хотя и такая батарея - 4-6 тоже, конечно, интересно.