Как сделать кластер своими руками
Обновлено: 06.07.2024
Вложения
be-open
джедай
Feel In
Заядлый пёфектвёлдист
Mike22
Местный
Не знаю, но можно подсчитать, это же всё стандартные компоненты.
6 процессоров, 6 системных плат, 12 планок по 4GB памяти, 6 БП, вентиляторы, тумбочка из Икеи для корпуса -
не так дорого
Immortal
groove
be-open
джедай
Вентиляторы которые снаружи на фотке должны быть почти бесшумные, а так конечно да пропеллеров много.
Интересно что меньше киловатта жрет).
Наш проект живет и развивается для тех, кто ищет ответы на свои вопросы и стремится не потеряться в бушующем море зачастую бесполезной информации. На этой странице мы рассказали (а точнее - показали :) вам Как сделать кластер своими руками . Кроме этого, мы нашли и добавили для вас тысячи других видеороликов, способных ответить, кажется, на любой ваш вопрос. Однако, если на сайте все же не оказалось интересующей информации - напишите нам, мы подготовим ее для вас и добавим на наш сайт!
Если вам не сложно - оставьте, пожалуйста, свой отзыв, насколько полной и полезной была размещенная на нашем сайте информация о том, Как сделать кластер своими руками .
Свой первый “кластер” из одноплатных компьютеров я построил почти сразу после того, как микрокомпьютер Orange Pi PC начал набирать популярность. “Кластером” это можно было назвать с большой натяжкой, ибо с формальной точки зрения это была всего лишь локальная сеть из четырёх плат, которые “видели” друг друга и могли выходить в Интернет.
Устройство участвовало в проекте SETI@home и даже успело что-то насчитать. Но, к сожалению, никто не прилетел забрать меня с этой планеты.
Однако, за всё время возни с проводами, разъёмами и microSD-картами я многому научился. Так, например, я выяснил, что не стоит доверять заявленной мощности блока питания, что было бы неплохо распределять нагрузку в плане потребления, да и сечение провода имеет значение.
Начну, пожалуй, с неё. Задача свелась к относительно простым действиям — через заданный промежуток времени последовательно включить 4 канала, по которым подаётся 5 вольт. Самый простой способ реализовать задуманное — Arduino (коих у каждого уважающего себя гика в избытке) и вот такая чудо-плата с Али с 4мя реле.
И знаете, оно даже заработало.
Однако, “холодильник-style” щелчки при старте вызывали некоторое отторжение. Во-первых при щелчке пробегала помеха по питанию и нужно было ставить конденсаторы, а во вторых вся конструкция была довольно крупной.
Так что в один прекрасный день я просто заменил блок реле на транзисторные ключи на основе IRL520.
Это решило вопрос с помехами, но поскольку mosfet управляет “нулём”, пришлось отказаться от латунных ножек в стойке, дабы не соединить случайно землю плат.
И вот, решение отлично тиражируется и уже два кластера работают стабильно без всяких сюрпризов. Just as planned.
Но, вернёмся к тиражируемости. Зачем покупать блоки питания за ощутимую сумму, когда буквально под ногами есть много доступных ATX ?
Мало того, на них есть все напряжения (5,12,3.3), зачатки самодиагностики и возможность программного управления.
Ну тут я особо распинаться не буду — статья про управление ATX через Ардуино есть вот здесь.
Ну что, все таблетки подъедены, марки тоже наклеены ? Пора объединить это всё воедино.
Будет один головной узел, который соединяется с внешним миром по WiFi и отдаёт " интернеты" в кластер. Он будет питаться от дежурного напряжения ATX.
Фактически, за раздачу инета отвечает TBNG.
Так что при желании узлы кластера можно спрятать за TOR.
Также, будет хитрая плата, подключенная по i2c к этому головному узлу. Она сможет включать-выключать каждый из 10 рабочих узлов. Плюс, будет уметь управлять тремя вентиляторами 12в для охлаждения всей системы.
Сценарий работы такой — при включении ATX в 220в стартует головной узел. Когда система готова к работе — он последовательно включает все 10 узлов и вентиляторы.
Когда процесс включения закончен — головной узел будет обходить каждый рабочий узел и спрашивать мол, как мы себя чувствуем, какая мол температура. Если одна из стоек греется — увеличим обдув.
Ну и при команде отключения каждый из узлов будет аккуратно погашен и обесточен.
Схему платы я рисовал сам, поэтому выглядит она жутко. Однако, за трассировку и изготовление взялся хорошо обученный человек, за что ему большое спасибо.
Вот она в процессе сборки
Вот один из первых эскизов расположения компонент кластера. Сделан на листке в клетку и увековечен через Office Lens телефоном.
Вся конструкция помещается на листе текстолита, купленного по случаю.
Примерно так выглядит расположение узлов внутри. Две стойки по пять плат.
Тут проглядывается управляющая Arduino. Она соединена с головной Orange Pi Pc по i2c через конвертер уровней.
Ну а вот финальный (текущий вариант).
Итак, все что нужно — это написать несколько утилит на Питоне, которые бы всей этой музыкой дирижировали — включали, включали, регулировали скорость вентилятора.
Не буду утомлять техническими подробностями — выглядит примерно так:
Поскольку узлов у нас уже целых 10, берём на вооружение Ansible, который поможет , например, правильно выключить все узлы. Или запустить на каждом монитор температуры.
Меня часто в пренебрежительном тоне обвиняют, мол это просто локальная сеть одноплатников (как я уже упоминал в самом начале). Мне, в целом, насрать на чужое мнение, но пожалуй, добавим гламура и организуем docker swarm cluster.
Задача весьма простая и выполняется меньше чем за 10 минут. Потом запустим на головной ноде экземпляр Portainer, и вуаля!
Теперь можно реально масштабировать задачи. Так, в данный момент в кластере работает майнер криптовалюты Verium Reserve. И, довольно успешно. Надеюсь, ближайший туземун окупит съеденное электричество ;) Ну или сократить количество вовлеченных узлов и майнить что-нибудь ещё типа Turtle Coin.
Если хочется полезной нагрузки — в кластер можно закинуть Hadoop или устроить балансировку веб-серверов. Готовых образов в интернете много, да и обучающего материала достаточно. Ну а если образ (docker image) отсутствует — всегда можно собрать свой.
Чему меня это научило ? В целом, “стек” технологий очень широкий. Судите сами - Docker, Ansible, Python, прокачка Arduino (прости господи, ни к ночи будет сказано), ну и шелл конечно же. А так же KiCad и работа с подрядчиком :).
Что можно сделать лучше ? Многое. По софтовой части было бы неплохо переписать управляющие утилиты на Go. По железной — make it more steampunkish — КДПВ в начале отлично задирает планку. Так что есть, над чем работать.
- Головной узел — Orange Pi PC с usb wifi.
- Рабочие узлы — Orange Pi PC2 x 10.
- Сеть — 100 мбит TP-link@16ports.
- Мозг — Клон Arduino на базе Atmega8 + конвертер уровней.
- Сердце — контроллер питания АТХ с блоком питания.
- Софт (душа) — Docker, Ansible, Python 3, немного шелла и чуть чуть лени.
- Потраченное время — бесценно.
В процессе экспериментов пострадала пара плат Orange Pi PC2 из-за перепутанного питания (очень красиво горят), ещё одна PC2 лишилась Ethernet (это отдельная история, в которой я не понимаю физики процесса).
Вот вроде бы и вся история “по верхам”. Если кто-то считает её интересной — задавайте вопросы в комментариях. И голосуйте там же за вопросы (плюсуйте — у каждого коммента есть кнопка для этого). Наиболее интересные вопросы будут освещены в новых заметках.
Спасибо, что дочитали до конца.
В итоге получается структура, которая графически отображает размышления, определяет информационное поле данного текста.
Правила работы с кластерами:
1. Не бояться записывать всё", что приходит на ум. Дать волю воображению и интуиции.
2. Продолжать работу, пока не кончится время или идеи не иссякнут.
3. Постараться построить как можно больше связей. Не следовать по заранее определенному плану.
Разбивка на кластеры используется как на этапе вызова, так и на этапе рефлексии, может быть способом мотивации мыслительной деятельности до изучения тем или формой систематизации информации по итогам прохождения материала. В зависимости от цели педагог может организовать индивидуальную самостоятельную работу учащихся или коллективную деятельность в виде общего совместного обсуждения. Предметная область не ограничена, использование кластеров возможно при анализе текстов практически любой природы.
Как и обещал, начинаю рассказ про сборку/установку кластера на основе видеокарт NVIDIA Tesla. Данный кластер будет состоять из 31 вычислительной ноды и вспомогательных серверов.
В каждой вычислительной ноде 8 видеокарт, которые заточены именно под вычисления. Плюс 2ТБ NVMe PCI-e SSD (расположен прямо на шине PCI), и 100 Гб/с сетевой адаптер. Вот такой узел на фото ниже:
Красным - сетевой адаптер, зеленый - SSD.
Вспомогательные сервера - шлюзы для файловой системы GPFS, и другие ноды. У каждого шлюза - 4 порта по 16Гб/с FC, и 4 по 100 Гб/с сетевых. Фото не делал, ибо сил и времени уже не было.
на выходных всё это будет монтироваться в стойки.
Если получится, то итог тоже постараюсь выложить.
Давайте я угадаю. Этот ИИ называется "майнинг этериума"))).
Зачем собираете свой супер компьютер?
а нафига тогда оптоволокно?
к этому ж наверняка есть еще такой же коммутатор, который тоже конвергентный а значит и HBA должен полететь. да и iSCSI ни кто не отменял.
А если не секрет - чем обусловлен выбор GPFS для относительно небольшого кластера ? 31 лицензия для клиентов + скорее всего 8 серверных против условно бесплатной Lustre, которая прекрасно себя чувствует до как минимум 128 нод
Ок. У меня вопрос. Видеокарты в корпусе стоят в притык друг к другу. Как все это будет охлаждаться? У меня фермы собраны на металлических стелажах, по 5 видеокарт в ряд, расстояние между картами 15 сантиметров, и то, в жаркую погоду температура доходит до 80 градусов.
Лет через 100,когда мир поработят машины и мы все попадем в Матрицу а Нео еще не появится все будут вспоминать этот пост про сборку безобидного кластера для ИИ
Это личный проект?
О! У нас эти же платформы СуперМикры юзают под видеокарты. Шумят как скотины, нато в горячем коридоре голова после душа сохнет минуты за 2 ))
Чувак, дай пару дней погонять? ;)
Не для налоговой надеюсь
@downpr, ждать ли дальнейшие посты на эту тему? :)
Судя по коричневому пластику Супермикра?
Повезло с возможностью выбора вендора. У меня контора только с HPE работает - понадобилось собрать мониторинг ТВ на базе GPU нвидиа, так кроме ML350 ничего достойного и не было, максимум на 4 двухслотовых адаптера.
Лютый девайс получится.
Чувак ты очень жесткий, я правильно понимаю что это карты которые по 600к карта стоит?
И таких карт там будет 248 :D
Если там Tesla P4, то только на одни видюхи почти 500 тыщ баксов, охуеть
В Top-500 влезет?
А какой город-то? А то может к вам на стажировку можно напроситься?
А кластеризовать это все чем будете? Т.е. гипервизор какой будет? Или я не туда подумал?
Просветите меня неуча, то есть ИИ будет использовать не процессор для расчетов и не оперативную память для ускорения, а графические карты . Суть вопроса видеокарты заменяют процессора?
Тесла же по сути вообще не видеокарта, хотя и умеет?
Нифига се, страшно представить сколько ты учился на эту работу! Ты большой молодчинка!
Офигенная ферма. 300 вт на карту, 1.8кВт на ноду.
Охлаждение у карт хорошее. Вот чего не хватает на всяких 580-тых. Чтобы можно было карты расположить компактно и при этом продавать их вдоль. Так можно на 100% разделить горячий/холодный воздух, и использовать его для подогрева дома например.
ТС, меня вот друг спрашивает, сколько это вышло по себестоимости и за сколько отобьется. У него четыре фермы, но майнинг уже не приносит того, что раньше.
Г - сервис!
DeepMind заявила Google, что не знает, как сделать искусственный интеллект менее токсичным
Разработчики ИИ-систем все чаще сталкиваются с проблемой, которая сулит однажды выйти из-под контроля ― люди не могут научить машины такту. Нынешние ИИ-системы самые настоящие мизогины, токсики, расисты и ксенофобы. IT-компании вкладывают баснословные суммы, чтобы решить эту проблему, но никакого результата пока не могут получить.
Совершенные ИИ-генераторы текста, такие как OpenAI GPT-3, оказывается, тоже токсики, которые без фильтров из черного списка слов и тщательной настройки, непременно оскорбят пользователя. Исследования не единожды показывали, что если GPT-3 скормить неотредактированный текст, например, тред обсуждений из Reddit, то система сразу же впитает шовинистские взгляды. В этом нет ничего удивительного: люди склонны выражаться плохо о меньшинствах, и уж тем более в интернете.
В 2014 году, когда только зарождался бум на машинное обучение, никому в голову не приходило, где мы окажемся сейчас. Да, с тех пор ИИ проделал огромный путь, и больше не определяет фигурку черепахи как огнестрельное оружие и не путает кошек с гуакамоле, однако обработка естественного языка все так же плетется где-то позади.
Самый логичный и правильный способ обучить GPT-3 хорошим манерам ― это заблокировать все триггерные слова и фразы, но даже у этого решения есть существенные недостатки. Это подтверждает проведенное компанией DeepMind исследование токсичного поведения ИИ-систем. Результаты, мягко говоря, ошеломляют.
Организаторы эксперимента взяли сгенерированный GPT-3 текст и попросили команду независимых участников отредактировать его. В результате разработчики увидели, как сильно поменялся тон у пропущенных через руки человека высказываний. Спору нет, GPT-3 ― это шедевральная система обработки естестественного языка, но… она самая настоящая шовинистка: не умеет рефлексировать и быть осознанной, а это значит, что метод с фильтрацией стоп-слов отпадает.
Самое удручающее из этой ситуации ― это то, что DeepMind, одна из лидирующих компаний по обучению искусственного интеллекта, поделилась результатами эксперимента с Jigsaw, подразделением Google, которое занимается разбором полетов, и там сотрудники тоже разводят руками. Больше может только обескураживать факт, что разработчики пытаются решить эту проблему с 2016 года, и в ближайшее время ничего хорошего систему обработки естественного языка не ждет.
А что, так можно было?
Китай потребовал от 14 крупных IT компаний убрать всплывающие окна из мобильных приложений. Оказывается, можно разделаться с навязчивыми pop-up, если на это есть государственная воля? Браво!
IBM создала ИИ для перевода кода с одного языка программирования на другой
IBM представила свой новый проект — IBM CodeNet, в основе которого лежит искусственный интеллект, способный переводить код с одного языка программирования на другой.
Инфы о релизе CodeNet пока нет, но представители IBM заявили, что предоставят доступ к проекту всем желающим.
Кнопка
Революция искусственного интеллекта в эндоскопии уже началась!
Публикация американского гастроэнтеролога, преподающего в Медицинской школе Университета Индианы Дугласа Рекса (Douglas Rex) содержит анализ последних достижений данных технологий при скрининге колоректального рака. Автоматизированная детекция (CADe) и автоматизированная диагностика (CADx) — это системы, которые объединяют в себе способность компьютера к самообучению и выполнению специфических задач. Благодаря достижениям в развитии искусственного интеллекта, стало возможным выполнение им функций врача-эндоскописта. Уже разработана и испытана программа, которая в режиме реального времени проводит оценку качества осмотра слизистой при колоноскопии. Программа отсеивает неинформативные кадры, выявляет и подсчитывает кишечное содержимое на стенках, измеряет процент осмотренной слизистой оболочки кишки.
Во время извлечения колоноскопа система EM-Automated-RT разбивает просвет кишки на условные квадраты, помечая их как осмотренные шаг за шагом. Уже есть результаты исследования с участием десяти начинающих эндоскопистов, которые выполнили 483 колоноскопии под контролем системы. Статистически достоверно установлено, что молодых врачей программа заставила увеличить площадь осмотренной слизистой, повысить процент удаленного эндоскопистом содержимого с поверхности слизистой и показатель расправления стенок. Это привело к изменению времени извлечения колоноскопа.
Программа может стать как инструментом оценки качества колоноскопии, так и помощником в обучении врачей. Детекция полипов — первой CADe системой, по которой провели исследование, стала Polyp-Alert system. Программа проводит анализ в режиме реального времени, оценивая каждый третий кадр. На материале 53 процедур колоноскопии система верно определила 98% полипов. Было зафиксировано 36 ложноположительных результатов, причиной которых стали устье аппендикса, илеоцекальный переход и резидуальное содержимое кишки.
Возможности автоматизированной системы в дифференциальном диагнозе полипов, определении гистологической структуры оценили в Indiana University авторы данной публикации. Анализ проводили на основе классификации NICE (NBI без оптического увеличения). По первым результатам точность в определении гистологии составила 94%. Будущее данных технологий выглядит многообещающим.
Читайте также: