Мониторинг температуры в серверной своими руками
Добавил пользователь Евгений Кузнецов Обновлено: 19.09.2024
У меня есть небольшая серверная комната с собственным блоком переменного тока. Недавно кондиционер умер, и температура увеличилась с 70 ° F до> 90 ° F. Мы редко заходим в эту комнату, поэтому мне повезло, что кто-то случайно заметил, что вентиляторы работали намного громче, чем обычно, когда они проходили мимо двери. , Похоже, мне нужен способ получать уведомления, когда температура в этой комнате становится слишком высокой.
Какие инструменты вы используете для контроля температуры в вашей серверной комнате? Как этот инструмент уведомляет вас о проблеме (электронная почта, SNMP и т. Д.).
Примечание: я читал этот вопрос о температуре сервера , но меня интересует вся комната, а не только внутренняя часть корпуса сервера.
Редактировать:
Спасибо за все замечательные ответы до сих пор! Многие из этих продуктов измеряют гораздо больше, чем просто температуру. На что еще я должен смотреть и почему?
Кто-то, кто прикрывает вас спиной, когда он недоступен, например, датчик температуры подключен к охранной сигнализации здания / офиса .
Посмотрите ITwatchdogs . Их погода гусиная линия выглядит очень красиво. Они контролируют температуру, свет, звук, влажность и т. Д.
Вот список поставщиков (не APC), у которых есть другие продукты.
Что я использую в моем центре обработки данных , как представляется прекращена модель . Что бы вы ни использовали, убедитесь, что:
- Они используют SNMP, а не какой-то специальный протокол.
- Есть выносные датчики температуры. (Я не знаю, есть ли нетботц . )
В настоящее время температурные мониторы подвешены к середине подвесного потолка.
Используя простое приложение для мониторинга сети (zenoss, munin, nagios и т. Д.), Просто отслеживайте нарушения пороговых значений и создавайте оповещения для своего пейджера / электронной почты.
Вам также следует подумать о покупке ручного термометра и пройтись по всем частям вашего датацентра / коммуникационного шкафа (включая углы), чтобы найти любые горячие точки.
1- Есть несколько производителей (связанных в других ответах) автономных устройств контроля температуры и влажности. Это довольно просто . обычно вы монтируете их там, где хотите контролировать, подключаете их к сети и настраиваете их для оповещений по электронной почте. Они хорошо работают.
2. Большинство серверов могут выдавать оповещения SNMP, когда температура выходит за пределы спецификации, и вы можете использовать что-то вроде WhatsUp от Ipswitch, чтобы принимать и обрабатывать эти оповещения.
Вы должны посещать серверную комнату один или два раза в день , возможно, по прибытии и после обеда, чтобы проверить температуру и влажность, а также осмотреть оборудование на наличие необычных световых сигналов или кодов состояния, необычных шумов и т. Д. Если вы не можете этого сделать, тогда попросите кого-нибудь сделать это.
Если вы хотите дешевое решение, вы можете купить USB-термометры примерно за 10 долларов США. У меня есть устройство TEMPer . Я еще не дошел до его использования, в основном потому, что он не полностью поддерживается в Linux. Tollef Fog Heen написал некоторую поддержку , но я еще не проверял, находится ли она в ядре. Он поставляется с драйверами Windows, поэтому просто подключите его к вашему мониторингу. :)
Я также второй и расширяю комментарий, сделанный Джозефкерном в его ответе. В дополнение к прогулке с термометром, чтобы почувствовать температурный режим в комнате, купите несколько дешевых не подключенных термометров и повесьте их на потолке. Они отлично подходят для создания отчетов по термометрам, и вы будете удивлены, как часто проблема будет обнаружена, когда человек поглядывает на термометр, когда они входят и выходят из комнаты, прежде чем диапазон предупреждений контрольных термометров будет пересечен. Чем раньше вы диагностируете проблему AC / HVAC, тем дольше вам придется ее устранять, прежде чем начинать повреждать компоненты, останавливать машины или самостоятельно выключать машины, чтобы защитить себя.
+1 к ответу Джозефа Керна. Мы используем одну из систем ITWatchdog, но я использовал и другие системы, и общая идея великолепна.
ITWatchdogs и многие другие поставщики используют однопроводную шину Dallas для управления своими датчиками. Фактические датчики доступны от Farnell и т. Д. По очень низким ценам, и они в основном прикрепляются к куску кабеля Cat3. Вы можете комбинировать систему ITWatchdogs (или аналогичную) с множеством собранных вручную однопроводных датчиков для относительно дешевого решения.
Существуют также стандартные интерфейсы RS232 для однопроводной шины (такие как эта ) с различными уровнями сложности, что означает, что вы можете напрямую подключать контрольное оборудование к серверам, если вы не хотите запускать дополнительное оборудование (удаленный POP). только с одной машиной, например)
1-Wire - отличный бюджетный метод, который может контролировать множество вещей. Мы собирались купить несколько однопроводных комплектов и попытаться выяснить это программное обеспечение, когда мы нашли на ebay Netbotz 310 за 40 долларов, который все это сделал, плюс имел хорошее программное обеспечение и инструменты управления.
У нас есть аналогичная установка (частный пакет в центре обработки данных с собственным кондиционером для охлаждения комнаты) и мы используем TemPageR от AVTECH для контроля температуры в комнате и получения уведомлений по электронной почте / SMS, если температура превышает определенную. порог. Мы используем внутренний зонд для контроля температуры окружающей среды и дистанционный зонд для контроля воздуха, поступающего непосредственно из воздуходувки кондиционера, чтобы убедиться, что он холодный.
Нам это нравится, потому что это полностью автономное устройство, которое не нужно подключать к программному обеспечению на другом сервере для работы. AVTECH производит полную линейку систем мониторинга окружающей среды, включая датчики температуры и воды.
Более недорогой маршрут - использовать температурный монитор, который подключается к системе безопасности вашего здания. Если температура достигает установленного уровня, связываются с людьми из списка вызовов системы безопасности.
+1 это то, что мы используем. Прекрасно работает, и мы знаем, что кто-то ПОЗВОНИТ список телефонов, когда он
Согласен, это то, что мы тоже используем. Поскольку сигнал тревоги защищен от батареи и через отдельную связь, чем ИТ-инфраструктура, он охватывает несколько случаев, чем система, которая зависит от схем и устройств, которые он защищает. Это также очень недорогое решение.
Несмотря на то, что у нас есть аварийные сигналы по всему помещению, не у всех такая роскошь, я бы посоветовал вам взглянуть на имеющиеся у вас серверы, у многих уже есть датчики температуры, которые в сочетании с бесплатным программным обеспечением для управления системами допускают SNMP-ловушки и электронные письма, которые будут отправлены, когда эти датчики пройдут определенный уровень. В частности, я знаю, что у серверов HP и IBM они есть, и я вполне уверен, что Dell тоже. Дайте мне знать, какие у вас марки / модели, и я постараюсь что-нибудь выкопать.
Низкие технологии : я держу внутренний / наружный термостат в своем офисе. Наружный зонд проходит через небольшой канал в стене в соседнюю серверную комнату. С первого взгляда я вижу там температуру. Термометр также отслеживает минимальные / максимальные временные диапазоны, поэтому я проверяю и сбрасываю их один раз в неделю.
Не в соседнем офисе, просто запустите датчик под дверью и повесьте термометр в коридоре за пределами комнаты, может быть?
Я также полагаюсь на временные мониторы в своих серверах HP для более автоматизированного подхода, но в прошлом низкотехнологичный фактически был более полезным. Я смотрю на темп каждый раз, когда захожу в свой офис.
+1 для Sensatronics. Отлично работает, и тогда вы просто используете свое решение для мониторинга сервера для проверки SNMP-устройства (и, если хотите, отобразите его на графике).
Есть также проект LM Sensors.
У парня, которого я знаю, есть зонд с GSM-передатчиком, прикрепленный к одной из стен серверной комнаты. Он обычно звонит ему, если что-то серьезно не так, и отправляет SMS, если это небольшая проблема.
Я собираюсь купить один сам, я отправлю обратно, когда у меня будет название продукта.
Изменить : Это что-то вроде SCOM-100 от Infinite Ltd.
APC NetBotz ассортимент продукции очень хорошо для мониторинга окружающей среды, различные продукты позволяют Вам температуру монитора, влажность, расход воздуха, звук и т.д. Он также может быть использован с камерами и дверными датчиками , чтобы обеспечить решение всех сторон безопасности и мониторинга ,
Мы используем температуру материнской платы / процессора на нескольких наших серверах. Если сразу несколько таких тревог, то вполне понятно, в чем причина. Дополнительное оборудование не требуется.
В серверной комнате установлен модуль управления средой APC, который в основном контролирует температуру и другие факторы окружающей среды. Это устройство на базе IP, которым вы можете управлять из браузера.
В моей серверной комнате я использую два продукта. один является резервной копией в случае сбоя другого. Первый - это AVTECH 11E, в этом устройстве используется зонд для передней и задней части трех моих стоек. Я добавил монитор для питания, чтобы он предупреждал меня, когда моя комната не работает. У меня есть резервный блок Senturion Environmental Monitor, который также имеет датчики, но также принимает свет в комнате, воздушный поток и температуру в стойке, и я могу добавить камеры в блок. Я зависим от моего Senturion больше, чем от AVTECH, так как он немного точнее, чем AVTECH.
Я буду второй пост Кентчен. Мы используем блок APC EMU, и он, кажется, работает очень хорошо, сообщая нам, когда что-то происходит.
Программное обеспечение позволяет отправлять оповещения по электронной почте и экспортировать данные, хотя кажется, что это проблема с ресурсами (по крайней мере, на ПК, на котором я его запускаю - YMMV).
Мы используем Ingrasys Insentry. Есть 2 модуля Ethernet, которые мы держим один сзади серверной стойки и один спереди, и он контролирует температуру и влажность. Он использует snmp, и вы просматриваете его через веб-консоль. Он также отправляет оповещения на мою электронную почту, когда встречается одна из кодировок (например, слишком жарко или влажность слишком высокая или низкая или слишком холодная и т. Д.). Кусок торта для настройки. Установите их и забудьте о них, пока кондиционер не умрет.
У нас есть несколько вещей, происходящих в центре обработки данных для мониторинга температуры.
SNMP температурные мониторы. Мы используем мониторы Sensatronics EM1, чтобы быть точным. У них есть датчики температуры и влажности. Я только недавно добавил еще 3 датчика в устройство, поэтому мы отслеживаем четыре разных места в нашем главном центре обработки данных. Мы опрашиваем SNMP-данные от них и запускаем их через MRTG для анализа тенденций и построения графиков. У нас также есть брат, который предупреждает нас, когда температура или влажность достигают определенных пороговых значений. Теоретически физические люди в университете также следят за аудиторией, но, похоже, они не замечают или не заботятся так часто, как мы.
В будущем я бы тоже хотел получить данные с наших блоков переменного тока, но у меня еще не было на это времени.
РЕДАКТИРОВАНИЕ: Вы должны искать влажность между 40% и 55%. Если в комнате слишком сухо, статическое электричество может стать проблемой. Слишком влажно, и ваши диски будут ржаветь на месте.
Вот ссылка на довольно приличный обзор физических стандартов центров обработки данных, включая температуру и влажность. Также информация об организации центра обработки данных и кабельных стандартов.
Многие высокопроизводительные серверы от таких поставщиков, как HP, будут включать множество датчиков, которые можно запрашивать через IPMI или SNMP. Что мы делаем, так это берем все, что у нас есть, наши ИБП и любые другие устройства, которые поддерживают мониторинг температуры любого рода, и подключаем их к нашей системе мониторинга (Zenoss).
Затем мы объединяем данные в один график, и это дает нам действительно хорошее представление о том, какая температура в комнате.
В частности, вам нужны устройства, которые позволят вам контролировать температуру на входе и на вытяжном вентиляторе. По моему мнению, это дает вам еще более точное представление о том, на что похожа температура, потому что тогда вы точно знаете, какой воздух поступает на ваш сервер и выходит из него.
Мы используем датчики Далласа на последовательном порту и плагин Perl-munin для мониторинга температуры. Очень недорогой и домашний, но работает как шарм.
Серверные – специальные помещения, где размещаются стойки и шкафы с сетевым оборудованием. Это довольно дорогостоящее оборудование, выход его из строя или временные простои в работе могут привести к значительным материальным и финансовым потерям. Для обеспечения нормальной работы необходимо контролировать и регулировать параметры микроклимата в серверной: температуру, влажность, чистоту и подвижность воздуха.
У нашей компании также есть серверные, микроклимат в которых мы осуществляем с помощью собственных средств автоматизации – датчиков влажности и температуры ОВЕН ПВТ10 и программируемого реле ОВЕН ПР200 . Рекомендуем и нашим заказчикам устанавливать подобные системы контроля микроклимата. В данной статье рассмотрим основные особенности серверных, требования к ним и поделимся своим опытом.
Зачем нужны серверные
Объемы цифровой информации растут экспоненциально. В 2018 году предприятия создали 33 зеттабайта данных, а в 2025 году ожидается объем 180 зеттабайт. Основные предпосылки такого роста – не только развлекательные платформы. Это системы видеоконтроля, оборудование, имеющее доступ и управление через интернет. Несмотря на большую популярность облачных сервисов, сейчас сложно представить современный офис компании без собственной серверной.
В чем ошибки размещения серверной
Чаще всего серверная комната размещается либо в полуподвальном помещении, либо на чердаке и представляет собой замкнутое пространство без правильно спроектированной системы вентиляции. Связано это с тем, что серверную не всегда предусматривают на старте создания компании, и при строительстве нового офиса о таком виде помещений часто думают в последнюю очередь.
Как же несоблюдение микроклимата влияет на оборудование?
Основные риски при несоблюдении микроклимата в серверной
· Нарушение работы сети и потеря данных.
· Снижение срока службы оборудования, дополнительные затраты на обновление серверных устройств.
· Переплата за электроэнергию при неправильно реализованных инженерных системах.
Факторы микроклимата, влияющие на оборудование
Основные факторы микроклимата: повышенная температура, пониженная влажность, повышенная влажность. Посмотрим, как они влияют на работу оборудования. Данные для наглядности сведены в таблицу.
Возможные риски в зависимости от того, где размещена серверная.
Требования и нормы, предъявляемые к серверным
Большинство зарубежных требований сформировано компаниями-производителями серверного оборудования, которых и стоит придерживаться.
Как создать оптимальный микроклимат
· Самый распространённый вариант охлаждения – использование кондиционера (сплит-система), работающего в непрерывном режиме вне зависимости от сезона. В таком случае обязательно необходимо обеспечить надежность системы охлаждения и не допускать её выхода из строя.
· Рекомендуется устанавливать не менее двух кондиционеров, при этом мощности каждого из них должно хватать для поддержания допустимых значений микроклимата в серверной. Чтобы обеспечить одинаковую наработку по времени, рекомендуется поочередное использование кондиционеров.
· Очень небольшой процент современных кондиционеров позволяет влиять на влажность в помещении, поэтому необходимо дополнительно разместить осушители/увлажнители воздуха.
· Двери сетевых шкафов обязательно должны иметь перфорацию. Воздух должен беспрепятственно проникать сквозь шкаф. Если у вас глухие или стеклянные дверцы – рекомендуется их полное снятие.
· Для контроля параметров микроклимата необходима система мониторинга, включающая датчики температуры и влажности.
Мониторинг микроклимата
· Температура и влажность – обязательные параметры к измерению.
· Система мониторинга должна передавать данные на управляющее устройство (контроллер, программируемое реле) для управления микроклиматом.
· Датчики температуры и влажности лучше всего размещать на передней двери шкафа.
· Рекомендуется устанавливать несколько датчиков температуры и влажности в разных точках и на разной высоте. Например, на высоте 0,5 м – 1,25 м – 1,75 м.
· Используйте оборудование, имеющее сертификацию средств измерения.
В серверной нашей компании установлены преобразователи влажности и температуры ПВТ10 , которые передают данные на программируемое реле ПР200. Система позволяет не только мониторить значения микроклимата, но и управлять им.
Явным преимуществом данных датчиков является одновременное измерение и влажности, и температуры. При этом можно задействовать, как цифровой выход устройства Modbus RTU (RS-485), так и аналоговый выход типа токовая петля (4…20 мА). Такая система позволяет хранить данные в облаке.
Создайте аккаунт или войдите в него для комментирования
Вы должны быть пользователем, чтобы оставить комментарий
Создать аккаунт
Зарегистрируйтесь для получения аккаунта. Это просто!
Войти
Сейчас на странице 0 пользователей
Нет пользователей, просматривающих эту страницу.
Похожие публикации
Добрий день, усім.
Хтось може сказати яка має бути нормальна робоча температура SFP модуля. А то в одних 23 градуси, в інших 50. При чому попадаються варіанти майже одинакові SFP в одному комутаторі одна 30 інша 44. Дивився на різні комутатори приблизно в однакових умовах. Є правда з активним і пасивним охолодженням.
Знайшов у одного продавця на сайті "Эксплуатация от 0 до +85"
Буду вдячний якщо хтось поділиться досвідом.
Опыта с оптикой нет.
Проект в облэнерго на днях должны подписать.
Планируем начать строительство, но смущает температура воздуха, а точнее утяжка кабеля в боксах/муфтах весной/летом.
Можно ли ноябре-декабре строить ПОН-сеть на опорах, или лучше отложить к марту?
Буду благодарен за любые советы
Лето, жара. Расплавленное оборудование по-тихоньку стекает на дно ящика.
В общем, будет не лишним добавить в шаблон по умолчанию градусник.
Серия свичей D-Link DES 3200.
Открываем шаблон:
ee /usr/local/www/apache24/data/billing/config/snmptemplates/Dlink-DES-3200-10 и добавляем:
[TEMPERATURE] NAME="Temperature" OIDS=".1.3.6.1.4.1.171.12.11.1.8.1.2" PARSER=sp_parse_ciscocpu конечно, немного коряво ( т.к. вместо значка градусов будет отображаться %), но всё же вполне информативно.
Nightfly, если не влом и считаете что это того стоит, добавьте, пожалуйста, в шаблоны для DES-3200 в дистрибутив
Знаю, что здесь немало специалистов у кого работа связана с серверными комнатами, и проблемами по контролю температуры в них. Если температура выходит за пределы(неисправен кондиционер) то нагрев оборудования чреват отказом в работе и выходом из строя дорогостоящего оборудования. Возможен даже пожар.
Круглосуточно следить за параметрами заданной температуры - может устройство:
GSM термометр.
Цена - 85 у.е. - в комплекте 3 датчика температуры, адаптер питания 12В.
Позволяет полностью решить проблему контроля и оповещения персонала о возникшей
проблеме. Как только температура превысит на 1С заданную в настройках - идет оповещение на 1-8 номеров телефонов СМС+звонки. в смс указывается причина тревоги и текущая температура. Такая схема работы полностью оправдала себя за последние несколько лет на многих обьектах. Устройство имеет также возможность отображать текущие и сохраненные температурные значения за прошедшее время, для анализа системы охлаждения серверной и ее правильной работы - с доступом по интернет.
Возможно у вас есть знакомые которые работают админами на подобных серверных, это информация для них.
Базовая стоимость 85у.е Это несравнимо с потерей серверного оборудования, клиентов и т.д..
Также возможна расширенная функциональность - для оповещения проникновения в серверную посторонних лиц, задымления, удаленного перезапуска сервера или включения дополнительного охлаждения, иного оборудования, и т.д.
Звонить для консультаций: ноль-девять-семь-123-2121 Александр.
Доброго дня.
При яких (реальних) температурах можна працювати з оптичним кабелем?
Використовую ТКО дієлектрик 12F, в документації вказано, що до -20С можна працювати.
Хто стикався/працював при низьких температурах з оптичними кабелями?
з пов.
В данной статье будет рассмотрена процедура настройки мониторинга температуры серверной по SNMP в системе Microsoft System Center Operations Manager ( SCOM ) с помощью контроллера температуры Sensatronics Model E4 .
Допустим, что контроллер уже настроен и подключен по SNMP к SCOM, и вам необходимо настроить сбор показаний температуры датчика “Probes 1” на картинке ниже.
Чтобы настроить правило производительности по SNMP в Operations Manager, вам нужно знать OID. Если бы у производителя был доступен свой MIB, можно было бы использовать его, но на текущий момент я его на сайте не смог найти, поэтому можно поступить по-простому – запустить какой-нибудь MIB browser и опросить наш контроллер. Достаточно легко можно найти текущее значение температуры с нашего датчика температуры “Probes 1” и соответствующий ему OID.
Создание правила SNMP Performance в SCOM
Для сбора показаний температуры воспользуемся стандартным правилом SNMP Performance.
Перейдите на вкладку Authoring консоли Operations Manager. Там выберите объект Rules.
Для того чтобы создать правило SNMP, нам нужны выбрать тип класса Node. Для этого поменяйте Scope.
Щелкнув правой кнопкой, создайте новое правило.
Выберите тип правила SNMP Performance:
Выберите management pack для сохранения ваших настроек. Если он еще не создан, то создайте свой новый пакет управления для этих целей. Подробнее процесс создания нового пакета управления в SCOM рассматривался ранее на нашем сайте. Далее введите название вашего правила и описание, в категории правила нужно указать Performance Collection. Флажок “Rule is enabled” рекомендую не включать – нам не нужно собирать эти данные со всех ваших SNMP устройств.
Далее укажите частоту опроса датчика температуры и тот самый OID, который мы узнали в начале этой статьи. Для создания правила нажмите кнопку “Create”.
Далее нам нужно включить это правило конкретно для нашего датчика температуры. Для этого делаем “override” для этого правила:
и устанавливаем параметр “Enabled” в True.
На этом все. Через несколько минут начнется сбор данных, и если вы все сделали верно, то вы сможете это посмотреть в Performance View этого устройства:
Теперь вы также сможете вывести график температуры этого датчика в своем виджете или использовать это правило при создании своего отчета.
Создание монитора SNMP Probe Monitor в SCOM
Для того, чтобы настроить оповещение о росте температуры в Operations Manager, необходимо создать так называемый “монитор”.
Совет. Рекомендую подробно изучить, что такое “монитор” и “правило” в SCOM, и какая между ними разница. Для начала можно почитать в Technet . Администратору системы мониторинга крайне необходимо понимать разницу между ними, чтобы грамотно использовать все возможности системы.
Для мониторинга температуры воспользуемся стандартным функционалом консоли SCOM, используя тип монитора SNMP Probe Monitor. С помощью этого инструмента мы будем опрашивать наш датчик температуры с заданной периодичностью и сравнивать полученное значение с нужным нам пороговым значением. Если значение температуры выше порога, будет формироваться оповещение, например по e-mail или SMS. Описание настройки различных типов оповещений выходит за рамки данной статьи.
И так, создайте новый монитор.
Выберите тип SNMP Probe Monitor в разделе Simple Event Detection.
Заполните основные свойства монитора. Монитор рекомендую сразу не включать, а сделать это в конце через переопределение.
На следующем шаге введите тот же самый OID датчика (.1.3.6.1.4.1.16174.1.1.1.3.1.2.0) и задайте периодичность опроса.
Далее необходимо составить условное выражение при превышении порога температуры. В качестве сравниваемого параметра нужно использовать следующую конструкцию: /DataItem/SnmpVarBinds/SnmpVarBind[1]/Value.
На следующих двух шагах аналогично делаются настройки для случая, когда монитор возвращается в исходное состояние, то есть когда полученное значение температуры ниже порогового. Также указываются тот же самый OID датчика и нужная периодичность опроса. Далее задается условие при снижении температуры ниже порога.
Пилотный проект, на который на работе выдедлили средства.
Arduino Nano V 3.0
ENC28J60 Ethernet Shield
DHT 22 - модулем.
DS18B20 - 2 штуки.
Relay module 5v
Nano I/0 9v 2.5mm Power Sensor Expansion - в качестве распаячной платы.
Светодиод 1.37v (замерял сам) - 2шт.
Задача устройства такова:
Измерение и температуры и влажности с 3-х датчиков, передача данных на сервер.
В роли сервера выступает Processing
В Processinge данные обрабатываются, выводятся в терминал в виде динамичных термометров, так же выводится информация о текущем времени, времени в работе, IP адрес Arduino и IP адрес WEB страницы с данными, которую генерирует сам процессинг. Так же каждые 30 минут записывются усредненные данные в лог файл формата .csv, раз в сутки (ровно в полночь) создается новый лог файл.
Когда температура выходит за пределы допустимых параметров:
Замыкается реле (подключение физической сигнализации).
На веб страницу выводится сигнал аварии с сопровождением звукового сигнала "СИРЕНА".
1. Просто информирует о включенном или выключенном состоянии устройства
2. Горит при наличии сетевого соединения (DCHP).
Ну вот вроде и все. Все еще следует доробатывать и оптимизировать. В планах сделать динамичный график изменения температуры, более красивый интерфейс HTML и терминала Processing.
Читайте также: