Как сделать резервную копию proxmox

Добавил пользователь Евгений Кузнецов
Обновлено: 05.10.2024

Proxmox — популярная система виртуализации. Для того чтобы максимально эффективно использовать предоставленные операционной системой возможности, давайте разберемся как расширить хранилище данных на жестком диске. Для хранения данных в Proxmox VE можно использовать внешние хранилища, сетевые ресурсы или подключать к системе дополнительные HDD или SSD, а также использовать контроллеры SCSI или RAID.

Обращу ваше внимание на особенность системы: типы хранилищ, кроме Образ диска и Виртуальная машина можно размещать только на подключенных хранилищах с типом Каталог. В этой статье мы рассмотрим как добавить диск Proxmox на примере Debian.

В рассматриваемом случае, подключен и предварительно настроен в BIOS компьютера SATA HDD емкостью 120 Гб. Он полностью очищен и не размечен ни под какую-либо ОС и определился в системе как устройство /dev/sdb. В Proxmox VE подключения к хранилищу логически разделены по вкладкам Датацентр, где можно подключить сетевые хранилища, и каждой машины в отдельности, в нашем случае локальная машина называется PVE. Ниже представлены варианты, предлагаемые к созданию из вкладки Датацентр:

Как добавить диск в Proxmox

Разметка диска

Для операций с диском давайте использовать в режиме XFCE4 от имени суперпользователя root дисковую утилиту GParted:

Как добавить диск в Proxmox

Выберите меню Устройство, пункт Создать таблицу разделов:

Как добавить диск в Proxmox

В результате утилита предложит создать несколько видов разделов, в том числе: msdos (MBR), GPT, mac и прочие. Для целей подключения дополнительного хранилища Proxmox VE, рассмотрим создание раздела GPT с различным видом файловых систем. Для этого выберите GPT и нажмите Применить.

Как добавить диск в Proxmox

Поиск раздела в консоли Proxmox VE

Перейдите в раздел PVE, затем в раздел Диски, там должен появиться размеченный под GPT диск /dev/sdb с типом unknown, не используемый (колонка Использование), в колонке GPT должно быть указано Да, а в колонке Использование можно увидеть тип диска, у /dev/sdb его пока нет:

Как добавить диск в Proxmox

Форматирование диска средствами Proxmox VE

В панели управления ProxmoxVE можно отформатировать подготовленный диск под файловую систему LVM или ZFS.

  • Файловая подсистема LVM позволяет использовать разные области одного жёсткого диска и/или области с разных жёстких дисков как один логический том. Реализована с помощью подсистемы device mapper. Активно используется ProxmoxVE как основная файловая система.
  • Файловая система ZFS, разработки SUN Microsystems, поддерживает большие объёмы данных, объединяет концепции файловой системы, массивов RAID, менеджера логических дисков, принципы легковесных файловых систем, предоставляет простое управление томами хранения данных.

Так же мы создадим раздел на диске GPT, который отформатируем под EXT4, журналируемой файловой системой, которая используется в операционных системах с ядром Linux.

Для создания LVM раздела перейдите в раздел Диски машины PVE, выберите пункт LVM , Создать: Volume Group, укажите диск /dev/sdb и задайте его имя, например backup.

Как добавить диск в Proxmox

Тот же способ подходит и для создания раздела LVM-Thin: LVM Thin Provisioned volume, тонкие (разреженные) тома, которые занимают столько места, сколько требуется системе.

Для создания ZFS раздела снова используем не размеченный диск, ранее размеченный диск можно снова вернуть в состояние не размеченного с помощью GParted.

Как добавить диск в Proxmox

Перейдите в панели управления Proxmox VE в меню Диски машины PVE, затем в разделе ZFS выберите кнопку Создать: ZFS. Снова задайте имя хранилища backup, если необходимо включите сжатие, и нажмите кнопку Создать.

Зеленый значок возле ONLINE говорит о том, что диск доступен для работы. Также из панели управления Proxmox VE можно управлять состоянием хранилища, добавлять диски.

Как добавить диск в Proxmox

На созданных и подключенных через панель управления Proxmox VE томах LVM можно хранить образы и диски виртуальных машин. Для создания остальных объектов необходимо примонтировать диск к файловой системе хоста PVE. Теперь вы знаете как добавить жесткий диск proxmox.

Форматирование диска в Ext4 с помощью терминала

Для разметки диска GPT и форматирования раздела под файловую систему EXT4 воспользуйтесь приложением Терминал. Ниже показано как выглядит структура файловой системы на хосте PVE:

Как добавить диск в Proxmox

С помощью консольной утилиты fdisk произведите создание системы GPT и создайте новый раздел на диске /dev/sdb:

Как добавить диск в Proxmox

В результате в системе должен появиться раздел /dev/sdb1 диска /dev/sdb. Создадим файловую систему:

По окончании форматирования, создайте точку монтирования /backup:

Отредактируйте файл /etc/fstab, в котором указываются точки монтирования дисков системы, таким образом, чтобы в конце файла была строка:

Как добавить диск в Proxmox

Дайте системе команду монтировать все диски, указанные в файле fstab:

Как добавить диск в Proxmox

Таким же путем можно отформатировать диск LVM под EXT4, чтобы примонтировать его к файловой системе.

Как добавить диск в Proxmox

Создайте диск LVM, на этот раз из программы Терминал. Для этого необходимо подготовить диск с помощью консольной утилиты fdisk:

Как добавить диск в Proxmox

Сознательно создавались длинные имена файлов, чтобы показать, как будет именоваться результат выполнения комманд: LVM-раздел pve—test—bkp-backup, расположенный в /dev/mapper теперь можно отформатировать в файловую систему EXT4 и примонтировать в раздел файловой системы /backup точно также, как ранее монтировался /dev/sdb1:

В файле /etc/fstab уберите вместо /dev/sdb1 укажите новый раздел, чтобы выглядело так:

Дайте команду системе перемонтировать диски согласно данным /etc/fstab:

Как добавить диск в Proxmox

Использование диска для хранения архивных копий, образов и шаблонов

После удачного монтирования диска осталось добавить диск proxmox в панели управления. Для этого нажмите кнопку Добавить в разделе Хранилище хоста PVE и укажите тип Каталог. Выберите ID backup, каталог укажите /backup, в содержимом выберите Резервная копия и любые другие пункты с помощью зажатой клавиши на клавиатуре Shift и кликов мышкой.

Как добавить диск в Proxmox

В меню Пулы Датацентра создайте пул backup и добавьте созданное хранилище backup. Это позволит выбирать пул при создании виртуальных машин, создании бекапов и других файловых операций.

Настройте резервную копию, на примере виртуальной машины CentOS. Для этого перейдите в виртуальную машину, затем в пункт Резервная копия, выберите в правом углу Хранилище backup, нажмите кнопку Создать резервную копию сейчас. После заполнения полей и нажатия кнопки Резеврная копия будет запущен фоновый процесс создания резервной копии.

Как добавить диск в Proxmox

Использование диска для хранения виртуальных машин

При создании хранилища backup были выбраны не только резервные копии, поэтому его можно использовать для создания образов виртуальных машин. Те диски, которые были инициализированы из панели управления Proxmox VE, могут размещать образы виртуальных машин, но не другие объекты.

При создании виртуальной машины можно выбирать любое хранилище, и оно будет поддерживать объекты, которые создаются при создании виртуальной машины. На скриншоте ниже приведены минимальный набор объектов любого хранилища Proxmox VE:

Как добавить диск в Proxmox

Выводы

Сегодня вы узнали как выполняется подключение дисков Proxmox, путями создания файловой системы на чистом не размеченном диске, с различными методами разметки диска, вариантами подключения хранилища к гипервизору.

Платформа виртуализации предприятия с открытым исходным кодом, Proxmox берет свое начало в начале 21-го века и за эти годы претерпела обширное развитие. Proxmox предлагает выбор вариантов, используемых для резервного копирования виртуальных машин с помощью модуля Proxmox и, в частности, Bacula Enterprise Edition.

Если модуль Proxmox размещен на гипервизоре Proxmox, его можно использовать для обеспечения полного резервного копирования и восстановления виртуальных машин, включая гостевые системы QEMU и LXC. Далее мы рассмотрим различные функции, процедуры и факторы, которые необходимо учитывать при использовании модуля Proxmox и Bacula Enterprise Edition для процедур резервного копирования и восстановления.

Прежде чем мы продолжим, вот список основных функций модуля Proxmox:

  • Можно создать резервную копию любой гостевой виртуальной машины, включая гостевые системы QEMU и LXC.
  • Резервное копирование на уровне образа может быть выполнено полностью с помощью модуля Proxmox.
  • Модуль Proxmox можно использовать для восстановления всего образа виртуальной машины.
  • Может использоваться для восстановления архива QEMU VM (.vma) в альтернативное место
  • Архив LXC (.tar) и всю конфигурацию можно восстановить в альтернативный каталог.
  • Кластер Proxmox для каждой виртуальной машины можно сканировать модулем, создавая версию Bacula Enterprise для каждой виртуальной машины.

На этом этапе может быть полезно краткое изложение некоторых из использованных выше терминов:

  • QEMU - это гипервизор, который используется для виртуализации оборудования и имеет открытый исходный код.
  • LXC позволяет запускать несколько систем Linux с использованием одного ядра Linux. Он обеспечивает виртуализацию на уровне ОС для использования модуля Proxmox.
  • Proxmox - это корпоративная платформа визуализации виртуальных машин с открытым исходным кодом.
  • VMID идентифицирует гостевую виртуальную машину с помощью модуля Proxmox.
  • VMA - это архив виртуальных машин. VMA может использоваться для хранения гостевых виртуальных машин QEMU через модуль Bacula Proxmox через гипервизор Proxmox.

Почему для Proxmox требуется резервное копирование

Резервное копирование виртуальных машин имеет важное значение. Подобно тому, как ИТ-отделы выполняют регулярное резервное копирование физических машин, то же самое необходимо делать и для виртуальных машин. Было время, когда этого нельзя было сделать с Linux. Модуль Proxmox решил эту проблему и теперь является основным модулем для резервного копирования виртуальных машин.

Предпочтительным методом является использование Bacula Enterprise File Daemon. Это предназначено для работы с каждой отдельной виртуальной машиной, а не со всеми сразу, и позволяет использовать следующие функции в модуле Bacula Enterprise Proxmox:

  • Быстрое восстановление отдельных файлов.
  • Контрольная сумма отдельных файлов для обнаружения вирусов и шпионского ПО.
  • Проверить вакансии.
  • Исключение файлов или каталогов (например, файлов подкачки или временных файлов).
  • Сжатие на уровне файлов.
  • Точное резервное копирование.

Все вышеперечисленное доступно при использовании метода резервного копирования Bacula Enterprise File Daemon.

Альтернативный метод резервного копирования - использовать резервную копию на уровне образа. Это не требует, чтобы File Daemon был вставлен в каждую виртуальную машину, и это предпочитается некоторыми пользователями. Вот краткий обзор того, как выполнить резервное копирование одной гостевой виртуальной машины.

Как сделать резервную копию Proxmox

Для выполнения Proxmox Резервное копирование для одной гостевой ВМ необходимо выполнить следующие шаги:

  • Для гостевых виртуальных машин LXC необходимо сохранить конфигурацию.
  • Затем пользователь должен остановить виртуальную машину и создать новый моментальный снимок резервной копии по запросу.
  • Выполните vzdump, чтобы сохранить данные.

JobId 68: proxmox: Начать резервное копирование vm: ubuntu-контейнер (101)

JobId 68: proxmox: Резервное копирование vm: ubuntu-container (101) ОК

Любая гостевая виртуальная машина QEMU будет скопирована в файл .vma, а гостевая виртуальная машина LXC создаст файлы .conf и .tar. Если резервное копирование нескольких гостевых виртуальных машин выполняется одновременно, файлы будут созданы для каждой. Пользователи могут найти соответствующие файлы, указанные ниже:

/@proxmox/qm//VM.vma - для гостевых ВМ QEMU

/@proxmox/lxc//VM.conf и /@proxmox/lxc//VM.tar - для гостевых виртуальных машин LXC

Как восстановить Proxmox

Модуль Proxmox предлагает два различных варианта восстановления: восстановление в гипервизор Proxmox и восстановление в локальный каталог.

Восстановить в Proxmox

Оператор должен видеть следующий прогресс:

JobId 76: proxmox: восстановление виртуальной машины: lxc / ubuntu-container / VM101 как VM222

Восстановить в локальный каталог

Для восстановления в локальный каталог пользователю необходимо указать данные, чтобы задать местоположение. Таким образом, параметр должен читать, например, restore where = / tmp / bacula / restores. Журнал прогресса будет выглядеть так:

JobId 90: proxmox: локальное восстановление виртуальной машины: qm / ubuntu-server / VM108

Вышеупомянутое указывает на то, что гостевая виртуальная машина была восстановлена ​​в локальный каталог, и указывает, где ее можно найти.

Proxmox backup на резервный винт (как зеркало) (интересная задумка)

Proxmox backup на резервный винт (как зеркало)

Т.к Proxmox не поддерживает soft raid из коробки, а использование mdam приводит к жутким тормозам, возникла некоторая идея по поводу создания некого offline raid (я его так назвал). И так имеем сервер hp dl 180 g6 c fake raid контроллером b110i (данный контроллер Proxmox в упор не видит). К серваку подключены два sata диска по 500гб. Задача, система будет стоят на одном из sata дисков, а на 2-ой с помощью dd зальем образ диска, в планировщике по cron, будет каждый час срабатывать rsunc и синхронизить только изменения. Вот такая вот мысль, что скажете?

Он основан на дебиане. Дебиан поддерживает софт рейд. "искаропки" - это в смысле не ставится штатным инсталлером? Ну так это ничего страшного, можно ручками сделать.

Значит, что-то неправильно делаете.
Можно этот вопрос разобрать подробнее.

м, возникла некоторая идея по поводу создания некого offline raid (я его так назвал). И так имеем сервер hp dl 180 g6 c fake raid контроллером b110i (данный контроллер Proxmox в упор не видит). К серваку подключены два sata диска по 500гб. Задача, система будет стоят на одном из sata дисков, а на 2-ой с помощью dd зальем образ диска, в планировщике по cron, будет каждый час срабатывать rsunc и синхронизить только изменения. Вот такая вот мысль, что скажете?

proxmox очень хорошо юзает LVM, и они крайне не рекомендуют использовать софт raid, об этом написано на офф. вики

при обновление debian 6 на debian 7, mdadm не умрет?

proxmox очень хорошо юзает LVM, и они крайне не рекомендуют использовать софт raid, об этом написано на офф. вики

Ссылку в студию.

хотите извращений - включите зеркалирование средствами lvm :-)

Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.

Видимо, спят и видят мир, где у каждого есть по своей полке

не, ну я ж для человека стараюсь - он хочет сделать какую-то девиацию, я вот подкидываю ещё мыслей, может понравится.


я думаю они просто не хотят отвечать ещё и на тупые вопросы по софтрейду. про хардварь всегда можно послать, а тут же нянчится придётся с пользователями :-)

Солнце садилось в море, а люди с неоконченным высшим образованием выбегали оттуда, думая, что море закипит.

. И так имеем сервер hp dl 180 g6 c fake raid контроллером b110i (данный контроллер Proxmox в упор не видит). К серваку подключены два sata диска по 500гб. Задача, система будет стоят на одном из sata дисков, а на 2-ой с помощью dd зальем образ диска, в планировщике по cron, будет каждый час срабатывать rsunc и синхронизить только изменения. Вот такая вот мысль, что скажете?

Скажите, на каком варианте из предложенных в этой ветке Вы остановились?
Имею схожую ситуацию - сервак dl160 g8 с контроллером b120i и с винтами по 500гб - контроллер в Proxmox тоже не видится (вернее, Proxmox заявляет, что нет у меня рэйда, а просто два винта по 500 и все). Таже ситуация и с XenServer 6.1, и с VMware ESXi 5.1, ну в принципе понятно, версии ядер одного порядка. SLES 11 SP1 сказал, что у меня вообще винтов нет. То же самое сказал офтопик 2008 SP2 и только openSUSE 12.2 с ядром 3.4.хх определил все нормально.

Имею схожую ситуацию - сервак dl160 g8 с контроллером b120i и с винтами по 500гб - контроллер в Proxmox тоже не видится (вернее, Proxmox заявляет, что нет у меня рэйда, а просто два винта по 500 и все). Таже ситуация и с XenServer 6.1, и с VMware ESXi 5.1, ну в принципе понятно, версии ядер одного порядка. SLES 11 SP1 сказал, что у меня вообще винтов нет. То же самое сказал офтопик 2008 SP2 и только openSUSE 12.2 с ядром 3.4.хх определил все нормально.

извиняюсь за ап столь давней темы, но очень нужна помощь.

В *nix системах я новичкок, можно сказать -- с ними на "Вы".

Развернул Proxmox "из коробки" на аппаратном рейде от adaptec RAID-1. После собрал RAID-10 и подмонтировал это к Proxmox'у вторым хранилищем. Назрел вопрос : а вдруг откажет железо/сбой какой/кривые руки при экспериментах, и назреет необходимость восстановить саму оболочку (или ядро, не уверен - как правильно это назвать) Proxmox из архивного образа/бэкапа? Вот только - -чем такой образ/бэкап создать? Acronis с liveUSB не помог, даже версия для серверов -- некорректно работает с ext3 файловой системой. Гугление в основном выдавало информацию на английском/немецком по бэкапу самих виртуальных машин в Proxmox, что не совсем то что нужно. Так же между строк на забугорных форумах мелькало неизвестное для меня "use dd". Вкратце просмотрев мануал по ней задаюсь вопросом -- неужели это чуть ли не едиснтвенный вариант создать архивный образ под *nix системами?

Буду благодарен за любую информацию -- в какую сторону копать.

Вкратце просмотрев мануал по ней задаюсь вопросом -- неужели это чуть ли не едиснтвенный вариант создать архивный образ под *nix системами?


если хочешь взять с полки пирожок, нужно протянуть руку, и взять с полки пирожок.
если нужно скопировать диск, нужно взять dd, и скопировать.

Скоро придёт
Осень

если хочешь взять с полки пирожок, нужно протянуть руку, и взять с полки пирожок.
если нужно скопировать диск, нужно взять dd, и скопировать.

в том то и дело, что в мануалах я не нашёл некоторых нюансов.

Создание образа диска:

для меня непонятно -- где именно будет создан образ сдирома?
почему у меня не получается dd if=/dev/sda of=/dev/sdb/image.iso ? Мне надо сделать образ первого sda и положить этот образ на другой винт sdb.

Работа с носителями информации

Очень простое, хоть и не оптимальное решение клонирования жесткого диска:


это клонирование требует, чтоб сорс и дестинейшн были идентичного объёма? Можно ли склонировать на винчестер бОльшего объёма?

В текущем каталоге.

Потому что /dev/sdb - это не каталог, а файл блочного устройства.


Вероятно, Вам нужно положить образ в файловую систему на одном из разделов диска sdb. Значит, Вам нужно смонтировать эту файловую систему в некий каталог (к примеру - /mnt). Если нужный раздел на sdb - первый (единственный), делается это так:

Но этого нельзя делать, если какой-то из разделов диска sda смонтирован на чтение и запись (в частности, если Вы работаете в загруженной с него системе). То есть сделать, конечно, получится, но восстановить что-то в рабочем состоянии из такого образа вряд ли удастся.

в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик

большое спасибо за ответ!
Если не затруднит, ещё пару уточнений.

почему *.raw, а не *.iso? Или не *.img?

Но этого нельзя делать, если какой-то из разделов диска sda смонтирован на чтение и запись (в частности, если Вы работаете в загруженной с него системе). То есть сделать, конечно, получится, но восстановить что-то в рабочем состоянии из такого образа вряд ли удастся.

Опять же, в мануалах на хабре и вики об этом нюансе ни слова.. Почему не получится? Восстановить не получится из-под загруженной системы, или так же не получится восстановить из образа iso/raw/img даже загрузившись с линуксового live-cd? И клонировать один винт на другой из загруженной системы я так понимаю -- тоже нет смысла по той же причине?


Я понимаю. Но при задаче "сверху" с сроками "на вчера" первая линия атаки -- специализированные форумы. Книги уже идут в порядке очереди при долгосрочном планировании, когда чётко известно что надо знать и где это применять при наличии достаточного объёма свободного времени .

По большому счёту это не имеет никакого значения. Но суффикс .iso используют обычно в тех случаях, когда внутри файловая система ISO9660, а в остальных - .img или .raw.

Опять же, в мануалах на хабре и вики об этом нюансе ни слова.. Почему не получится? Восстановить не получится из-под загруженной системы, или так же не получится восстановить из образа iso/raw/img даже загрузившись с линуксового live-cd? И клонировать один винт на другой из загруженной системы я так понимаю -- тоже нет смысла по той же причине?


Не получится, потому что, пока Вы создаёте образ, в файловую систему вносятся изменения. Часть их попадёт в образ, часть - нет. Получится, извините за выражение, inconsistency. Если в мануалах об этом ни слова - значит или там рассматриваются варианты, когда копируемый диск заведомо не смонтирован (при работе с livecd, например), или это хреновые мануалы.

в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик


для меня непонятно -- где именно будет создан образ сдирома?

это клонирование требует, чтоб сорс и дестинейшн были идентичного объёма? Можно ли склонировать на винчестер бОльшего объёма?

можно как угодно.

1. sda & sdb идентичного объёма(с точностью до байта!) -- вы получаете точную копию sda
2. sda sdb. Копирование завершится ошибкой, вы получите битую копию. Тем не менее, первые разделы и файлы будут скопированы успешно. И их можно будет восстановить(man testdisk/photorec).

потому что в современных ОС нет такого понятия "расширение". Оно осталось в MS-DOS. А img просто для удобства добавляют, и по традиции. Можно добавлять три матерных русских буквы, или даже пять (:

не читайте всякое дерьмо. Вика -- уродский источник, если речь про русскую. Англ. вика -- энциклопедический словарь. Можно узнать что такое XYZ.

Про хабру нельзя здесь. Ненормативная лексика запрещена правилами форума.

документация к вашей ОС доступна в самой ОС.

man pages
info pages
/usr/doc/*

только по английски. По-русски лучше спрашивайте. Не нужно читать всякое дерьмо и использовать метод тыка.

Опять же, в мануалах на хабре и вики об этом нюансе ни слова.. Почему не получится? Восстановить не получится из-под загруженной системы, или так же не получится восстановить из образа iso/raw/img даже загрузившись с линуксового live-cd? И клонировать один винт на другой из загруженной системы я так понимаю -- тоже нет смысла по той же причине?

Скоро придёт
Осень

извиняюсь за ап столь давней темы, но очень нужна помощь.

В *nix системах я новичкок, можно сказать -- с ними на "Вы".

Развернул Proxmox "из коробки" на аппаратном рейде от adaptec RAID-1. После собрал RAID-10 и подмонтировал это к Proxmox'у вторым хранилищем. Назрел вопрос : а вдруг откажет железо/сбой какой/кривые руки при экспериментах, и назреет необходимость восстановить саму оболочку (или ядро, не уверен - как правильно это назвать) Proxmox из архивного образа/бэкапа? Вот только - -чем такой образ/бэкап создать? Acronis с liveUSB не помог, даже версия для серверов -- некорректно работает с ext3 файловой системой. Гугление в основном выдавало информацию на английском/немецком по бэкапу самих виртуальных машин в Proxmox, что не совсем то что нужно. Так же между строк на забугорных форумах мелькало неизвестное для меня "use dd". Вкратце просмотрев мануал по ней задаюсь вопросом -- неужели это чуть ли не едиснтвенный вариант создать архивный образ под *nix системами?

Буду благодарен за любую информацию -- в какую сторону копать.

Вы ставите proxmox на железный рейд. Если умрет железо, не факт, что ваш рейд заработает на другом железе. Сам proxmox устанавливается за пять минут! Зачем забивать себе голову проблемой бекапа системы. Надо бекапить гостей. В случае восстановления, ставите заново систему (5 минут времени) а потом восстанавливаете гостей. Если важна бесперебойная система, надо зеркалировать работу гостей на разных физических серверах.

По поводу mdadm, если сервер на работу, какая проблема купить железный рейд. А для малого предприятия вполне хватает mdadm, если нет особых требований. Больше зависит от дисков, ставте SAS. Под базы 1С я поставил SSD без рейда и бекап каждый день.

Proxmox позиционируют себя как дистрибутив для промышленного применения. Основная их позиция- это железный рейд, да ещё обязательно с батарейкой! Так что они принципиально не поддерживают софт-рейд, но это не значит, что mdadm работать не будет или будет работать плохо, будет работать как mdadm/

Сбросить кластер PROXMOX

Иногда возникают проблемы с кластером PROXMOX, чаще всего это происходит из-за непонимания того как этот кластер вообще работает. В случае когда чистые сервера объединяются в новый кластер как правило проблем никаких не возникает, но ситуации бывают разные.

Наверное все кто работал с данной системой виртуализации натыкались на разные "грабли". Я рекомендую перед тем как что-то сделать на сервере PROXMOX создать резервные копии файлов виртуальных машин, а так же файл storage.cfg - это значительно облегчит Вам жизни. Сделать это можно например так:

Этого вполне достаточно, что-бы сэкономить время.

Но это уже скорее всего лирика, кластер уже лежит раз Вы читаете эту статью. Не будем терять времени и приступим к восстановлению.

Резервная копия конфигурации ноды

Заходим на сервер по SSH, смотреть на pvecm status особого смысла нет т.к. все у нас лежит. На всякий случай делаем бэкап того, что мы имеем:

Бывает, что /etc/pve не доступен из-за падения служб или их зависанием. Настоятельно рекомендую добиться того, чтобы скопировать текущие файлы кластера перезапустив кластер systemctl restart pve-cluster.service. После перезапуска пытаемся сделать резервную копию. Если не получилось идем на другой сервер который в этом кластере и пытаемся сделать тоже самое т.к. если кластер работал то конфигурация машин и хранилища будут всех нод.

Обнуляем ноду PROXMOX

Смотрим текущий статус кластера:

Все машины которые кроме этой ноды - удаляем:

Останавливаем все сервисы:

Заходим базу данных кластера:

Сносим остальные файлы конфигурации:

Перезагружаем ноду т.к. поднять остановленные сервисы у Вас врятли получится без перезагрузки.

Восстановление конфигурации хранилища

После перезагрузки копируем из резервной копии файл storage.cfg:

Открываем файл при помощи консольного редактора:

Если эта нода не являлась мастером, тогда удаляем все хранилища которые не содержать nodes [название ноды], после чего на каждом хранилище удаляем эту строку.

Если нода являлась мастером, тогда удаляем все хранилища которы содержать nodes [название ноды].

Копируем файлы файлы виртуальных машин, если Вы не собираетесь добавлять ноду в кластер:

Если вы собрались добавить ноду в кластер, тогда добавляем и в случае успешного добавления копируем виртуальные машины:

Открываем WEB-интерфейс, проверям наличие хранилища и виртуальных машин.

Заключение

Перед добавлением ноды в кластер всегда создавайте резервные копии конфигураций кластера, сами данные на хранилищах никуда не денутся, а вот создавать заного виртуалки и подключать к ним уже созданные диски может занять значительное время.

Если вы строите кластер из разных точек доступности (такое возможно), проверяйте сперва сеть между нодами на наличие multicast иначе corosync упадет не успев подняться.

Другие статьи

Установка macOS Mojave на POXMOX 6.1

Установка macOS Mojave на POXMOX 6.1
23 марта 2020

В данной статье хочу поэтапно объяснить как установить macOS Mojave 10.14 на гипервизор PROXMOX 6.1. Лично мне macOS понадобился для поднятия GitLab Runner, возможно так же использовать как физическую машину прокинув USB-порты, а так же видеокарту. Хочу сразу предупредить, в 10.14 есть проблемы с драйверами видеокарт NVIDIA т.к. компания не спешит писать под нее драйвера. Так же для PCI Passthrough необходимо будет настроить соответственно Clover.

Читайте также: