HPE ESXi: Низкая производительность дисков в кастомных образах HP

Преамбула: Не было у бабы заботы, купила баба … HP Microserver Gen8. 🙂

В работе был старенький, но надежный, HP Microserver N40L. В работе с 2012 года, в режиме 24/7. Работал под управлением ESXi 5.1. Крутилось на нем парочка серверов 2003R2 (DNS и WEB). Этакая «инкапсуляция опасных направлений». Просто, отдельно стоящий, информационный web-серверок. Если «взломают» легко и быстро поднять из резервной копии и перезапустить. В общую сеть этот сервер, не смотрел, а подключался только на время обновлений контента. Но время шло и серверок … «устал».

Захотелось и DNS и WEB запустить, хотя бы, на Windows Server 2008R2, а, в идеале, на Windows Server 2012R2. И стал N40L тормозить. Аппаратных ресурсов у N40L маловато. Процессор AMD Turion (™) II с частотой 1.5 GHz с архитектурой 2/2 и памяти больше 8 GB не поставить.

Понимаю, что и HP Microserver Gen8 не панацея, но памяти можно поставить 16GB, а процессор взять, например, Intel® Xeon® E3-1220l, c частотой 2.3/3.5 GHz, с архитектурой 2/4 и сверхнизким энергопотреблением (примерно 17-20Вт). Если денег не жалко, то можно поставить, например, Intel® Xeon® E3-1270 с частотой 3.4/4.1 GHz, с архитектурой 4/8. Но тут уже не стоит удивляться тому, что сам процессор стоит примерно в 1.5 раза дороже всего микро сервера :-).

HP Microserver Gen8 это последний из микро серверов от HP в котором

• можно производить апгрейд
• есть iLO, что, согласитесь, очень удобно.

К сожалению, Gen9 так и не увидел свет, а свежий Gen10 это … почитайте о нем сами и все поймете 🙂

HP Microserver Gen8 уже не выпускается, но купить еще можно. Что и было сделано. Был куплен абсолютно нулёвый Gen8 (G2020T) на AVITO 🙂 . Установил на него, с кастомного имиджа HPE, гипервизор ESXi 5.5U3. И все.

Нет, не все. Именно с этого места начинается самое интересное.

Установлено: VMware-ESXi-5.5.0-Update3-3568722-HPE-550.9.6.5.9-Dec2016.iso

Версия драйвера дисков: — scsi-hpvsa-5.5.0.100-1OEM.550.0.0.1331820

Как выяснилось, HP что-то испортили в драйвере дисковой подсистемы для ESXi 5.5 и работа с дисками стала … скажем так, не очень эффективной. Более того, как выяснилось позже, такая же проблема существует и в гипервизорах ESXi 6.0/6.5 от HPE.

Насколько не эффективно? Результаты замеров в статье. Сразу скажу – оглушающие.

Пообщавшись со знакомыми и покопав Интернет было выяснено, что всему виной и правда, драйвер, который HPE включила в свой кастомный образ с установщиком гипервизора ESXi 5.5 и более поздних версий.

Но, решение этой проблемы есть. Совместными усилиями Интернет-сообщества (https://homeservershow.com) был найден драйвер, который реально ускоряет работу с дисками в HP Microserver Gen8.

Версия драйвера: scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820

Сам драйвер можно легально, бесплатно и без регистрации, скачать c сайта HPE:

Осталось его установить. Как это сделать, описано ниже.

В первую очередь проверяем версию установленного драйвера и, если отличается, то заменяем на правильный.

А) Заходим в консоль ESXi хоста через PuTTY под именем root и запускаем команду

esxcli software vib list | grep scsi

Вот, что было у меня до смены драйвера

~ # esxcli software vib list | grep scsi

То есть. Не тот. Почему? А вот, что показал тест производительности. Не то чтобы тест, но из приведенных команд видно, что тестируется.

Выполняем следующие команды из консоли ESXI:

cd /vmfs/volumes/[datastore]
time dd if=/dev/zero of=tempfile bs=8k count=1000000

Примечание: Не забудьте поменять [datastore] на имя вашего реального DataStore.

Получаем результат:

Вроде бы не плохо, да?

Для сравнения, в той же конфигурации, но с установленным, ESXi 5.1U3 получаем примерно следующее:

1000000+0 records in
1000000+0 records out
real 17m 25.62s
user 0m 7.23s
sys 0m 0.00s

То есть, налицо видимое улучшение по сравнению с предыдущей версией гипервизора. Но, вам придется поверить мне на слово, а потом посмотреть на совсем другой результат. Дочитайте до конца.

Итак, приступаем к смене драйвера.

Процедура достаточно простая. Предполагается, что нужный драйвер Вы уже скачали с сайта HP, по приведенный ранее ссылке.

1. Останавливаем все запущенные VMs
2. Если не включено, включаем ssh
3. Копируем файл «scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib» to /tmp (например, с помощью WinSCP)
4. Подключаемся к консоли гипервизора ESXi с помощью PuTTY (с правами root, естественно)
5. Меняем текущую папку на ту, куда положили файл, то есть на папку /tmp
   cd /tmp
6. Копируем vib-файл в папку из которой он будет инсталлирован
   cp scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib /var/log/vmware/
7. Переводим гипервизор в Maintenance Mode
   esxcli system maintenanceMode set --enable true
8. Удаляем текущий драйвер дисковой подсистемы
   esxcli software vib remove -n scsi-hpvsa -f
9. Инсталлируем правильный драйвер scsi-hpvsa-5.5.0-88OEM из файла
   esxcli software vib install -v file:scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820.x86_64.vib --force --no-sig-check --maintenance-mode
10. Перезапускаем ESXi, отключаем Maintenance Mode, запрещаем ssh (если нужно) и запускаем свои виртуальные машинки.

Примечание: Отключить Maintenace Mode можно из клиента или из консоли, командой:
esxcli system maintenanceMode set --enable false

Все просто? Да, просто.

Но ведь всегда хочется убедиться, что автор не наврал.

Проверяем, что версия драйвера изменилась.

esxcli software vib list | grep scsi

scsi-hpsa 5.5.0.124-1OEM.550.0.0.1331820 HPE VMwareCertified 2018-04-10
scsi-hpdsa 5.5.0.52-1OEM.550.0.0.1331820 Hewlett-Packard PartnerSupported 2018-04-10
scsi-hpvsa 5.5.0-88OEM.550.0.0.1331820 Hewlett-Packard PartnerSupported 2018-04-10
scsi-mpt2sas 15.10.06.00.1vmw-1OEM.550.0.0.1198610 LSI VMwareCertified 2018-04-10
scsi-bfa 3.2.6.0-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-bnx2fc 1.713.20.v55.4-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-bnx2i 2.713.10.v55.3-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10
scsi-qla4xxx 644.55.37.0-1OEM.550.0.0.1331820 QLogic VMwareCertified 2018-04-10

Да. Изменилась на правильную.

А скорость? Не обманули? Проверяем! Что я и сам сделал. Запустил, повторно, тест производительности. Результат меня, мягко говоря, ошеломил

cd /vmfs/volumes/[datastore]
time dd if=/dev/zero of=tempfile bs=8k count=1000000

1000000+0 records in
1000000+0 records out
real 2m 6.73s
user 0m 5.21s
sys 0m 0.00s

Это в СЕМЬ раз быстрее, чем с предыдущим драйвером и почти в 9 раз быстрее чем на ESXI 5.1U3

На форуме пользователи подтвердили, что примерно такой же, не правильный, драйвер устанавливается и при инсталляции ESXi 6.0 и 6.5. И замена его на версию scsi-hpvsa-5.5.0-88OEM.550.0.0.1331820 приводит к такому же ускорению работы дисковой подсистемы.

Занавес! По-моему — это более чем убедительный аргумент в пользу замены драйвера.