понедельник, 31 октября 2011 г.

Get-VICommand


Когда я обновил себе PowerCLI с версии 4 до версии 5, у меня перестал работать командлет Get-VICommand.
Вернее, он работал если я запускаю PowerCLI, но не работал если я запускаю PowerShell, пусть подгружая в профиле модули от PowerCLI.
Этот командлет выводит все VMware’вские командлеты, что лично мне было очень полезно. Особенно с фильтрами типа
Get-VICommand *VMHost*

выводящими все командлеты про VMHost.

Оказывается, чтобы его вернуть достаточно в профиль прописать функцию:

function global:Get-VICommand([string] $Name = "*") {
 get-command -pssnapin VMware.* -Name $Name
}

Отсюда – Auto Deploy and Image Builder profile functions.

VMware View + NVidia


Вроде как анонсировали дружбу VMware с NVidia.
В скором будущем можно будет взять сервер с несколькими соответствующими слотами, воткнуть в эти слоты графические контроллеры. Где-то тут можно сказать  "Quadro Virtual Graphics Platform’", но что это такое я пока не понял. Видимо, название семейства функций.
UPD. в комментарии подсказали что Quadro это семейство профессиональных видеокарт.

Вроде как, эти функции полностью или частично реализованы в контроллерах семейства Quadro, модели 2000-6000.
Каждый контроллер отдается одной ВМ(пичалька), так что много проектировщиков на одном сервере посадить не получится - много графических контроллеров с сервер не воткнешь. Правда, по другим поводам мне приходилось слышать о внешних корпусах, сплошь набитых только видеоконтроллерами - может и сюда что удастся приспособить такое.
К этому "чему-то" имеют отношения следующие названия:
Multi-OS - эта штука позволяет отдавать видеокарту ВМ. Немного не понятно - это название для VMDirect path, только со стороны nvidia, или что-то отдельное?
Monterey - отдача картинки с GPU на сервис удаленного рабочего стола. Якобы внутри гипервизора это будет происходить быстрее чем, например, через порт DVI.
За счет связки железных графических контроллеров на серверной стороне и View, к клиентским устройствам не предъявляется требований - с тонких клиентов и планшетов можно будет получать доступ к требовательным к графике приложениям.
Ждем реализации этих красивых обещаний.
VMware and Nvidia join forces.

правильный maintenance mode

 

У vSphere есть довольно много удобных фич, которые облегчают жизнь администратору. Какие-то из них покрупнее – типа механизма шаблонов (templates). Какие-то помельче – типа режима обслуживания, maintenance mode.

Но до сих пор есть весьма неприятные мелочи на стыке функций.

Например, если шаблон(ы) числится на сервере1, и этот сервер ввести в режим обслуживания – то воспользоваться шаблонами нельзя. Даже если этот сервер не выключен при этом, и шаблоны расположены на общем хранилище.

Один из вариантов – написать скрипт, который кроме ввода в режим обслуживания еще и шаблоны перенесет на другой сервер.

Готовый скрипт можно подсмотреть тут – PowerCLI: Migrate templates during the Enter Maintenance Mode task.

 

Ну и в тему было бы напомнить про PowerVI–PowerShell\PowerCLI скрипты из клиента vSphere.

В данном контексте этот продукт позволит “правильно” войти в режим обслуживания прямо из контекстного меню клиента vSphere. Как и выполнить любой другой скрипт.

Вот из их блога инструкция – как добавить произвольный скрипт в их контекстные меню.

View 5.0 vs. XenDesktop 5.5

 

памятка - Making an Educated Decision on View 5.0 or XenDesktop 5.5.

 

Любое сравнение – предмет для холивора, но иногда глянуть бывает полезно.

Change default port for SSH

 

Смена порта ssh на ESXi - ESXi 5.0 - Change default port for SSH .

совместимость разных версий vSphere


Я немножко слоупочу, о данном факте мне подсказали месяц назад, но тем не менее:

у кого-то из вас могут быть сервера с ESX(i) 4.0 Update 2. Их нельзя добавлять под управление vCenter 5, так как это приводит к немедленному PSOD.
Связанно это с тем, что при добавлении сервера ESX(i) в vCenter тот устанавливает своего агента (vpxa), и конкретно у данных версий стойкая нелюбовь.
Напомню, что правильный путь узнать о таких нюансах – обратиться к VMware Product Interoperability Matrixes:
image

Latency-Sensitive Workloads in vSphere VMs

 

Интересный документ – Best Practices for Performance Tuning of Latency-Sensitive Workloads in vSphere VMs.

10 страниц конкретных рекомендаций по снижению latency для сильно чувствительных к этому приложений.

Даются рекомендации по:

  • настройке BIOS. Например, отключить все технологии оптимизация энергопотребления;
  • настройке драйверов контроллеров;
  • настройке параметров виртуальных машин. Например, чтобы гипервизор выдавал виртуальным процессорам такты и под idle – с целью не тратить время на выдачу когда idle смениться работой;
  • выбору и (чуть-чуть) настройкам гостевых ОС. Новые = это хорошо;

я начал заполнять этот список по ходу чтения, оказалось – зря.

В самом конце приведена выжимка:

image

RVTools

 

Обновилась полезная бесплатная утилита RVtools.

Почему-то в списке поддерживаемых версий vSphere до сих пор нет пятой, однако у меня все работает.

вторник, 25 октября 2011 г.

быт


Коллеги, сегодня просматривал папку "Спам" - нашел 4 письма с вопросами, попавшими туда по ошибке.

Такое бывает, и бывает регулярно - а спам я просматриваю раз в неделю-две.

Еще раз напоминаю - если вы мне написали, а я не ответил в течении суток - письмо почти наверняка в спаме - я всегда стараюсь отвечать, хотя бы и предварительно.

Пишите еще раз или стучитесь в скайп.

понедельник, 24 октября 2011 г.

Auto Deploy

Что это:

Auto Deploy – это cервер дистанционной загрузки ESXi по PXE

Зачем он нужен :

Для упрощения ввода в эксплуатацию новых серверов, обновления существующих.

Как это работает:

Для того, чтобы ввести новый сервер в эксплуатацию, нам не надо устанавливать на него ESXi. Нам надо:

1) Включить этот сервер, биос должен быть настроен на загрузку по сети.
2) Дождаться, пока на этом сервере не запуститься ESXi, и он не будет автоматически добавлен в vCenter.
3) Создать файл ответов для профиля настроек этого сервера – всякие IP адреса, имя, и прочее уникальное.

После этого при каждой перезагрузке пункт 2 будет повторятся, но уже без нашего вмешательства к серверу будут применяться настройки.

Заменив только образ на сервере AutoDeploy, мы получим обновленные сервера ESXi просто после их перезагрузки, так как стартовать они будут с этого обновленного образа.

Выводы


Прикольная штука. Работает. Нареканий, на удивление, не вызвало.

Однако с использование в производственной среде пока непонятно – смущает зависимость возможности старта всех(!) серверов ESXi от машин vCenter и AutoDeploy.

Получается, они должны работать или на отдельном кластере vSphere, или на железном сервере, рядом с которым стоит резервный железный сервер.

Интересно послушать ваши мнения, особенно тех, в чем ведении десятки и сотни серверов ESXi.

Настройка VMware Auto Deploy

Шаги настройки этого продукта.
1) Устанавливаем Auto Deploy под Windows.
image
По идее, правильно это делать на отдельную машину, однако у меня почему-то не получилось – выдавало ошибки о невозможности сгенерить ssl. В итоге поставил на машину с vCenter.

Кстати, на vCenter Appliance служба Auto Deploy уже предустановлена.

После успешной установки появляется пиктограмма на странице Home в клиенте vSphere
image
2) Устанавливаем доп-софт, настраиваем DHCP и TFTP
  • PowerCLI
  • какой-нибудь TFTP-сервер
  • нужен будет DHCP
Я, для быстрого теста, в качестве и DHCP и TFTP использовал http://tftpd32.jounin.net. Также TFTP и DHCP требует специальной настройки:

Пройдя по иконке Auto Deploy в клиенте vSphere, мы получим возможность загрузить файл – TFTP Boot.

image 
Следует загрузить этот архив, и распаковать в папку, выбранную для доступности по TFTP. Файл “undionly.kpxe.vmw-hardwired” следует указать как загрузочный образ.
В настройках DHCP следует прописать параметры:
66 – адрес сервера TFT
67 – имя файла загрузки (undionly.kpxe.vmw-hardwired)
(для серверов с EFI вместо BIOS файл вроде другой).

Теперь в данном сегменте сети сервера могут загрузиться по PXE, однако загружается только предварительная оболочка, которая ругается что нет образа ESXi для загрузки его на данный сервер. image
3) Настраиваем Auto Deploy
Нам потребуется PowerCLI и в нем открытая сессия к vCenter.

Кроме этого, потребуется дистрибутив ESXi (не в виде iso, а в виде zip. Т.н. software depot, загружается там же, где и iso-вариант).

Обратите внимание – этот дистрибутив можно изменить под себя, обновив или добавив драйверы под свое железо, или такие компоненты как, например, виртуальная циска. См. подробности тут – Image builder. В моих примерах как раз дистрибутив с параметрами из этого поста.

После этого:
## Регистрация дистрибутива ESXi
Add-EsxSoftwareDepot D:\depot\esxi5.0.0-with_LSI-469512.zip

## Список вариантов его загрузки, они могут отличаться модулями
Get-EsxImageProfile

## аплоад дистрибутива на AutoDeploy. Name - на свое усмотрение. 
## Item – указание базовых настроек этого дистрибутива. 
## Во первых - Image Profile, см. предыдущую команду. 
## Т.е. мы можем указывать, какие модули должны или не должны быть загружены. 
## Далее - контейнер в vCenter, куда следует поместить свежезагруженный хост. 
## Это объект типа Datacenter\Cluster\Folder.
## Pattern- признак сервера, на котором запускать этот дистрибутив с этим профилем
## Вместо паттерна для выборки серверов можно указать –AllHosts
New-DeployRule –Name “FirstBoot” –Item “With_LSI”,ClusterAutoDeploy,2AutoDeploy –Pattern “model=VMware Virtual Platform”

## Регистрация правила, созданного ранее
Add-DeployRule -DeployRule FirstBoot
В командлете New-DeployRule параметром –Item мы привязываем к стартующим с этого правила серверам контейнер в vCenter (datacenter, cluster, folder) куда они должны быть помещены, Image profile, host profile.

Кроме как для самого первого сервера указывать, скорее всего, будем сразу несколько параметров, как в моем примере:
–Item “With_LSI”,ClusterAutoDeploy,2AutoDeploy
  • “WithLSI” это Image Profile
  • ClusterAutoDeploy – имя моего кластер HA\DRS
  • 2AutoDeploy – название профиля настроек, host profile. У вас его пока нет, поэтому в самый первый раз его не указывайте, укажем позже.
Теперь сервера начнут загружаться в ESXi. И даже автоматически будут зарегистрированы в vCenter, в тот Datacenter, Cluster или Folder, который был указан при создании правила (у меня это кластер). Какие паттерны, признаки серверов, доступны:
PS C:\> get-vmhostattributes -vmhost "esxi01.vm4ru.local”

name  value 
----  ----- 
vendor  VMware, Inc.
uuid  423fecf3-eea1-a89b-5213-aeea6f50bf60
model  VMware Virtual Platform
gatewayv4 192.168.10.100
ipv4  192.168.10.51
hostname esxi01
domain  vm4ru.local
ipv4  192.168.111.1
oemstring Welcome to the Virtual Machine
asset  No Asset Tag
oemstring [MS_VM_CERT/SHA1/27d66596a61c48dd3dc721...
mac  00:50:56:bf:03:1b
mac  00:50:56:bf:03:1c
mac  00:50:56:bf:03:1d
mac  00:50:56:bf:03:1e
Как видите, мы можем довольно точно назначать тот или иной образ ESXi на сервера по критериям. По производителю, по mac адресу, и пр.
4) Настройка автоматической настройки серверов
Итак, первый сервер стартовал и даже был добавлен в vCenter.

Однако – сервер никак не настроен.

С учетом того, что ESXi был загружен в память по сети, даже если что-то настроить руками – эти настройки пропадут после перезагрузки.

Поэтому для настройки серверов, разворачиваемых при помощи Auto Deploy используется механизм Host Profiles, параметры которого сохраняются в базе vCenter.

Нам потребуется настроить этот первый сервер:
  • Виртуальные коммутаторы, интерфейсы VMkernel.
  • iSCSI, NFS
  • Syslog
  • NTP
  • и пр.
Теперь создадим с этого сервера профиль, и сразу на этот же сервер его и назначим.

Проверим на соответствие. Проверка покажет расхождения в конфигурации, нам потребуется создать файл ответов (Update answer file).

После прохождения мастера – Check answer file, затем check complince.

Значение в столбце Answer File Status должно стать Complete, настройки сервера должны стать соответствующими этому профилю.

Все. Теперь при перезагрузках сервер будет не только загружать на себя ESXi, но и конфигурацию подтягивать.

На этом этапе мы имеем первый сервер, и этот сервер загружается по сети, и настраивается профилем настроек.
5) Настройка загрузки второго и всех следующих серверов:
Надо изменить правило AutoDeploy так, чтобы оно еще профиль настроек привязывало к загружаемым серверам. Допустим, вы делали по моему примеру, и создали правило командой:
New-DeployRule –Name “FirstBoot” –Item “With_LSI”,ClusterAutoDeploy –Pattern “model=VMware Virtual Platform” 
Удалим это правило командой:
Remove-DeloyRule “FirstBoot” –delete
Создадим заново, но теперь указав и ранее созданный профиль настроек:
New-DeployRule –Name “ProductionRule” –Item “With_LSI”,ClusterAutoDeploy,2AutoDeploy –AllHosts
Ну и активируем:
Add-DeployRule -DeployRule ProductionRule
Все.

Теперь любой новый сервер, будучи загруженным в первый раз, сразу попадает в кластер “ClusterAutoDeploy”, и на него назначается профиль настроек “2AutoDeploy”.

Нам остается нажать “Update answer file”, указать уникальные параметры типа IP адресов и т.п., и все – сервер готов к эксплуатации, его настройки после каждой перезагрузки будут подтягиваться из этого файла ответов.
Обновление образа
Допустим, у нас есть желание заменить дистрибутив ESXi, с которого стартуют сервера. Например, мы хотим использовать VMware HA – и нам имеет смысл добавить его агента сразу в образ. Для этого нам потребуется следующие команды:
## Добавление источника пакетов
Add-EsxSoftwareDepot http://<IP вашего vCenter>:80/vSphere-HA-depot

## Создание нового профиля образа ESXi
New-EsxImageProfile -CloneProfile ESXi-5.0.0-469512-standard -name “ESXiHA”
## Добавление в новый профиль агента HA – Fault Domain Manager
Add-EsxSoftwarePackage -ImageProfile “ESXiHA” -SoftwarePackage vmware-fdm
## Удалим старое правило старта
Remove-DeployRule “ProductionRule” –delete
## Создание нового правила AutoDeploy, на основе нового профиля
New-DeployRule –Name “ProductionRule” –Item “With_LSI”,ClusterAutoDeploy,2AutoDeploy –AllHosts
Add-DeployRule -DeployRule “ProductionBootRule”
Более подробно про обновление образа именно на новую версию ESXi тут – Updating your ESXi host using VMware vSphere 5 Autodeploy.

Еще про CoreDump надо будет написать.

UPD. Troubleshooting Auto Deploy Rules.

По мотивам раз, два, три.

суббота, 22 октября 2011 г.

SharePoint 2010 + VMware vSphere

Углядел презентацию с VMworld - рекомендации по разверыванию SharePoint на vSphere:
Bca1931 final
View more presentations from Itzik Reich

В комментариях подсказали такую же про оптимизацию MS SQL на vSphere 5

памятка ntp


Памятка:

если есть одна машина, которой надо синхронизировать время с внешним источником, а затем раздавать это время всем остальным ВМ и хостам виртуальной инфраструктуры.
1) Для NTP сервера (Windows server) – Настройка точного времени в домене Windows 2003 / 2008 / 2008 R2.
2) Для Windows клиентов NTP
net time /setsntp:{адрес сервера ntp} && net stop w32time && net start w32time && w32tm /resync 
(если эти сервера в AD, то данные действия не требуются, настройка синхронизации временем будет автоматом)

VMware Syslog Collector


Если запустить меню дистрибутива vCenter 5, то один из доступных к установке продуктов это VMware Syslog Collector.
image

Выводы

Если нет никакого другого Syslog-сервера – этот подойдет отлично. ДешевоБесплатно и сердито, под Windows, может работать на машине с vCenter.
(Кстати, в Linux-варианте vCenter, vCenter Virtual Appliance, служба с таким функционалом уже предустановлена. Логи сохраняются в каталоге /storage/log/remote/).
Однако кроме собственно приема логов с удаленных машин не может ничего – ни анализа, ни оповещений. Поэтому в инфраструктурах покрупнее может быть интересно что-то более функциональное.
Я слышал хорошее о Kiwi syslog сервере (тоже под Win). Он, правда, платный, но есть месячный триал.
Разумеется, есть возможность, и даже более нативная, поднять syslog под *nix, но тут я не большой специалист, сказать особо нечего.

Настройка и возможности


Это Windows-приложение, его установка крайне проста.
Интересны только пара вопросов:
1) Каталог для хранения файлов.
Путь по умолчанию, имхо, слегка длинноват. Мне кажется удобным что-то более простое.
image
2) Надо ли интегрироваться с vCenter?
Если у вас vCenter версии 5 – то интегрироваться скорее всего будет удобно, минусов в этом я не вижу.
Если vCenter другой версии, или его вообще нет – тогда этот продукт замечательно будет жить сам по себе.

После окончания установки не произойдет, в общем-то, ничего.
Однако теперь мы можем настроить отсылку файлов журналов на ту машину, куда мы установили VMware Syslog Server. Разумеется, первые кандидаты на это – сервера ESXi. Однако, так как Syslog – стандартная служба, принимать логи она сможет как от ESXi\ESX любых версий, так и от любых других систем, которые сами умеют пересылать логи на syslog-сервер.

Для ESXi 5 настройка отсылки логов выглядит так: для сервера вкладка Configuration –> Advanced Settings –> Syslog –> Syslog.global.loghost
image
Или при помощи PowerShell, сразу для всех серверов:
Get-VMHost | Set-VMHostAdvancedConfiguration -Name Syslog.global.logHost -Value udp://192.168.10.50:514 


Что мы получим, благодаря этому?

Вот что:

image

На машине с Syslog в указанной при установке папке появится по каталогу для каждого сервера, который пересылает сюда логи (имя папки = ip сервера), и в текстовом файле этой папки хранятся все логи данного сервера.


Сюда залезть может быть удобнее, чем на сам ESXi. Все в одном месте. Сервер-источник логов может не работать – анализу логов это мешать не будет.





А что же насчет интеграции этого сервера Syslog и vCenter?


На странице Home появится соответствующая пиктограмма: image


Однако под ней скрывается не доступ к логам, как можно было бы подумать, а лишь информация о настройках:


image

пятница, 21 октября 2011 г.

vCenter Virtual Appliance ssl


Со мной тут поделились интересной инструкцией - установка SSL сертификата на VMware vCenter Server Appliance, Linux версию vCenter 5.

vCMA + vSphere 5


Есть такая штука – vCenter Mobile Access, vCMA.
Это – предустановленная ВМ, призванная служить точкой входа управления вСферой через веб-интерфейс с мобильных устройств, и для специального vSphere Client для iPad.
До сих пор это статус этого решение – экспериментальный, и загрузить его можно со страницы экспериментальных продуктов VMware – labs.vmware.com.
Про это решение я уже раньше писал, с тех пор оно не обновлялось, но пару слов и ссылок сказать хочется.
Во первых – с пятеркой оно работает.
Исходный пост – vCenter Mobile Access, vCMA.
Несколько скриншотов веб-интерфейса на устройстве с большим экраном (больше скриншотов в исходном посте)
Возможности:
main_screen_crop[2]
Данные по производительности:
host_perf_small[2]
Действия с ВМ:
vm_prop_crop[2]
Потом был небольшой пост про работу в этом веб-интерфейсе с простенького телефона – vCMA experience.
578

Потом появился клиент под iPad - vSphere iPad for client. Он работает через vCMA. Кроме как под iPad, под другие устройства официального клиента vSphere нету.Он недавно обновился – теперь из него можно запускать vMotion (просто через веб-интерфейс vCMA это можно было сразу).
10vmtools12hostactions14vm_mini

PowerCLI add-pssnapin

Если кто пользуется PowerCLI - вы, скорее всего, знаете, что ярлыки PowerShell и PowerCLI отличаются не только цветовой схемой - PowerCLI подгружает командлеты для vSphere. Но это без проблем можно сделать и вручную - прописав строку add-pssnapin VMware.VimAutomation.Core в профиле. Однако, разбираясь с Image Builder, я узнал что в составе PowerCLI идут несколько наборов командлетов, и данная строка подгружает только основной набор. А команд Image Buider там нет.
Полный список того VMware'вского, что подгружается в PowerCLI:

PowerCLI C:\> Get-PSSnapin VMware*


Name        : VMware.VimAutomation.Core
PSVersion   : 2.0
Description : This Windows PowerShell snap-in contains Windows PowerShell cmdle
              ts for managing vSphere.

Name        : VMware.VimAutomation.License
PSVersion   : 2.0
Description : This Windows Powershell snap-in contains cmdlets for managing Lic
              ense components.

Name        : VMware.DeployAutomation
PSVersion   : 2.0
Description : Cmdlets for Rule-Based-Deployment

Name        : VMware.ImageBuilder
PSVersion   : 2.0
Description : This Windows PowerShell snap-in contains VMware ESXi Image Builde
              r cmdlets used to generate custom images.

PowerCLI C:\>

Так что теперь я в профиль прописал немного другую строку: add-pssnapin VMware*

Image builder


Одна из новых возможностей vSphere 5 – создание специализированных образов дистрибутива ESXi.

Специализованных, тут, в том смысле что стандартный дистрибутив может не содержать какого-то нужного в вашей инфраструктуре ПО.

Интегрировать его в дистрибутив - удобнее, чем доустанавливать на каждый сервер отдельно.

Таким ПО могут быть:
  • драйверы 
  • CIM-провайдеры 
  • модули multipathing 
  • что-то еще 

Итак, допустим, вы обнаружили драйвер, который вам хотелось бы интегрировать в свой дистрибутив.
Искать тут – Download VMware vSphere 5 –> Driver CD.

Дело в том, что интегрируемый софт (это может быть не только драйвер) должен быть в специальном формате.

Допустим, меня интересует VMware ESXi 5.0 Driver for LSI MegaRAID SAS Controller.

Загруженный архив распаковываем в папку, допустим, d:\depot.
Далее нам потребуется VMware PowerCLI.

1) Регистрируем в текущей сессии тот софт, который мы хотим добавить в дистрибутив.
Нам надо сослаться на zip-файл, который находится внутри ранее загруженного и распакованного архива.

Это действие (эту команду) повторяем для каждого пакета ПО, который хотим добавить в дистрибутив.

Дальше нам пригодятся названия этого софта - ознакомиться с названием зарегистрированного ПО, зарегистрированного этой командой, можно отдельной командой:
## Регистрация ПО 
Add-EsxSoftwareDepot D:\depot\LSI_5_34-offline_bundle-455140.zip 

Depot Url 
--------- 

zip:D:\depot\LSI_5_34-offline_bundle-455140.zip?index.xml 

## Просмотр названия и прочих данных зарегистрированного ПО 
Get-EsxSoftwarePackage 

Name Version Vendor Release Date 
---- ------- ------ ------------ 

scsi-megaraid-sas 5.34-1vmw.500.0.0.406165 VMware 01.06.201... 
## Вот это имя пригодится позднее. 

2) Регистрируем дистрибутив ESXi. Обратите внимание – нам не подойдет привычный ISO, а потребуется загрузить специальный VMware-ESXi-5.0.0-469512-depot.zip. Загружается он там же, где и iso-образ дистрибутива, в комментариях подсказали дать ссылку. 

UPD. Еще в комментариях подсказывают ссылки на software depot от HP:
Для HP депоты подключал так:
Add-EsxSoftwareDepot https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml
Add-EsxSoftwareDepot http://vibsdepot.hp.com


Команда, в общем-то, та же самая.

add-esxsoftwaredepot D:\depot\VMware-ESXi-5.0.0-469512-depot.zip  

3) Создаем т.н. Image profile – по сути, список софта.

Создать его проще всего скопировав уже существующий. В частности, по умолчанию уже существует стандартный профиль – стандартного дистрибутива ESXi.
Он появляется после регистрации дистрибутива ESXi (пункт 2).

Следующие пара команд позволит ознакомиться со списком профилей (пока что существуют только стандартные) и затем создать свой.
## Список профилей. Пока только дефолтные
get-esximageprofile 

Name Vendor Last Modified Acceptance Level 
---- ------ ------------- ---------------- 
ESXi-5.0.0-469512-no-tools VMware, Inc. 19.08.2011 1... PartnerSupported 
ESXi-5.0.0-469512-standard VMware, Inc. 19.08.2011 1... PartnerSupported 
 
## Создание своего профиля. Имя - на свой выбор 
new-esximageprofile -cloneprofile ESXi-5.0.0-469512-standard -name "With_LSI" 
 
Name Vendor Last Modified Acceptance Level 
---- ------ ------------- ---------------- 
With_LSI VMware, Inc. 19.08.2011 1... PartnerSupported 
 
## Опять просмотр списка - чтобы убедиться что наш профиль появился 
get-esximageprofile 
 
Name Vendor Last Modified Acceptance Level 
---- ------ ------------- ---------------- 
ESXi-5.0.0-469512-no-tools VMware, Inc. 19.08.2011 1... PartnerSupported 
 With_LSI VMware, Inc. 19.08.2011 1... PartnerSupported 
ESXi-5.0.0-469512-standard VMware, Inc. 19.08.2011 1... PartnerSupported 

4) Наконец, к своему профилю добавим интересующие нас пакеты – из пункта 1.
PowerCLI C:\> add-esxsoftwarepackage -imageprofile "With_LSI" -softwarepackage scsi-megaraid-sas

Name                           Vendor          Last Modified   Acceptance Level
----                           ------          -------------   ----------------
With_LSI                       VMware, Inc.    21.10.2011 1... PartnerSupported

5) Последнее – создать таки годный к использованию дистрибутив. Одна команда:
PowerCLI C:\> export-esximageprofile -imageprofile "With_LSI" -filepath d:\depot\esxi5.0.0-with_LSI-469512.iso -exporttoiso -force

Все.

(в случае когда образ создается для Auto Deploy вместо параметра -ExportToIso следует использовать -ExportToBundle)

Полученный таким образом дистрибутив можно использовать для установки серверов.
Почти так же мы будем поступать, если нам потребуется использовать Auto Deploy - но об этом в другой раз.

Парочка общих слов:

есть такое понятие - VIB - это формат дистрибутивов софта под ESXi.
Например, недавно у меня был пост что HP выпустил новую версию драйвера под некоторые контроллеры, исправляющий неприятную багу с неработающими vlan - этот драйвер именно в формате VIB и распространялся.

Однако, это "просто" VIB, его можно установить на уже имеющийся ESXi. А вот интегрировать в дистрибутив "просто VIB" нельзя. (и, в частности, этот драйвер от HP не получается по данному рецепту интегрировать.возможно, я просто не нашел правильного формата пакадж).
Для интеграции в дистрибутив необходимы специально созданные VIB-пакеты, их иногда называют Software Depot - они в себе содержат что-то там дополнительное, технически необходимое для интеграции.

вторник, 18 октября 2011 г.

timezone

 

Вдогонку к недавнему посту про отмену смены времени – ESX 4.x timezone.

 

Вышел патч – Daylight Saving Time (DST) update in Russia, Canada and Netherland Antilles for 2011.

 

пятница, 14 октября 2011 г.

ESXi 5 iSCSI delay - тормоза при старте


Потенциально интересно для тех, кто использует iSCSI стораджи.

1) ESXi 5 может долго стартовать, если к нему подключены хранилища iSCSI.
Это связанно с определенными настройками - ESXi 5 до 9 раз пробует обратиться на сторадж.
Если таргетов много, доступны они через разные сети - то подбор пасьянса может занять заметное время.

По этому поводу  есть отдельная статья базы знаний - ESXi 5.x boot delays when configured for Software iSCSI.

К сожалению, рекомендации там лишь тривиальные - уменьшайте число таргетов\сетей.

А еще появились неподдерживаемые изменения количества попыток - How to Decrease iSCSI Login Timeout on ESXi 5?



ESXi 5 kickstart–установка с файлом ответов


Загрузочная флешка с дистрибутивом ESXi 5 и файлами ответов.
Тезисно:

1) Берем флешку, форматируем в FAT.

2) Загружаем UNetbootin, Universal Netboot Installer.

image

После окончания копирования файлов получаем загрузочную флешку с дистрибутивом.

3) Добавляем на нее файлы ответов.

Создаем каталог (например, kickstart) и добавляем необходимые нам файлы с примерно таким содержимым:

# Принять лицензионное соглашение
vmaccepteula

# Указать пароль пользователя root 
rootpw P@ssw0rd

# использовать первый диск, если там уже есть VMFS – переформатировать
install --firstdisk=local --overwritevmfs

# настройки сети
network --bootproto=static --device=vmnic0 --ip=192.168.1.1 --netmask=255.255.255.0 --gateway=192.168.1.253 --hostname=esxi-01.vm4ru.local --vlanid=0 --nameserver=192.168.1.252

# перезагрузить сервер после окончания установки, без выдвижения лотка cd-rom
Reboot --noeject

Выделены нуждающиеся в изменении поля.

Файл ответов может быть довольно интеллектуальным. В частности, можно указать приоритет выбора дисков для установки – если есть локальный диск, то устанавливаем на него, если нет – ставим на SAN, если и его нет – ставим на USB.


Кроме того, скриптовать можно не только установку, но и апгрейд – в смысле установки ESXi5 поверх ESX(i)4.


Доступные для использования опции – в соответствующем разделе документации.

4) Редактируем файл syslinux.cfg в корне флешки. Заменив его содержимое примерно на это:

default menu.c32
prompt 0
menu title VMware VMvisor Boot Menu
timeout 300

label -
        menu label ^ESXi 5 kickstart install:
        menu disable

label esx-01
        menu label ^Install esx-01
        menu indent 1
        kernel mboot.c32
        append vmkboot.gz ks=usb:/kickstart/esx01.cfg --- vmkernel.gz --- sys.vgz --- cim.vgz --- ienviron.vgz --- install.vgz

label esx-02
        menu label ^Install esx-02
        menu indent 1
        kernel mboot.c32
        append vmkboot.gz ks=usb:/kickstart/esx02.cfg --- vmkernel.gz --- sys.vgz --- cim.vgz --- ienviron.vgz --- install.vgz

label esx-03
        menu label ^Install esx-03
        menu indent 1
        kernel mboot.c32
        append vmkboot.gz ks=usb:/kickstart/esx03.cfg --- vmkernel.gz --- sys.vgz --- cim.vgz --- ienviron.vgz --- install.vgz

label ESXi Installer
        menu label ^ESXi Installer
        kernel mboot.c32
        append vmkboot.gz --- vmkernel.gz --- sys.vgz --- cim.vgz --- ienviron.vgz --- install.vgz


Мы получим это:


image


Вспомогательно:

PXE загрузка установщика.

Способ загрузки с USB для VMware Workstation – может пригодиться для отладки.

среда, 12 октября 2011 г.

VMware Documentation


Официальные источники информации о vSphere:

1) http://pubs.vmware.com
Документация.
и сразу самая полезная ссылка

http://pubs.vmware.com/vsphere-50/index.jsp

Пройдя по первой ссылке, в правой части экрана мы увидим столбец со всеми продуктами VMware. Выбрав продукт, мы попадем на страницу его документации.

image
Выбрав vSphere 5, мы попадем на страницу с документацией vSphere:
image
Здесь хочется выделить несколько секций. Во первых, ссылка на vSphere 5.0 Documentation Center в верхней части. Открыв ее, мы попадаем на страницу со всей основной документацией в html виде. Самое важное – окно сквозного поиска.
image
Затем две вкладки – основная где мы сейчас находимся и вторая, с ссылками на связанные продукты.
Затем секция вспомогательных документов – списки совместимости оборудования с ESXi разных версий, таблицы совместимости компонентов vSphere разных версий друг с другом и разными операционными системами, документ с максимумами возможностей vSphere (такие вещи как максимальное число серверов в кластере, портов в вКоммутаторе и т.п.)
Наконец – непосредственно документация в формате pdf и некоторых других – удобных для чтения на мобильных устройствах.

2) http://kb.vmware.com
База знаний VMware. Решать проблему не заглянув сюда – непрофессионально. Лезть сразу в гугл тоже не всегда лучше – все таки в базе знаний концентрация рецептов по теме выше, чем в целом по интернету – особенно по тексту ошибки.
image
Если у вас есть номер статьи базы знаний, то короткая ссылка на нее выглядит так:
http://kb.vmware.com/kb/номер статьи

Обратите внимание вот на эту подборку инструкций - troubleshooting - что надо проверить в случае тех или иных проблем. 

3) http://communities.vmware.com
Официальный форум VMware. Поиск рулит, ну и вопрос задать тоже бывает полезно.

Русскоязычная ветка официального форума.
image

Обращаю ваше внимание на то, что во всех ветках форума есть вкладка Documents – иногда очень полезная.

4) Если вам нужна справочная информация, то не проходите мимо еще и Technical Resource Center - http://www.vmware.com/vmtn/resources/.
image
Как то так.

Social share buttons



Мне тут помогли починить социальные кнопки, так что если захочется расшарить какой пост – теперь это несложно

image

Multipathing


Недавно был пост Multipathing, про доморощенные тесты производительности одной и той же инфраструктуры и СХД с модулем многопутевости родным и от EMC.

Были интересные комментарии:


Hober комментирует...

Я тестил как-то powerpath еще год назад, на разных блоках (Замеры делал с помощью sqlio), результаты были впечатляющими. Причем СХД - была не EMC.

areytman комментирует...

Сейчас практически все компании стараются использовать встроенный в ОС multipath, поэтому про других производителей (кроме, пожалуй, Veritas)ничего и не слышно. А EMC, чтобы продать PowerPath приходится тесты придумывать :)


Hober комментирует...

Тема довольно таки интересная. По моим тестам ( EMC VMAX, EMC Clarrion ), прирост производительности, при использование EMC PowerPath, колоссальный. ( удалось добиться 90% утилизации FC, по 4-ем 8Гб/с путям ). Стоимость лицензий, при покупке СХД, маленькая.


Hober комментирует...

areytman: естественно, но производительность удручает. По нашим тестам: для windows - veritas/powerpath, для vmware - powerpath.


Hober комментирует...

задач таких не было, но мы тестили максимальную скорость, на разных блоках ( у меня есть очень много результатов тестов. К сожалению я их не могу выложить ).


areytman комментирует...

Hober: Есть у массивов EMC (аккуратно выражаясь) архитектурные особенности, которые и дают результат с powerpath лучше, чем без него. И если сравнивать, например, с ценой Симметрикса, то тут и говорить нечего - не заметите. Единственое, что удручает - это слабая совместимость powerpath с другими механизмами (зачастую требубтся разделить FC адаптеры для EMC и остальных).
А вообще интересно - 4 пути 8Gbit/s - всё это в\из кеш шло или диски тоже задевало?

Тем временем подоспела вторая часть вышеупомянутых тестов - PowerPath VE Versus Round Robin on VMAX – Round 2, с настройками родного модуля multipathing не по умолчанию (если быть точным, настроена смена пути в round-robin через каждую 1 команду).
Результаты встроенного модуля multipathing и PowerPath VE сравнялись.
image 

Старые результаты:

вторник, 11 октября 2011 г.

ESX 4.x timezone


За последний месяц я получил заметное количество писем с вопросом “ААААА!!!11 мы все умрем в октябре не будет перевода часов а ESX будет думать что будет что делать?”. Разумеется, я немного шучу над формулировкой, но суть такая.

Для тех из нас, кто использует ESXi – проблемы нет, так как ESXi в принципе не знает что такое “часовой пояс”, и его локальное время – всегда UTC.

А вот для серверов ESX, версии 4 и 3 (вторая уж вряд ли у кого сохранилась?), проблема есть.

К сожалению, порадовать нечем – на текущий момент мне неизвестно о каких-либо официальных обновлениях для ESX, которые бы учитывали этот нюанс.

UPD. есть мнение:
Можно открыть кейс в тех суппорте при наличии поддержки с вопросом, что делать с временными зонами :) и там вобщем-то отвечают, что уже вот-вот выйдет патч.


К счастью, есть чем порадовать – со мной поделились неофициальным рецептом:

Если у вас до сих пор используется ESX (не ESXi) версий 4/ 4.1, для которых нет обновления тайм-зон,
рекомендую следующий способ обновления:

1.       Скачать rpm-пакет tzdata-2011h-2.el5.i386 или tzdata-2011h-1.el5.i386 и положить его на датастор, доступный всем серверам виртуализации.

Я брал тут -
http://rpm.pbone.net/index.php3/stat/4/idpl/16966133/dir/scientific_linux_5/com/tzdata-2011h-2.el5.i386.rpm.html
зеркало.

Changelog:
2011-08-11 - Petr Machata <pmachata@redhat.com> - 2011h-2.el5
- Patch for upcoming change in Newfoundland.  The transition time
  changes from 12:01 AM to 2:00 AM.
- Resolves: #729697
2011-06-28 - Petr Machata <pmachata@redhat.com> - 2011h-1.el5
- Upstream 2011h:
  - Russia abandons DST in 2011.
  - *.tab: change AN (Netherlands Antilles) to CW (Curacao)
- Resolves: #701268
2.       Выполнить команду для проверки настроек
cat /etc/localtime
запомнить или записать результат


3.       Выполнить команду для проверки настроек
zdump -v /etc/localtime |grep 2011
убедиться, что есть записи с isdst=1


4.       Выполнить команду для установки пакета
rpm -i --nodeps --force tzdata-2011h-2.el5.i386.rpm


5.       Выполнить команду для проверки настроек
zdump -v /etc/localtime |grep 2011
убедиться, что присутствуют только записи с isdst=0


6.       Выполнить команду для проверки настроек
cat /etc/localtime

убедиться, что результат выполнения команды отличается от результата в пункте 2

tnx коллегам из Крока.

vSphere 5 Web Client


В vSphere 5 появилась такая штука как Web Client – по сути, старый добрый web-интерфейс, но слегка в новом обличии.
Если в тройке и четверке этот веб-интерфейс на vCenter просто был из коробки – то теперь он устанавливается отдельным компонентом.
И может быть установлен на отдельную от vCenter систему..как впрочем и на ту же.
Функционал этого веб-интерфейса такой же как и раньше – операторский – с ВМ можно делать все или почти все, с остальным - ничего.
Когда серверная часть уже установлена (об установке ниже), то браузером заходим на
https://<адрес сервера Web Client>:9443/vsphere-client
И после авторизации видим интерфейс. Если не видим – значит у нас не установлен Adobe Flash – этот интерфейса так же  как и у некоторых других продуктов VMware построен на его основе.
image
Нам доступны:
все манипуляции с виртуальными машинами
image
включая открытие консоли и изменение настроек виртуального железа и настроек виртуальной машины.
Кстати – как сгенерировать ссылку только на консоль ВМ - How to Generate VM Remote Console URL for vSphere 5 Web Client.
Просмотр и изменение настроек ресурсов:
image
мониторинг для объектов разных типов, включая данные по производительности и подобным данным
image
image
Так же доступен и поиск.
Обратите внимание – vCenter 5 может нормально управлять серверами ESX(i) предыдущих версий, поэтому даже если вы не обновились до пятерки можно обновить только vCenter, и использовать web-client.  
Кстати, может быть он заработает и с vCenter 4 – но я не проверял. Вроде не заработает.

Интересный факт – помните про правила лицензирования vSphere 5? Появившееся ограничение по памяти выданной ВМ – vRAM? Вот данные по текущему потреблению становятся доступны в клиенте vSphere после установки Web Client Server.
Пройдя Home –> Licensing –> вкладка Reporting мы и увидим эти данные:
image
Кстати, я как-то упустил из внимания следующий факт про лицензирование – одна ВМ не забирает а себя больше 96 ГБ vRAM, сколько бы памяти ей не было настроено.

Установка серверной части веб-интерфейса – Web Client Server

Для установки серверной части следует запустить autoran.exe из корня дистрибутива vCenter, и выбрать компонент web client server. После его установки надо браузером обратиться на интерфейс администратора –
https://<адрес сервера Web Client>:9443/admin-app
image
Здесь нам будет полезна единственная ссылка – Register vCenter Server.
Указываем данные нашего vCenter (кстати, если вдруг у вас несколько vCenter, то последовательно можно зарегистрировать несколько). В поле “vSphere Web Client server name or IP” указываем имя или IP той машины, где установлен Web Client server.
Все.

понедельник, 10 октября 2011 г.

vSphere Virtual Storage Appliance


Итак, VSA, виртуальная система хранения для вСферы – это продукт, позволяющий взять два или три сервера ESXi, настроить зеркалирование между их локальными дисками, и эти зазеркалированные диски сделать доступными всем серверам как NFS-ресурсы. Таким образом, мы получаем программный общий сторадж, что позволяет нам использовать функции живой миграции и высокой доступности имея только 2-3 сервера и все, без аппаратной системы хранения.
На сегодняшний день это решение обладает довольно большими ограничениями, и я не верю в массовость его использования, однако штука интересная и разобраться в ней хочется.

Кстати - очень качественное демо продукта доступно тут - vSphere Storage Appliance - Offline Demo for your use.. По сути - интерактивный флеш-ролик.

Условия


2 или 3 сервера ESXi, на которых будут работать виртуальные машины VSA. Эти сервера и эти ВМ образуют  VSA-кластер. Этот кластер предоставляет NFS-ресурсы, а подключаться к ним могут как хосты-участники кластера, так и любые хосты ESXi.
Если vCenter в ВМ, то эта ВМ не должна использовать VSA-хранилище или работать на сервере ESXi, который участвует в VSA-кластере.
Для ВМ на VSA-хранилище рекомендуется выравнивание по границе 4 КБ, и размер одной операции IO равным или кратным 4 КБ.
В серверах ESXi должно быть минимум 6 ГБ ОЗУ, 4\6\8 дисков в RAID10, 4 гигабитных порта Ethernet.
Сервера должны быть с настройками сети по умолчанию, как сразу после установки.

Архитектура


Суть довольно простая – поднимаем ВМ VSA на каждом сервере VSA-кластера. VSA ВМ использует локальные диски сервера где работает, и зеркалирует эти диски с другими VSA-ВМ этого кластера. За счет зеркалирования мы имеем отказоустойчивость – наши данные не теряются при плановом или неплановом выключении одного сервера ESXi.
Конфигурация кластера VSA на двух и на трех серверах ESXi различается. В случае двухузлового кластера на сервер vCenter необходимо будет установить вспомогательную службу VSA cluster service, которая будет выступать арбитром при обработке спорных ситуаций между двумя VSA-ВМ. Когда VSA-ВМ три – они сами разберутся
Два узла:

vsa-2
Три узла:
vsa-3

Подготовка инфраструктуры

Потребуется 2 или 3 сервера ESXi (плюс еще на одном должен работать vCenter).
ESXi – по сути – должны быть свежепоставленные! В частности, конфигурация сети должна быть по умолчанию.
Потребуется по два IP адреса на VSA-ВМ, и по два IP-адреса для каждого сервера ESXi. Один IP на каждый VSA – для приватной сети, какая-нибудь отдельная подсеть, остальные – из management подсети.

Внедрение VSA


Первый шаг – установка VSA manager на vCenter.
Ничего сложного – setup.exe –> next,next,finish.
После установки в клиенте vSphere появляется вкладка VSA для объекта Datacenter.
image
На шаге Select Hosts нам потребуется выбрать два или три сервера – будущих участников кластера VSA.
Следующий шаг – настройка сети.
image
Нам потребуется указать:
VSA Cluster IP – адрес ведущего узла кластера VSA. Используется в сервисных целях.
Если узлов в кластере VSA только два, то в спорных ситуациях будет необходим VSA Cluster service на vCenter. Ему потребуется VSA Cluster Service IP.
VSA management IP – кроме названия пока ничего про него не могу сказать.
VSA Datastore IP – с этого адреса будет подключен NFS-ресурс. Указывается для каждой ВМ в кластере VSA.
VSA Featured IP – будет создан интерфейс vmkernel c этим адресом. Через этот интерфейс будет производится vMotion обычных ВМ (т.е. напрямую к работе кластера VSA этот интерфейс не относится). Указывается для каждого сервера – участника кластера VSA.
В документации указано не использовать для этих адресов диапазон 192.168.xxx.xxx Почему – хз.
Так же, я пока не до конца понял через какой интерфейс ESXi подключает NFS ресурс. Пока что получается что через свой management?
В принципе, все. Ввод VSA в эксплуатацию весьма прост. Мастер сам развернет VSA-ВМ на хосты, сам создаст дополнительный вКоммутатор и группы портов, интерфейсы VMkernel, подключит ресурсы NFS.
После завершения работы мы увидим три хранилища NFS:
image
(или два, если в VSA-кластере у вас только два сервера).
Ну и статус кластера на соответствующей вкладке.
image
Необходимые элементы сети будут созданы автоматически:
image
Через верхний вКоммутатор (Front End) идет управление и NFS трафик , через нижний (Back End) – узлы VSA кластера обмениваются сигналами пульса и реплицируют диски.

Эксплуатация

С точки зрения использования VSA – это просто два или три хранилища, на которых можно создавать ВМ.
А что с обслуживанием?
Если ломается Front End сеть одного из хостов, то одно из NFS хранилищ отваливается. ВМ, расположенные на нем, становятся недоступными. И, в общем-то, все. Пруф, видео.
А если ломается Back End – то не происходит ничего, ВМ просто продолжают работать – так как хранилища зеркалируются между VSA-ВМ, и в этому случае отрабатывает failover. Пруф, видео. Сюда же попадает ситуация когда ломается один из серверов ESXi целиком.
В случае проблем один из узлов кластера VSA можно заменить штатными средствами, из GUI.
Однако добавить в кластер их двух узлов третий узел нельзя – следует сразу создавать VSA-кластер из требуемого количества узлов. Также, добавив дисковых ресурсов на сервера ESXi, нельзя добавить их в VSA.

Размышления про применимость

VSA обладает некоторыми особенностями, многие из которых попадают, к сожалению, в разряд минусов.
Видимая вендором схема использования VSA – инфраструктура с тремя-четырьмя серверами, которую развертывают и сразу начинают использовать с VSA.
Большая головная боль –
1) vCenter необходим.
2) vCenter должен работать на отдельном сервере, где VSA компонентов нет!
Ну, или хотя бы не использовать VSA хранилище для себя – т.е. лежать на локальном хранилище какого-то их хостов – тоже не айс, и решение не поддерживаемое.
Получается, если у нас два или три сервера ESXi в кластере VSA – то требуется еще один сервер. Этот “еще один” или
  • с физическим vCenter
  • или с ESXi – на котором работает vCenter (vCenter может быть расположен на VSA хранилище). Этот сервер может использовать VSA хранилище и быть объединенным в кластер HA с остальными серверами.
VSA использует локальное хранилище серверов ESXi, однако из за зеркалирования только половина места доступно для размещения ВМ. Если учесть, что поддерживаемая конфигурация требует чтобы на серверах использовался RAID 10 – то в  итоге мы получаем доступным для ВМ только одну четвертую от общего объема дискового пространства на серверах-участниках кластера VSA.
Подобные размышления применимы и к производительности – когда одна из ВМ генерирует запрос на запись, этот один запрос пишется на 4 диска (так как он уходит на две VSA-ВМ, а затем каждая VSA-ВМ записывает его на массив RAID 10).
И да – VSA сильно не бесплатна. Если не удается выбить хорошую скидку, то купить сервера без дисков плюс аппаратное хранилище часто окажется дешевле, чем сервера с хорошими raid контроллерами и дисками на тот же объем и производительность.

Хаки

Если хочется установить VSA на сервера ESXi, где уже есть работающие ВМ - How to Install VMware VSA with Running VMs.
Если хочется установить VSA на сервера ESXi, которые сами работают в виртуальных машинах (для демостенда самое то) – How to Install VMware VSA in Nested ESXi 5 Host Using the GUI.
Для обращения в локальную консоль – svaadmin\svapass.

По материалам

Useful Links – vSphere Storage Appliance (VSA).
vSphere Storage Appliance (VSA) - Useful Links [Updated].
vSphere Storage Appliance (VSA) Resilience - Network Outage Videos
vSphere Storage Appliance (VSA) Resilience - Network Outage Scenario #1: Back End
vSphere Storage Appliance (VSA) Resilience - Network Outage Scenario #2: Front End
How to Install VMware VSA in Nested ESXi 5 Host Using the GUI
How to Install VMware VSA with Running VMs