воскресенье, 17 июля 2011 г.

home lab


Немного хочу рассказать про организацию своей домашней лаборатории - так как вопрос такой лабы для многих актуален, чтобы было куда дать ссылку интересующимся.

Несколько лет назад я закупил компьютер.

Обычный писюк, двухядерный процессор, 8 ГБ памяти.
Поставил на него Windows 7, VMware Workstation 7, и под Workstation несколько виртуальных машин.
В первую очередь это были три виртуалки: ESX1, ESXi2 и vCenter. На хостовой Windows 7 был установлен Starwind, который отдавал этим серверам по iSCSI файл-img, пару сотен гигов размером.





Ну и внутри этих ESX и ESXi были запущены еще несколько ВМ. Например, ворочался полный стенд VMware View - AD, View Server, View Security Server и View Desktop.
Многие из вас видели разнообразные скриншоты, сделанные на этой vSphere - вся моя книга писалась на этом стенде.

Кроме того, иногда я запускал vMA и некоторые другие ВМ на одном уровне с ESX(i) и vCenter - так как их гости, ВМ второго уровня, могли быть только 32-битными. А 64-битность начинала быть все более необходимой - например одна из ролей View ставится только на Windows 2008 R2, а она только x64.

 Конечно, время отклика поражение не вызывало, а иногда требовало и определенной выдержки :), но за свои деньги и занимаемое место этот стенд давал отличные возможности.

С технической точки зрения купить два компа и их просто как ESXi использовать - лучше, но обосновать бюджет и, так сказать, юниты, перед супругой сложнее.

Тем не менее, такой стенд прослужил мне верой и правдой не один год. Пришла пора двигаться дальше.

Двигаться дальше я стал относительно недавно - когда дошли руки до покрутить пятерку, точнее ее бета версию.

Сделал я очень просто - установил ESXi 5 на флешку, и запустил с нее свой компьютер, вместо Windows 7. Все чудесным образом завелось. Я создал первые три ВМ - два ESXi и vCenter, настроил автостарт вместе с физическим ESXi - все отлично заработало. Ну а упомянутая ранее возможность запускать в гостях второго уровня 64битные ВМ - просто сказка сама по себе.

У нового варианта есть несколько преимуществ перед старым.

Ну, неоспоримое преимущество - это запуск 64битных гостей под виртуальными ESXi. Теперь я должен смочь попробовать любые или почти любые Virtual Appliance, число которых множится с каждым месяцем.
Ну и Hyper-V покрутить лишним не будет. И сторонние VDI решения (хотя Citrix XenDesktop я поднимал и на старом стенде, но тут удобнее все будет) .

Второе - за счет выключения больших страниц (параметр Mem.AllocGuestLargePage = 0, помните недавние посты?) я делаю довольно неплохой memory overcomitment. Все работает шустрее, чем в варианте с Workstation.

Вот, для иллюстрации нагрузка на физическую машину:


Памяти используется 6 600 из 8 000 мегабайт.

В это же самое время запущено несколько ВМ, совокупным объемом выделенной памяти 13 гигабайт.


Две ВМ с ESXi пока простаивают, но vCenter уже установлен и работает, а на Windows 7 в данный момент устанавливается ОС.

Огорчает только одно - если к релизу не изменятся известные сейчас правила лицензирования бесплатного ESXi, я не смогу этим оверкомитментом пользоваться.
UPD. На ESXi 5 с бесплатной лицензией вроде как можно использовать до 32 ГБ на сервер.

Сторадж тоже пришлось делать по другому. Как-то так получилось, что у меня дома завялялись два ноутбучных жестких диска.


Один из них в завалявшемся корпусе с SATA->USB был подключен к моему домашнему роутеру, а он расшарил его по сети, по NFS. Работает на удивление стабильно, тьфу-тьфу - ни единого намека на разрывы.









Другой был установлен в свежекупленный SATA->eSATA, и подключен к свежекупленному PCI контроллеру с eSATA.

Все работает замечательно.

Теперь я планирую место на этом диске использовать как основное хранилище, и в частности пробовать его расшаривать через Stariwind (апробированное решение), Starwind Virtual Appliance (интересно поиграться и сравнить) и VMware Virtual Storage Appliance (если заведется, там вроде есть какие-то ограничения - буду изучать).

Однако есть неудобство - Windows на этом компьютере использовала два диска - старый 300 ГБ для себя, и 2 ТБ под все остальное. У нас дома эта машина выполняет роль файл-сервера. Например, на ней я держу папку Images, со всеми образами (на ноуте они тоже есть, но иногда частично тасуются, а большом диске стационарного компьютера места еще много). Получается, сейчас эти данные недоступны.
Пичаль пичаль.

Однако, нет! Я же могу прокинуть этот большой диск в ВМ, как RDM! Впрочем, не могу - RDM не работает для большинства локальных дисковых контроллеров.
Пичаль пичаль.

Однако, нет! Есть же всякие хаки! И действительно, инструкция из последнего каммента вот к этой полезной статье сработала.

Так что сейчас все те же данные доступны в моей сети. Ура ура.

К компьютеру подключен еще и принтер. Хотел и его пробросить - но в списке доступных для подключения к ВМ usb устройств хоста был только бесперебойник. Странно.

Кстати, никто не знает - есть ли возможность как-то легитимно использовать Windows 2008 для своих стендов в течении продолжительного времени? А то ей хочется активации, а slrmgr/rearm надолго не помогает.

43 комментария:

  1. >Кстати, никто не знает - есть ли возможность как-то легитимно использовать Windows 2008 для своих стендов в течении продолжительного времени? А то ей хочется активации, а slrmgr/rearm надолго не помогает.

    Заведите себе юр.лицо (или "одолжите" у кого-нито) и оформите у Микрософта подписку по программе Active Pack.

    За 300 североамериканских енотов в год будете получать от МС ежеквартально бандероль с софтом (серверы (сейчас 2008R2), воркстейшены (сейчас W7), программы (Эксчендж, Шарепойнт, ИСА, Коммуникейт-сервер, МСО (сейчас 2010) и ещё дофига чего).
    Всё это богатство Вы не можете перепродавать или ставить на компы клиентов компании-подписчика - однако можете использовать для внутренних целей: тестирование, демонстрация и даже продакшен, но "внутри организации".

    Понятно, что кроме Ос Вам, видимо, ничего не нужно особо будет, однако, во-первых, Вы обретёте вожделенную легитимность менее чем за тридцатку в месяц... ну а во-вторых, если дружественная лавка (на которую оформить подписку) восхочет, то войдёт в расходы пополам ради использования у себя хотя бы того же МСО (там не менее пары лицензий было)... ну и ещё что-либо сможет себе поставить из ненужнго Вам...

    С уважением,
    Umlyaut.

    ОтветитьУдалить
  2. Михаил, MCT получают подписку Technet Direct. По ней весь необходимый софт и лицензии для самообразования можно получить.

    Стоит "удовольствие" всего 150$ в год.

    ОтветитьУдалить
  3. о, я же MCT! Надо бы изучить вопрос как этим богатством воспользоваться.

    ОтветитьУдалить
  4. Да без домашнего тестлаба нынче никуда :) У самого разросся до 12 компьютеров. Правда, на мой взгляд один декстоп это все-таки маловато будет :)

    ОтветитьУдалить
  5. >>Да без домашнего тестлаба нынче никуда :) У самого разросся до 12 компьютеров. Правда, на мой взгляд один декстоп это все-таки маловато будет :)
    вот что бы не хранить у семя минидатацентр и придумали виртуализацию ;)
    зы у меня сейчас в серверной меньше железа (спасибо vmware), чем у вас дома %)

    ОтветитьУдалить
  6. >>и придумали виртуализацию
    почти все используется под виртуальные нужды :)

    ОтветитьУдалить
  7. По поводу Technet Direct. Он для MCT бесплатен. Коллега наверно имел в виду что $150 стоит само продление MCT (для фрилансеров). Для шатных преподавателей дешевле было. Ну и за штатных обычно платит сам УЦ. Мне код активации сваливается на 2-3 день после продления MCT. Письмо с темой "Активируйте подписку на TechNet Plus сейчас!"
    Может быть "привязанным" к УЦ индивидуальную подписку не высылают поскольку у УЦ и так она есть на организацию? Но по любому если обратиться к администратору лицензий в УЦ тебе ключики организации должны дать, я думаю.

    ОтветитьУдалить
  8. >>Огорчает только одно - если к релизу не изменятся известные сейчас правила лицензирования бесплатного ESXi, я не смогу этим оверкомитментом пользоваться.

    А если случится чЮдо и планка повысится, то Вам, Михаил, имеет смысл заапгрейдить стенд до 1155-й системы с новым i5 Quad Core и 4х4GB RAM. Много денюжек не потратите, а щщастья хлебнёте полной мерой... :))))

    С уважением,
    Umlyaut.

    P.S. на волне раздумий про ограничения фришки начал уговаривать себя выбрать чуток времечка и покрутить Core Hyper-V :(

    P.P.S. интересно, а как изменится у 5-ки ситуация с полнофункциональным(?) триалом - там-то хоть по vRAM не будут душить нас?

    ОтветитьУдалить
  9. этож менять мать и проц...и память... вряд ли соберусь.

    По поводу лицензионных ограничений - как vExpert я имею право на честные NFR лицензии Ent+.
    Так что в посте я упомянул про это ограничение больше чтобы на его существовании сделать акцент для других.

    по поводу триала - это же ограниченная по времени Ent+, а в ней даже в коммерческой обещают только ругань на превышение vRAM, без жесткого отказа работать.

    ОтветитьУдалить
  10. >этож менять мать и проц...и память... вряд ли соберусь.

    Не зарекайтесь. :)))

    У нас сплошь и рядом бывает такое, что подворачивается возможность (а то и нужда) сбацать на возмездной основе кому-то/где-то некий компик/серверок для каких-то нужд - тогда имеющаяся "рабочая лошадка" "переквалифицируется в управдомы", а вырученные за неё средства добиваются некоей толикой денюжек и делается новый стенд... кстати, деньги там не бог весть какие (по сравнению с традиционными серверными комплектующими).

    Про лицензии ага, понял. Будем смотреть в сторону Гипера, значиццо... :(

    С уважением,
    Umlyaut.

    ОтветитьУдалить
  11. Михаил, т.е. Ваш стенд получается затёр все диски и на них заселился VMFS :) ?

    ОтветитьУдалить
  12. Миша,
    насчет лицензионности 2008 не парься... он прекрасно работает и без активации, только при загрузке просит нажать cancel и десктоп траурного черного цвету.

    ОтветитьУдалить
  13. 2AIgor - нет, с чего вы взяли?
    ESXi видит виндовые диски - но не трогает без команды.

    А один я прокинул внутрь ВМ - и с ним тоже ничего не случилось (тьфу тьфу).

    2Denis - там же еще прикол с ещечасной или ежедвухчасной перезагрузкой, нет?

    ОтветитьУдалить
  14. Вопрос к Михаилу, а будет ли (и когда) новая книжка по VMWare View ? Очень хочется, извините за нескромность.

    ОтветитьУдалить
  15. ну по View и старой то не было :)

    по vSphere пока ничего не могу сказать.

    ОтветитьУдалить
  16. >2Denis - там же еще прикол с ещечасной или ежедвухчасной перезагрузкой, нет?
    Такого нет давно ни у серверов, ни у клиентов. Только назойливые напоминания.

    "IMPORTANT NOTE: The software activation status does not impact the services running on the server. Even if the hardware goes out of tolerance and you are asked to reactivate it, services will continue to run, even if the software is not reactivated. Not activating will generate persistent notifications reminding you to activate the server. Services and remote administration are not affected. "

    ОтветитьУдалить
  17. Михаил, т.е это только ESXi 5 позволяет видеть диски с NTFS ? Можно ли также с флэшки запустить на персонален ESXi 4.1 например, и увидеть ВМ-ки от Workstation, которые лежат на NTFS-диске персоналки?

    ОтветитьУдалить
  18. 2dainjah - спасибо.

    2AIgor: вчитайтесь внимательнее - это всего навсего RDM (просто сделанный хаком а не как обычно).

    NTFS виден Windows-гостю внутри ВМ, ESXi "сквозь себя" прокидывает этот диск с NTFS.

    так что по вашему вопросу ответ "нет"

    ОтветитьУдалить
  19. >Огорчает только одно - если к релизу не изменятся известные сейчас правила лицензирования бесплатного ESXi, я не смогу этим оверкомитментом пользоваться.

    Бесплатный ESXi будет лицензироваться посокетно, до 32х ГБ.

    ОтветитьУдалить
  20. Михаил, можно подробнее показать, как сделать такую флэшку (ну или где почитать), чтобы запустить на обычном Windows-компе ESXi с неё? Не пойму, где же хранятся файлы vmdk этих Windows-гостей?

    ОтветитьУдалить
  21. Нашёл http://www.jadota.com/2009/05/how-to-create-your-own-bootable-esxi-4-usb-stick , попробовал сделать USB-флэшку с ESXi 4.0 Update 3. Поотключал в BIOS железной машины все жёсткие диски, как написано :) Даже загрузился до сообщения: No compatible network adapter found. Please consult the product's HDG... Пробую 4.1 Update 1

    ОтветитьУдалить
  22. Проверил на 4.1 Update 1 - то же самое, сетевая карта несовместимая :(

    ОтветитьУдалить
  23. я эту загрузочную флешку сделал даже проще, чем описано по ссылке:
    я включил виртуалку под Workstation, загрузил ее с дистрибутива ESXi, и прокинул в нее флешку.

    А затем установил ESXi на флешку внутри виртуалки.

    Все :)

    Ну и мне в каком-то смысле повезло - года три назад у меня сгорела встроенная сетевушка, а на замену я купил Intel - даже без целей совместимости с ESXi. Но сейчас эта совместимость есть.

    ОтветитьУдалить
  24. Михаил, у меня материнка ASUS P5Q3 Deluxe, на ней встроенный Realtek PCIe GBE Family Controller.

    ОтветитьУдалить
  25. если хотите запустить ESXi на этой машине - потратьте ~1000р на сетевой контроллер от Intel.

    ОтветитьУдалить
  26. Я попробовал сделать так же с Workstation + ESXi 4.0 - не видит флэшку почему-то...

    ОтветитьУдалить
  27. Да, у нас в магазинах DNS есть один вариант - Сетевая карта Intel Gigabit CT Desktop Adapter PCI-E x1 [EXPI9301CT], http://barnaul.dns-shop.ru/catalog/152/113300/ Вот только в HCG в явном виде ее не нашёл по номеру...

    ОтветитьУдалить
  28. посмотрите на vm-help.com - неофициальный список совместимости.

    флешку должен видеть - ее надо подсовывать после включения ВМ. я обычно нажимаю Pause на этапе post, командую прокинуть флешку в ВМ, потом продолжаю загрузку, в установщик ESXi.

    ОтветитьУдалить
  29. В компе встроенная такая (Everest):
    Realtek RTL8168C/8111C PCI-E Gigabit Ethernet Adapter (PHY: Realtek RTL8211/8212) PCI

    ОтветитьУдалить
  30. а вы зачем уже два раза про риалтек написали?

    ОтветитьУдалить
  31. Миша, скажи, пожалуйста, не пролетали ли мимо тебя какие-нибудь траблы при использовании AMD Phenom (какая-нибудь из фич ESX-а, например, не работает)? Цена у него для домашней лабы вкусная.


    Bond_Jimme

    ОтветитьУдалить
  32. у меня работает несколько "боевых" серверов на феномах + сетевая - гигабитный интел что писали выше - проблем не вижу.

    ОтветитьУдалить
  33. Михаил, карта от Intel помогла загрузить ESXi 4.1 Update 1. Пробую ставить vCMA на тему посмотреть клиента для iPad. Вот только не пойму как пробросить сеть в vSwitch0 для вирт. машин - единственный pNIC сейчас занят под сеть управления ESXi

    ОтветитьУдалить
  34. у вас на этом виртуальном коммутаторе может быть еще и группа портов для ВМ, кроме management порта. В общем-то, она там даже по дефолту есть - VM Network.

    ОтветитьУдалить
  35. Да, получилось. Теперь интересно как пробросить NTFS-диски

    ОтветитьУдалить
  36. Это мысли вслух или вопрос?

    Если вопрос - в посте же есть ссылка?

    ОтветитьУдалить
  37. AIgor
    Михаил, что-то не получается поставить vCenter 4.1 на Windows Server 2008 R2. Пишет, что не поддерживается. Дистрибутив VMware-VIMSetup-all-4.1.0-345042

    ОтветитьУдалить
  38. Переделал свой стенд под vSphere5

    ОтветитьУдалить
  39. Михаил, извините не понял А клиент на чем запускается????

    ОтветитьУдалить