воскресенье, 22 августа 2010 г.

vSphere 4.1 iSCSI Advanced Settings

Одной из тем для вялых холиворов является тема вида «Можно ли использовать iSCSI для виртуальных машин».

По моим наблюдениям, есть процент людей, свято верящих в «великий FibreChannel, и да не будет ничего другого», и есть процент людей (лично по моему опыту — не очень все таки большой), счастливо и с успехом использующих IP-СХД для инфраструктур размером в десяток хостов и десятки ВМ.

Я это к тому, что для тех, кто использует iSCSI, может оказаться полезным пост — vSphere 4.1 iSCSI Advanced Settings And Their Meanings.

21 комментарий:

  1. К сожалению в 4-й версии наблюдались отваливания iscsi от esx хоста. И даже ребут не всегда помогал. Не знаю, стало с этим лучше в 4.1

    ОтветитьУдалить
  2. Насчет "волшебного FC" я тут потихоньку пишу у себя язвительную статью в блог про "техномистицизм", когда вместо тертого в порошок рога единорога настоянного на моче 40-летней девственницы (главное чтобы было дорого, редко и недоступно) в качетсве лекарства от всех болезней прописывается FC и прочий mainframe. Главное, чтобы было дорого и минимально доступно для "черни".
    Вот в чем главный недостаток iSCSI для российского IT. Он дешев и доступен плебсу ;)

    ОтветитьУдалить
  3. А если серьено, то множество проблем, в том числе и то что у Анонимуса, чаще всего вызывается тем, что строя IP-SAN, люди продолжают мыслить при этом нормами "офисной локальной сети". Но то, что годится для "виндовых шар CIFS" и "раздачи интернета", не подходит (и чревато, например теми самыми "отваливаниями iscsi от esx хоста") для IP-SAN.

    ОтветитьУдалить
  4. >люди продолжают мыслить при этом нормами "офисной локальной сети"

    М-ммм... жаль, что Вы не уточнили, "что они делают не так". Полагаю, речь может идти о том, что они пренебрегают такими основными моментами, как:

    - использование не самого чахлого и кривого оборудования;
    - использование гигабитной сети;
    - использование отдельной/выделенной сети для передачи данных между хостами и хранилищами;
    - использование аггрегации каналов;

    ИМХО, при соблюдении вышеуказанных условий можно жить и с iSCSI... Если что не назвал - добавьте.

    С уважением,
    Umlyaut.

    P.S. Наконец-то мой (потенциальный) стек доехал до белокаменной. Сейчас пошуршу бумажками и к концу недели должен получить его в свои цепкие лапы - вот тогда и потестируем, как было задумано... :D

    ОтветитьУдалить
  5. - использование не самого чахлого и кривого оборудования - используется циска
    - использование гигабитной сети - используется
    - использование отдельной/выделенной сети для передачи данных между хостами и хранилищами не используется
    - использование аггрегации каналов - не используется.

    В результате диск отваливается и так и валяется, при этом если iscsi подключить напрямую ВИРТУАЛЬНОЙ МАШИНЕ, находящейся на хосте esx у которого наблюдаются проблемы с отваливающимися дисками то в этой ВМ (windows) проблем никаких нет. В этом то и странность. Т.е. если у винды не отваливается будучи подключённой по тем же каналам но ещё и с прокладкой из vswitch то проблема кажется не сетевая. Что скажите, куда копать посоветуете? В принципе используется повсеместно FC, но и большие бюджетные ISCSI хотелось бы тоже задействовать.

    ОтветитьУдалить
  6. Можно подробнее о конфигурации вашей сети? Как и где настроен VMkernel, какие линки, с кем делит? как идет трафик по сети от VMkernel до iSCSI SAN?

    ОтветитьУдалить
  7. "Можно подробнее о конфигурации вашей сети? Как и где настроен VMkernel, какие линки, с кем делит? как идет трафик по сети от VMkernel до iSCSI SAN?"
    стоит vcenter, кластер из десятка G6, каждый G6 подключён к циске 3560 4-мя кабелями. Два линка для данных, два линка для вмоушен. к этой сети подключена через соседнюю циску ProNAS девайсена с установленной на ней FreeNAS. На фринасе выдаются iscsi диски, собственно диск подключается либо внутрь виртуалки, либо к esx-у, у esx-а проблемы с дисками есть, у ВМ-ки нет.
    Что ещё рассказать?

    ОтветитьУдалить
  8. А конкретнее о конфигурации линков и портгрупп? NIC Teaming Policy? Multipathing?

    ОтветитьУдалить
  9. > используется циска

    А, ну тогда какие могу быть вопросы, тогда конечно, если сама циска...

    ОтветитьУдалить
  10. Этот комментарий был удален автором.

    ОтветитьУдалить
  11. > с установленной на ней FreeNAS

    О, мама дорогая роди меня назад.... :-/

    PS. А виноват при этом, прошу заметить, именно "iSCSI". :-/

    ОтветитьУдалить
  12. "А, ну тогда какие могу быть вопросы, тогда конечно, если сама циска..."
    Не понял сарказма.
    Было сказано:
    использование не самого чахлого и кривого оборудования
    Ответчаю: стоит Cisco Catalist 3560.
    Что не так?

    О, мама дорогая роди меня назад....
    PS. А виноват при этом, прошу заметить, именно "iSCSI".
    Мне кажется виновата реализация iscsi в esx. Иначе почему нормально работает винда в ВМ с этим же iscsi диском?

    ОтветитьУдалить
  13. я попытаюсь высказать официальную точку зрения:
    в ESX реализация достаточно хороша, чтобы iSCSI замечательно работал с сертифицированными системами хранения.
    а вот нормальную работу с несертифицированными - никто и не обещает.

    Я имел в виду именно первое, а обсуждение второго - смысла большого не имеет.

    ОтветитьУдалить
  14. freenas-не для продакшена
    Skyrod7

    ОтветитьУдалить
  15. Вставлю свои пять копеек - в качестве подсобного datastore с тестовым хостом Сферы (4.0U2) вот уже пару месяцев использую iSCSI-таргет на OpenFiler`e.

    Супернагрузок на него нет, но пара VMок (лежащих на этом datastore) крутится постоянно - там живёт 2003-й SQL-серверок подсобный (MySQL) и XP Банк-клиент: при этом ни разу данный сторадж не отваливался. Соединение используется по одному гигабиту, со стороны стораджа это бортовой серверный Интел, со стороны хоста - бортовой гигабитный Марвел (sky2), включены через общий (с остальной инфрой) свитч LinkSYS 48ports (тоже типа цЫска :)).
    Т.е., если бы такая шняга отваливалась, как фринасный таргет у безымянного коллеги, то это было бы показательно - однако и отсутствие отвалов в данных условиях чего-то да стОит, ИМХО. Не раз чтил в инете мнения/сравнения относительно того, что в плане (бюджетного) стораджа ОпенФайлер работает в разы (если не на порядок) лучше фринаса. Я сам фринас на эту темуне пробовал, т.ч. сужу лишь "со стороны" ОпенФайлера в связке со Сферой.

    С уважением,
    Umlyaut.

    ОтветитьУдалить
  16. Анонимный комментирует...
    >"А, ну тогда какие могу быть вопросы, тогда конечно, если сама циска..."
    >Не понял сарказма. Было сказано: использование не самого чахлого и кривого оборудования
    >Ответчаю: стоит Cisco Catalist 3560. Что не так?

    "Некривость" и "нечахлость" оборудования называлась как одно из необходимых условий (но отнюдь не как достаточное условие).
    А потом... можно и цЫску ТАК настроить (ну или НЕ настроить), что мало не покажется. Это не в чей то персональный огород булыжник - просто мысли вслух... :)))

    С уважением,
    Umlyaut.

    ОтветитьУдалить
  17. года 2 используется openfiler через iscsi/nfs раздающий датасторы с исошками, временными темплейтами, для тестовой среды и тестового восстановления. проблем нет. единственное - до какого то релиза нфс давал больше скорости чем айскази.
    п.с. конечно "подключен к цыске" :)

    ОтветитьУдалить
  18. Starwind. 9 месяцев работает как часы без перерыва (50 ВМ). Перед этим были проблемы - виноват был Adaptec 6405 (после смены прошивки заработал как положено, а перед этим полгода жизни давал)
    Другой Аноним

    ОтветитьУдалить
  19. Забыл сказать ESXi 4.1

    ОтветитьУдалить
  20. Кластер из 6-ти хостов ESXi 4.1. Порядка 80 виртуальных серверов. 5 SATA datastores и одна SAS подключены по iSCSI. Больше года отличной работы.
    Кластер VDI из 6-ти хостов ESXi 5.0. Порядка 240 ВМ, постоянно работает процентов 70. 9 SATA datastores подключены по iSCSI. Вот здесь периодически возникают проблемы при удалении и перемещении ВМ по сторейджам. Хост начинает терять сторейджи и искать их заново, ВМ живущие на нем подвисают, а HA ничего не делает потому что хост доступен. Спасает только жесткий reset хоста.

    ОтветитьУдалить