15 Август 2011

Внутри IBM Storwize V7000. Часть 2

В первой части мы немного узнали про устройство железки, как говориться из первых рук, т.е. от нее самой :)

Теперь пойдем дальше.
На чем живет сама система? – На внутреннем SSD диске объемом 16Gb

echo $(</proc/mdstat)

major minor #blocks name
8 0 31266648 (15266 Mb ~16G) sda
8 1 1775182 (866,78 Mb) sda1
8 2 265072 (129,43 Mb) sda2
8 4 1 sda4
8 5 8297572 (4051,55 Mb) sda5
8 6 265072 (129,43 Mb) sda6
8 7 19615364 (9577,81 Mb) sda7
8 8 1044224 (509,875 Mb) sda8

Диск разбит на 6 разделов. Далее точки монтирования

echo $(</proc/mounts)

rootfs / rootfs rw 0 0
/dev/sda1 / ext3 ro,relatime,errors=continue,data=writeback 0 0
/proc /proc proc rw,relatime 0 0
/sys /sys sysfs rw,relatime 0 0
tmpfs /dev tmpfs rw,relatime,size=2048k 0 0
/dev/sda2 /compass ext3 ro,relatime,errors=continue,data=writeback 0 0
/dev/sda5 /data ext3 rw,relatime,errors=continue,data=writeback 0 0
/dev/sda6 /var ext3 rw,relatime,errors=continue,data=writeback 0 0
/dev/sda7 /dumps ext3 rw,relatime,errors=continue,data=writeback 0 0
/dev/sda8 /tmp ext3 rw,relatime,errors=continue,data=writeback 0 0
/dev/sda8 /home ext3 rw,relatime,errors=continue,data=writeback 0 0
none /dev/pts devpts rw,relatime,gid=5,mode=620 0 0 none
/dev/shm tmpfs rw,relatime 0 0
plfsmain /mnt/plfs fuse.plfsmain rw,nosuid,nodev,relatime,user_id=0,group_id=0,allow_other 0 0

Все в общем то стандартно, но заинтересовала запись о монтировании PLFS.
PLFS это довольно таки экзотическая штука, по крайней мере я раньше не сталкивался и информации по ней не так много. Разрабатывается она прежде всего для HPC систем.

Собственно сам проект http://sourceforge.net/projects/plfs/
Разработчики http://institute.lanl.gov/plfs/
Краткое описание (постер) http://www.pdsi-scidac.org/events/PDSW10/resources/posters/plfs-r10.pdf
Презентация http://institute.lanl.gov/isti/irhpit/presentations/polte.pdf

Если кратко, то PLFS предназначена для распараллеливания совместного доступа на запись к единому файлу, со стороны множества конкурирующих за запись процессов.
Подозреваю что она используется для ускорения записи метаданных экстентов, но это догадки.

Теперь посмотрим на список процессов

for P in $(echo /proc/*/status); do echo $(<"$P"); done;

[тут вывод был почищен скриптом и вот что получилось]

init
ksoftirqd/2
watchdog/2
migration/3
ksoftirqd/3
watchdog/3
sleep
events/0
events/1
events/2
sleep
events/3
kjournald
udevd
khelper
sync_supers
bdi-default
kblockd/0
kblockd/1
kblockd/2
kblockd/3
kthreadd
kacpid
kacpi_notify
kacpi_hotplug
plmain
ietd
sshd
java_tomcat
cron
async/mgr
sshd
sshd
rbash
sshd
sshd
rbash
compass_start
mingetty
mingetty
kjournald
ecmain
syslogd
klogd
internal_sshd
ssh
internal_sshd
kjournald
kjournald
kjournald
kjournald
migration/0
ata/0
ata/1
ata/2
ata/3
ata_aux
ksuspend_usbd
khubd
kseriod
rpciod/0
rpciod/1
rpciod/2
rpciod/3
ksoftirqd/0
mcelog
khungtaskd
kswapd0
aio/0
aio/1
aio/2
aio/3
nfsiod
crypto/0
crypto/1
crypto/2
crypto/3
watchdog/0
endd_script
endd
migration/1
flush-8
iscsi_eh
scsi_eh_0
scsi_eh_1
ksoftirqd/1
kpsmoused
usbhid_resumer
plfsmain
tomcat_config_s
slv_dpadmpd
cimMemoryMonitor
slpd
cimserver
watchdog/1
sshd
sshd
rbash
migration/2
rbash

что интересного:
iscsi_eh – стандартный iSCSI модуль ядра
nfsiod – есть поддержка nfs клиента в ядре

Теперь посмотрим на командные строки запуска процессов в системе
for P in $(echo /proc/*/cmdline); do echo $(<"$P"); done;

sleep 36000
udevd --daemon
/compass/plmainupgradenormal
/compass/ietd
/usr/sbin/sshd -o PidFile=/var/run/sshd.init.pid

/usr/bin/java_tomcat -Xms192m -Xmx192m -verbose:gc -X verbosegclog:/dumps/cimom/tomcat.gc.78G03CT-2.xml,8,200 -Xdump:system:defaults:file=/dumps/cimom/jvm_core.78G03CT-2.%Y%m%d.%H%M%S.%pid.%seq.dmp -Xdump:snap:defaults:file=/dumps/cimom/jvm_Snap.78G03CT-2.%Y%m%d.%H%M%S.%pid.%seq.trc -Xdump:heap:defaults:file=/dumps/cimom/jvm_heapdump.78G03CT-2.%Y%m%d.%H%M%S.%pid.%seq.phd -Xdump:java:defaults:file=/dumps/cimom/jvm_javacore.78G03CT-2.%Y%m%d.%H%M%S.%pid.%seq.txt -Xjit:disableInterpreterProfiling,scratchSpaceLimit=3000 -D java.awt.headless=true -D java.util.logging.config.file=/data/apache-tomcat/conf/logging.properties -D java.util.logging.manager=org.apache.juli.ClassLoaderLogManager -D AspenLogProperties=/data/apache-tomcat/tbui/WEB-INF/classes/com/ibm/svc/util/log/jlog/jlog.properties -classpath:/data/apache-tomcat/bin/bootstrap.jar:/data/apache-tomcat/bin/tomcat-juli.jar -D catalina.base=/data/apache-tomcat -D catalina.home=/data/apache-tomcat -D java.io.tmpdir=/data/apache-tomcat/work -D sun.reflect.inflation Threshold=0 org.apache.catalina.startup.Bootstrap start

/usr/sbin/cron
sshd: user [priv]
sshd: user@pts/5
rbash --rcfile /etc/rbashrc --noprofile --restricted
sshd: user [priv]
sshd: user@pts/1
rbash --rcfile /etc/rbashrc --noprofile --restricted
sshd: user [priv]
sshd: user@pts/6
rbash --rcfile/etc/rbashrc --noprofile --restricted
/bin/bash/compass/compass_start
/sbin/mingetty --nocleartty1
/sbin/mingetty tty2
/compass/ecmain -model8
/sbin/syslogd -r -f/data/etc/syslog.conf -a /var/lib/named/dev/log
/sbin/klogd -c1 -x
/usr/sbin/internal_sshd -f /etc/ssh/internal_sshd_config -o PidFile=/var/run/internal_sshd.pid
/usr/bin/ssh -N -p 21 -i /home/root/.ssh/id_internal -o StrictHostKeyChecking=no -6 -R[::]:80:[::1]:8080 -R[::]:443:[::1]:8443 root@::1
internal_sshd: root
sleep 60
/usr/sbin/mcelog --pidfile /var/run/mcelog.pid --logfile/var/log/mcelog --config-file /etc/mcelog/mcelog.conf --daemon
/bin/bash/compass/endd_script -x
/compass/modules/endd -w
/compass/plfsmain/mnt/plfs -o allow_other -d -c /var/run/plfs.pid
/bin/bash/data/tomcat_config_service
/compass/slv_dpadmpd
/bin/sh -x /compass/cimom/bin/cimMemoryMonitor
/usr/sbin/slpd -c /data/etc/slp.conf -r /etc/slp.reg -l /var/log/slpd.log
cimserver
sshd: admin [priv]
sshd: admin@pts/0
rbash --rcfile /etc/rbashrc --noprofile --restricted
rbash --rcfile /etc/rbashrc --noprofile --restricted

интерфейс пользователя работает на сервере приложений tomcat, данные похоже все лежат в /data

вот интересная штука
/usr/sbin/internal_sshd -f /etc/ssh/internal_sshd_config -o PidFile=/var/run/internal_sshd.pid
похоже это специальный sshd не для пользователей, возможно это он слушает порт 21

а вот внутренняя ssh сессия под рутом
/usr/bin/ssh -N -p 21 -i /home/root/.ssh/id_internal -o StrictHostKeyChecking=no -6 -R[::]:80:[::1]:8080 -R[::]:443:[::1]:8443
судя по параметрам она используется для форвардинга портов 80->loopback:8080, 443->loopack:8443, причем используется только IPv6 адресация
/home/root/.ssh/id_internal – это приватный ключ для соединения
проверка открытого ключа хоста отключена

Зачем это…? сложно сказать, мало информации. А вы как думаете?

Вот такая интересная железка IBM Storwize V7000, учитывая конструкцию штука мега прибыльная для производителя.
Ну что же, посмотрим что дальше будет.

12 Июль 2011

Внутри IBM Storwize V7000. Часть 1

storwizeВот такую железку выпустил IBM
продвигают ее изо всех сил, мне даже интересно стало, что это за зверь.

Недавно выпал шанс поковырять такую железку удалено, выяснилось много интересных подробностей, о чем вам и расскажу. Отдельное спасибо Murzic за помощь.

Пропустим описание интерфейса администратора с блекджеком и ш… красивыми картинками, тем более там можно делать лишь основные операции с default параметрами, а за остальным welcome в командную строку.

Заходим по SSH и видим стандартный rbash, значит перед нами Linux и это уже интересно. Список команд обширен, посмотрим, что мы сможем узнать о системе. Наc интересует внутреннее устройство. Итак:

команда cat не доступна, зато echo доступна!

echo /proc/
Display all 162 possibilities? (y or n)
1/ 22540/ 395/ 7707/ kpageflags
10/ 22977/ 396/ 8/ loadavg
11/ 23554/ 397/ 8430/ locks
12/ 23562/ 398/ 8432/ meminfo
13/ 23563/ 4/ 8433/ misc
14/ 24/ 4034/ 9/ modules
14798/ 24598/ 437/ acpi/ mounts
15/ 24606/ 438/ buddyinfo mpt/
15166/ 24607/ 439/ bus/ mtrr
15210/ 24942/ 440/ cmdline net/
15211/ 28068/ 441/ config.gz pagetypeinfo
16/ 28069/ 442/ cpuinfo partitions
17/ 28070/ 443/ crypto pl_endeavour
17828/ 2910/ 445/ devices pl_watchdog
17855/ 29275/ 446/ diskstats reserve_info
17856/ 29310/ 447/ distro_id self/
18/ 29313/ 448/ dma slabinfo
1838/ 29344/ 5/ driver/ softirqs
1865/ 29347/ 5963/ execdomains stat
19/ 29351/ 5965/ fb swaps
191/ 2942/ 6/ filesystems sys/
193/ 2943/ 6025/ fs/ sysrq-trigger
195/ 2944/ 630/ interrupts sysvipc/

ОК. Поехали.

echo $(</proc/version)

Linux version 2.6.32.12-156 (geeko@buildhost) (gcc version 4.3.4 [gcc-4_3-branch revision 152973] (GCC) ) #1 SMP PREEMPT Tue May 17 17:59:54 UTC 2011

ядро Linux ветки 2.6, довольно таки недавно собранное, видимо прошивка совсем свежая.

echo $(</proc/cpuinfo)

vendor_id : GenuineIntel
cpu family : 6
model : 30 model
name : Intel Xeon CPU C3539 @ 2.13GHz
stepping : 4 cpu
MHz : 2128.000
cache size : 8192 KB
physical id : 0
siblings : 4
core id : 0
cpu cores : 4
apicid : 0
initial apicid : 0
fpu : yes
fpu_exception : yes
cpuid level : 11
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts rep_good xtopology nonstop_tsc aperfmperf pni dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm dca sse4_1 sse4_2 popcnt lahf_lm tpr_shadow vnmi flexpriority ept vpid
bogomips : 4255.62
clflush size : 64
cache_alignment : 64
address sizes : 40 bits physical, 48 bits virtual

в системе стоит 1 процессор Xeon 3539, 4 ядра 2.13GHz

echo $(</proc/bus/pci/devices)

0000 80863704 ff 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0018 80863721 18 fbf0000c 0 0 0 0 0 0 10000 0 0 0 0 0 0 pcieport 0040 80863728 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0041 80863729 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0042 8086372a 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0043 8086372b 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0048 8086372c 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0050 80863718 5 fba1c004 0 0 0 0 0 0 4000 0 0 0 0 0 0 0051 80863719 7 fba18004 0 0 0 0 0 0 4000 0 0 0 0 0 0 0052 80863712 5 fba14004 0 0 0 0 0 0 4000 0 0 0 0 0 0 0053 80863713 5 fba10004 0 0 0 0 0 0 4000 0 0 0 0 0 0 0054 80863714 5 fba0c004 0 0 0 0 0 0 4000 0 0 0 0 0 0 0055 80863715 7 fba08004 0 0 0 0 0 0 4000 0 0 0 0 0 0 0056 80863716 5 fba04004 0 0 0 0 0 0 4000 0 0 0 0 0 0 0057 80863717 5 fba00004 0 0 0 0 0 0 4000 0 0 0 0 0 0 0080 8086371a 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0081 8086371b 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0088 8086371d 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00d0 80863b3c 10 fba22000 0 0 0 0 0 0 400 0 0 0 0 0 0 ehci_hcd 00e0 80863b42 19 0 0 0 0 0 0 0 0 0 0 0 0 0 0 pcieport 00e4 80863b4a 1a 0 0 0 0 0 0 0 0 0 0 0 0 0 0 pcieport 00e5 80863b4c 1b 0 0 0 0 0 0 0 0 0 0 0 0 0 0 pcieport 00e8 80863b34 17 fba21000 0 0 0 0 0 0 400 0 0 0 0 0 0 ehci_hcd 00f0 8086244e 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00f8 80863b14 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00fa 80863b20 13 1f0 3f6 170 376 6031 6021 0 8 0 8 0 10 10 0 ata_piix 00fb 80863b30 5 fba20004 0 0 0 6001 0 0 100 0 0 0 20 0 0 0400 10b58648 1c fb700000 0 0 0 0 0 0 20000 0 0 0 0 0 0 pcieport 0508 10b58648 1d 0 0 0 0 0 0 0 0 0 0 0 0 0 0 pcieport 0520 10b58648 1e 0 0 0 0 0 0 0 0 0 0 0 0 0 0 pcieport 0528 10b58648 1f 0 0 0 0 0 0 0 0 0 0 0 0 0 0 pcieport 0600 11f88032 7 0 0 5701 5601 fb518004 0 0 0 0 100 100 8000 0 0 0601 11f88032 5 0 0 5501 5401 fb510004 0 0 0 0 100 100 8000 0 0 0602 11f88032 5 0 0 5301 5201 fb508004 0 0 0 0 100 100 8000 0 0 0603 11f88032 5 0 0 5101 5001 fb500004 0 0 0 0 100 100 8000 0 0 0700 11f88001 5 fb430004 0 fb420004 0 fb410000 fb400000 0 10000 0 10000 0 10000 10000 0 0200 808610d3 10 fb900000 0 4001 fb920000 0 0 0 20000 0 20 4000 0 0 0 e1000e 0300 808610d3 10 fb800000 0 3001 fb820000 0 0 0 20000 0 20 4000 0 0 0 e1000e 0108 1a032000 ff fa800000 fb000000 2001 0 0 0 2 800000 20000 80 0 0 0 0 0500 10b58648 5 fb600000 0 fb100000 fb200000 100000000c 0 0 20000 0 100000 100000 1000000000 0 0

ну тут надо скриптом разгрести и по базе найти…
и получаем список устройств

80863704 Intel Xeon C5500/C3500 DMI
80863721 Intel Xeon C5500/C3500 PCI Express Root Port 1
80863728 Intel Xeon C5500/C3500 Core
80863729 Intel Xeon C5500/C3500 Core
8086372a Intel Xeon C5500/C3500 Core
8086372b Intel Xeon C5500/C3500 Core
8086372c Intel Xeon C5500/C3500 Reserved
80863718 Intel Xeon C5500/C3500 CB3 DMA
80863719 Intel Xeon C5500/C3500 CB3 DMA
80863712 Intel Xeon C5500/C3500 CB3 DMA
80863713 Intel Xeon C5500/C3500 CB3 DMA
80863714 Intel Xeon C5500/C3500 CB3 DMA
80863715 Intel Xeon C5500/C3500 CB3 DMA
80863716 Intel Xeon C5500/C3500 CB3 DMA
80863717 Intel Xeon C5500/C3500 CB3 DMA
8086371a Intel Xeon C5500/C3500 QPI Link
8086371b Intel Xeon C5500/C3500 QPI Routing and Protocol
8086371d Intel Xeon C5500/C3500 QPI Routing and Protocol
80863b3c Intel 5 Series/3400 Series Chipset USB2 Enhanced Host Controller
80863b42 Intel 5 Series/3400 Series Chipset PCI Express Root Port 1
80863b4a Intel 5 Series/3400 Series Chipset PCI Express Root Port 5
80863b4c Intel 5 Series/3400 Series Chipset PCI Express Root Port 6
80863b34 Intel 5 Series/3400 Series Chipset USB2 Enhanced Host Controller
8086244e Intel 82801 PCI Bridge
80863b14 Intel 3400 Series Chipset LPC Interface Controller
80863b20 Intel 5 Series/3400 Series Chipset 4 port SATA IDE Controller
80863b30 Intel 5 Series/3400 Series Chipset SMBus Controller
10b58648 PLX Technology, Inc. PEX 8648 48-lane, 12-Port PCI Express Gen 2 (5.0 GT/s) Switch
10b58648 PLX Technology, Inc. PEX 8648 48-lane, 12-Port PCI Express Gen 2 (5.0 GT/s) Switch
10b58648 PLX Technology, Inc. PEX 8648 48-lane, 12-Port PCI Express Gen 2 (5.0 GT/s) Switch
10b58648 PLX Technology, Inc. PEX 8648 48-lane, 12-Port PCI Express Gen 2 (5.0 GT/s) Switch
11f88032 PMC-Sierra Inc. PM8032 Tachyon QE8 Quad-Channel 8 Gbps Fibre Channel Controller
11f88032 PMC-Sierra Inc. PM8032 Tachyon QE8 Quad-Channel 8 Gbps Fibre Channel Controller
11f88032 PMC-Sierra Inc. PM8032 Tachyon QE8 Quad-Channel 8 Gbps Fibre Channel Controller
11f88032 PMC-Sierra Inc. PM8032 Tachyon QE8 Quad-Channel 8 Gbps Fibre Channel Controller
11f88001 PMC-Sierra Inc. PM8001 Tachyon SPC 8x6G 8-Port SAS/SATA Protocol Controller
808610d3 Intel 82574L Gigabit Network Connection
808610d3 Intel 82574L Gigabit Network Connection
1a032000 ASPEED Technology, Inc. ASPEED Graphics AST2000
10b58648 PLX Technology, Inc. PEX 8648 48-lane, 12-Port PCI Express Gen 2 (5.0 GT/s) Switch

вот самое интересное 1a032000 ASPEED Technology, Inc. ASPEED Graphics AST2000 – это Remote Management processor with 2D Video Graphic

  • 2D Video Graphic Adapter with PCI bus interface
  • Video Over IP
  • USB Over IP
  • т.е. есть управляющий модуль, но он пока не задействован (или вообще не будет задействован?).

    непосредственно storage начинка основана на чипах производства PLX Technology, Inc.

      PM8032 Tachyon QE8 Quad-Channel 8 Gbps Fibre Channel Controller – это внешние FC порты
      PM8001 Tachyon SPC 8×6G 8-Port SAS/SATA Protocol Controller – это внутренний интерфейс к дискам, для поддержки 12 или 24 дисков, он должен дополняться экспандером, например PM8004 которые скорее всего и стоит в 24 дисковой модели, в 12 дисковой скорее всего стоит что-то другое (возможно 6 экспандеров 1х2 или типа того).
      Для SATA дисков у которых как известно только 1 порт, применяются мультиплексоры (скорее всего PM8305).

    Вот как выглядит вся связка
    storwize
    Внутрь к сожалению заглянуть не могу, нету такой железки в физическом доступе.

    RAID естественно программный, что по современным меркам правильно.

    продолжение следует…

    10 Июль 2011

    Дружим FibreChannel SAN switches Brocade и QLogic

    unsupportedПришлось столкнуться с некоторыми проблемами при попытке соединить SAN свичи Brocade и QLogic по E-Port.

    Вот есть к примеру пара Brocade 300 (IBM 2498) и пара стареньких Qlogic в IBM BladeCenter. Надо их объединить попарно.

    Brocade не поддерживает interop mode 1 с версии 6.6, у нас 6.3 должно работать.

    Нулевая попытка
    Brocade 1 (прошивка 6.3.0d, Domain ID 103) в режиме native, Qlogic 1 (прошивка 5.5.2.6, Domain ID 101) в режиме interop mode 1 – устройства соединились и … Brocade повис.

    нашел совет:
    Connecting a QLogic switch via a GL port to a Brocade switch will cause the Brocade switch
    to become inoperable. To work around this issue, change the QLogic port to a G port. The
    Brocade switch demonstrates this issue with non-QLogic switches.

    OK. Меняем.

    Первая попытка
    Brocade 1 (прошивка 6.3.0d, Domain ID 103) в режиме native, Qlogic 1 (прошивка 5.5.2.6, Domain ID 101) в режиме interop mode 1 – устройства соединились и увидели друг-друга, но при попытке создать зону получаем ошибку “Time out” при обращении к Brocade со стороны QLogic.

    Вторая попытка (другая пара коммутаторов)
    Brocade 2 (прошивка 6.3.0b, Domain ID 104) в режиме native, Qlogic 2 (прошивка 5.1.10.0, , Domain ID 102) в режиме interop mode 1 – устройства соединились и нормально заработали, зоны также создаются нормально. ОК, теперь надо повторить успех на первой паре.

    Прошивка 6.3.0d как оказалось недоступна и получить ее у производителя нельзя, версию 5.х прошивать по утверждению производителя тоже нельзя. ОК пробуем downgrade QLogic 1.

    Третья попытка
    Brocade 1 (прошивка 6.3.0d, Domain ID 103) в режиме native, Qlogic 1 (прошивка 5.1.10.0, Domain ID 101) в режиме interop mode 1 – устройства соединились, но со стороны Brocade, коммутатор QLogic видится как Unresolved и соответственно QLogic не видит устройств Brocade.

    На всякий случай сбрасываем все настройки в заводские, результат тот же.

    Четвертая попытка
    Brocade 1 (прошивка 6.3.0d, Domain ID 103) в режиме interop mode 3 (McDATA Open Fabric, Domain ID 101), Qlogic 1 (прошивка 5.1.10.0) в режиме Standart – устройства соединились и результат аналогичен третьей попытке.

    Пятая попытка
    Brocade 1 (прошивка 6.3.0d, Domain ID 103) в режиме interop mode 2 (McDATA Fabric), Qlogic 1 (прошивка 5.1.10.0, Domain ID 101) в режиме Standart – устройства соединились и результат аналогичен третьей попытке.

    …танцы с бубном…
    …саппорт производителя не помог…
    …время идет…

    Вычитал на одном из форумов, что есть некое шаманство с Domain ID и не всякая комбинация в пределах разрешенных диапазонов может работать.

    N попытка
    Сброс настроек.
    Brocade 1 (прошивка 6.3.0d, Domain ID 99) в режиме interop mode 3 (McDATA Open Fabric), Qlogic 1 (прошивка 5.1.10.0, Domain ID 97) в режиме Standart – устройства соединились и заработали. Bingo!

    It’s a magic combination.

    18 Апрель 2011

    Балансировка нагрузки сети в VMware ESX

    VMwareLogoКак известно VMware ESX (ESXi) позволяет балансировать нагрузку между несколькими сетевыми соединениями. Для этого достаточно добавить в vSwitch несколько физических сетевых адаптеров и установить им статус Active. Но сразу предупреждаю, никакое сетевое соединение не может использовать пропускную способность более чем пропускная способность одного канала участвующего в балансировке. Другими словами, если мы объединяем к примеру 4 канала по 1Gb/s то 1 TCP соединение между парой IP адресов может использовать пропускную способность до 1Gb/s, но 4 TCP соединения между разными парами IP адресов могут использовать пропускную способность вплоть до 4Gb/s на всех, но не более 1Gb/s каждое.

    Для того чтобы балансировка работала коммутатор должен поддерживать режим объединения каналов STATIC LACP (или etherchannel в терминах Cisco). На коммутаторе, как и в настройках vSwitch должен быть включен режим IP Hash Load Balancing.

    Как же понять в какой порт пойдет трафик?

    Адаптер вычисляется по следующей формуле:

    Значение младшего байта IP адреса 1 XOR Значение младшего байта IP адреса 2 MOD количество сетевых адаптеров = номер адаптера (0,1,2…)

    пример 1 хранилище с 2мя сетевыми картами, 2 hosts:

    NFS хранилище – IP 192.168.0.1
    Host 1 – IP 192.168.0.2
    Host 2 – IP 192.168.0.3

    трафик пары 192.168.0.1 – 192.168.0.2 по каналу 1 XOR 2 MOD 2 = 1
    трафик пары 192.168.0.1 – 192.168.0.3 по каналу 1 XOR 2 MOD 2 = 0

    Например мы хотим задействовать 4 гигабитных канала для работы с NFS сервером, и при этом у нас 1 VMware Host. Для этого нам нужно подключить одно и то же NFS datastore 4 раза, через разные IP адреса VMware kernel, тогда трафик каждой пары адресов, будет идти по своему каналу.

    Эти расчеты особенно полезны при использовании NFS storage и правильный выбор адресов позволяет увеличить использование пропускной способности каналов до хранилища.

    Ну и напоследок стоит сказать что 10G Ethernet в данном случае конечно лучше :)

    Если вдруг перестал работать Filer At-A-Glance

    Симптомы:
    При попытке запустить Filer At-A-Glance на файлере NetApp (IBM N-Series) выплывает ошибка Java Error. Click for details.
    в details примерно следующее

    load: class com/netapp/meter/AtAGlance.class not found.
    java.lang.ClassNotFoundException: com.netapp.meter.AtAGlance.class
    

    Для того чтобы починить требуется запретить Java использовать TLS 1.0

    Идем Control Panel -> Java-> Advanced Settings Tab -> Security List
    убираем птичку с TLS1.0
    перезапускаем браузер.

    если не помогло, лезем в настройки браузера:
    для IE: Tools –> Internet Options –> Advanced и в Security убираем птичку с “Use TLS 1.0″
    для Firefox: Tools –> Options –> Advanced –> Encryption и убираем птичку с “Use TLS 1.0″

    Должно работать.

    Blogroll

      about NetApp Блог о технологиях NetApp
      IT-community Сообщество специалистов по технологиям Microsoft
      Linux-HA Бюджетный высокодоступный кластер на Linux
      NetApp Производитель лучших по моему мнению СХД
      Opennet Тусовка фанатов Open-Source
      VMware The best виртуализация (проверено)

    Meta