Внутри IBM Storwize V7000. Часть 1

storwizeВот такую железку выпустил IBM
продвигают ее изо всех сил, мне даже интересно стало, что это за зверь.

Недавно выпал шанс поковырять такую железку удалено, выяснилось много интересных подробностей, о чем вам и расскажу. Отдельное спасибо Murzic за помощь.

Пропустим описание интерфейса администратора с блекджеком и ш… красивыми картинками, тем более там можно делать лишь основные операции с default параметрами, а за остальным welcome в командную строку.

Заходим по SSH и видим стандартный rbash, значит перед нами Linux и это уже интересно. Список команд обширен, посмотрим, что мы сможем узнать о системе. Наc интересует внутреннее устройство. Итак:

команда cat не доступна, зато echo доступна!

echo /proc/
Display all 162 possibilities? (y or n)
1/ 22540/ 395/ 7707/ kpageflags
10/ 22977/ 396/ 8/ loadavg
11/ 23554/ 397/ 8430/ locks
12/ 23562/ 398/ 8432/ meminfo
13/ 23563/ 4/ 8433/ misc
14/ 24/ 4034/ 9/ modules
14798/ 24598/ 437/ acpi/ mounts
15/ 24606/ 438/ buddyinfo mpt/
15166/ 24607/ 439/ bus/ mtrr
15210/ 24942/ 440/ cmdline net/
15211/ 28068/ 441/ config.gz pagetypeinfo
16/ 28069/ 442/ cpuinfo partitions
17/ 28070/ 443/ crypto pl_endeavour
17828/ 2910/ 445/ devices pl_watchdog
17855/ 29275/ 446/ diskstats reserve_info
17856/ 29310/ 447/ distro_id self/
18/ 29313/ 448/ dma slabinfo
1838/ 29344/ 5/ driver/ softirqs
1865/ 29347/ 5963/ execdomains stat
19/ 29351/ 5965/ fb swaps
191/ 2942/ 6/ filesystems sys/
193/ 2943/ 6025/ fs/ sysrq-trigger
195/ 2944/ 630/ interrupts sysvipc/

ОК. Поехали.

echo $(</proc/version)

Linux version 2.6.32.12-156 (geeko@buildhost) (gcc version 4.3.4 [gcc-4_3-branch revision 152973] (GCC) ) #1 SMP PREEMPT Tue May 17 17:59:54 UTC 2011

ядро Linux ветки 2.6, довольно таки недавно собранное, видимо прошивка совсем свежая.

echo $(</proc/cpuinfo)

vendor_id : GenuineIntel
cpu family : 6
model : 30 model
name : Intel Xeon CPU C3539 @ 2.13GHz
stepping : 4 cpu
MHz : 2128.000
cache size : 8192 KB
physical id : 0
siblings : 4
core id : 0
cpu cores : 4
apicid : 0
initial apicid : 0
fpu : yes
fpu_exception : yes
cpuid level : 11
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx rdtscp lm constant_tsc arch_perfmon pebs bts rep_good xtopology nonstop_tsc aperfmperf pni dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm dca sse4_1 sse4_2 popcnt lahf_lm tpr_shadow vnmi flexpriority ept vpid
bogomips : 4255.62
clflush size : 64
cache_alignment : 64
address sizes : 40 bits physical, 48 bits virtual

в системе стоит 1 процессор Xeon 3539, 4 ядра 2.13GHz

echo $(</proc/bus/pci/devices)

0000 80863704 ff 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0018 80863721 18 fbf0000c 0 0 0 0 0 0 10000 0 0 0 0 0 0 pcieport 0040 80863728 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0041 80863729 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0042 8086372a 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0043 8086372b 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0048 8086372c 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0050 80863718 5 fba1c004 0 0 0 0 0 0 4000 0 0 0 0 0 0 0051 80863719 7 fba18004 0 0 0 0 0 0 4000 0 0 0 0 0 0 0052 80863712 5 fba14004 0 0 0 0 0 0 4000 0 0 0 0 0 0 0053 80863713 5 fba10004 0 0 0 0 0 0 4000 0 0 0 0 0 0 0054 80863714 5 fba0c004 0 0 0 0 0 0 4000 0 0 0 0 0 0 0055 80863715 7 fba08004 0 0 0 0 0 0 4000 0 0 0 0 0 0 0056 80863716 5 fba04004 0 0 0 0 0 0 4000 0 0 0 0 0 0 0057 80863717 5 fba00004 0 0 0 0 0 0 4000 0 0 0 0 0 0 0080 8086371a 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0081 8086371b 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0088 8086371d 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00d0 80863b3c 10 fba22000 0 0 0 0 0 0 400 0 0 0 0 0 0 ehci_hcd 00e0 80863b42 19 0 0 0 0 0 0 0 0 0 0 0 0 0 0 pcieport 00e4 80863b4a 1a 0 0 0 0 0 0 0 0 0 0 0 0 0 0 pcieport 00e5 80863b4c 1b 0 0 0 0 0 0 0 0 0 0 0 0 0 0 pcieport 00e8 80863b34 17 fba21000 0 0 0 0 0 0 400 0 0 0 0 0 0 ehci_hcd 00f0 8086244e 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00f8 80863b14 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00fa 80863b20 13 1f0 3f6 170 376 6031 6021 0 8 0 8 0 10 10 0 ata_piix 00fb 80863b30 5 fba20004 0 0 0 6001 0 0 100 0 0 0 20 0 0 0400 10b58648 1c fb700000 0 0 0 0 0 0 20000 0 0 0 0 0 0 pcieport 0508 10b58648 1d 0 0 0 0 0 0 0 0 0 0 0 0 0 0 pcieport 0520 10b58648 1e 0 0 0 0 0 0 0 0 0 0 0 0 0 0 pcieport 0528 10b58648 1f 0 0 0 0 0 0 0 0 0 0 0 0 0 0 pcieport 0600 11f88032 7 0 0 5701 5601 fb518004 0 0 0 0 100 100 8000 0 0 0601 11f88032 5 0 0 5501 5401 fb510004 0 0 0 0 100 100 8000 0 0 0602 11f88032 5 0 0 5301 5201 fb508004 0 0 0 0 100 100 8000 0 0 0603 11f88032 5 0 0 5101 5001 fb500004 0 0 0 0 100 100 8000 0 0 0700 11f88001 5 fb430004 0 fb420004 0 fb410000 fb400000 0 10000 0 10000 0 10000 10000 0 0200 808610d3 10 fb900000 0 4001 fb920000 0 0 0 20000 0 20 4000 0 0 0 e1000e 0300 808610d3 10 fb800000 0 3001 fb820000 0 0 0 20000 0 20 4000 0 0 0 e1000e 0108 1a032000 ff fa800000 fb000000 2001 0 0 0 2 800000 20000 80 0 0 0 0 0500 10b58648 5 fb600000 0 fb100000 fb200000 100000000c 0 0 20000 0 100000 100000 1000000000 0 0

ну тут надо скриптом разгрести и по базе найти…
и получаем список устройств

80863704 Intel Xeon C5500/C3500 DMI
80863721 Intel Xeon C5500/C3500 PCI Express Root Port 1
80863728 Intel Xeon C5500/C3500 Core
80863729 Intel Xeon C5500/C3500 Core
8086372a Intel Xeon C5500/C3500 Core
8086372b Intel Xeon C5500/C3500 Core
8086372c Intel Xeon C5500/C3500 Reserved
80863718 Intel Xeon C5500/C3500 CB3 DMA
80863719 Intel Xeon C5500/C3500 CB3 DMA
80863712 Intel Xeon C5500/C3500 CB3 DMA
80863713 Intel Xeon C5500/C3500 CB3 DMA
80863714 Intel Xeon C5500/C3500 CB3 DMA
80863715 Intel Xeon C5500/C3500 CB3 DMA
80863716 Intel Xeon C5500/C3500 CB3 DMA
80863717 Intel Xeon C5500/C3500 CB3 DMA
8086371a Intel Xeon C5500/C3500 QPI Link
8086371b Intel Xeon C5500/C3500 QPI Routing and Protocol
8086371d Intel Xeon C5500/C3500 QPI Routing and Protocol
80863b3c Intel 5 Series/3400 Series Chipset USB2 Enhanced Host Controller
80863b42 Intel 5 Series/3400 Series Chipset PCI Express Root Port 1
80863b4a Intel 5 Series/3400 Series Chipset PCI Express Root Port 5
80863b4c Intel 5 Series/3400 Series Chipset PCI Express Root Port 6
80863b34 Intel 5 Series/3400 Series Chipset USB2 Enhanced Host Controller
8086244e Intel 82801 PCI Bridge
80863b14 Intel 3400 Series Chipset LPC Interface Controller
80863b20 Intel 5 Series/3400 Series Chipset 4 port SATA IDE Controller
80863b30 Intel 5 Series/3400 Series Chipset SMBus Controller
10b58648 PLX Technology, Inc. PEX 8648 48-lane, 12-Port PCI Express Gen 2 (5.0 GT/s) Switch
10b58648 PLX Technology, Inc. PEX 8648 48-lane, 12-Port PCI Express Gen 2 (5.0 GT/s) Switch
10b58648 PLX Technology, Inc. PEX 8648 48-lane, 12-Port PCI Express Gen 2 (5.0 GT/s) Switch
10b58648 PLX Technology, Inc. PEX 8648 48-lane, 12-Port PCI Express Gen 2 (5.0 GT/s) Switch
11f88032 PMC-Sierra Inc. PM8032 Tachyon QE8 Quad-Channel 8 Gbps Fibre Channel Controller
11f88032 PMC-Sierra Inc. PM8032 Tachyon QE8 Quad-Channel 8 Gbps Fibre Channel Controller
11f88032 PMC-Sierra Inc. PM8032 Tachyon QE8 Quad-Channel 8 Gbps Fibre Channel Controller
11f88032 PMC-Sierra Inc. PM8032 Tachyon QE8 Quad-Channel 8 Gbps Fibre Channel Controller
11f88001 PMC-Sierra Inc. PM8001 Tachyon SPC 8x6G 8-Port SAS/SATA Protocol Controller
808610d3 Intel 82574L Gigabit Network Connection
808610d3 Intel 82574L Gigabit Network Connection
1a032000 ASPEED Technology, Inc. ASPEED Graphics AST2000
10b58648 PLX Technology, Inc. PEX 8648 48-lane, 12-Port PCI Express Gen 2 (5.0 GT/s) Switch

вот самое интересное 1a032000 ASPEED Technology, Inc. ASPEED Graphics AST2000 – это Remote Management processor with 2D Video Graphic

  • 2D Video Graphic Adapter with PCI bus interface
  • Video Over IP
  • USB Over IP
  • т.е. есть управляющий модуль, но он пока не задействован (или вообще не будет задействован?).

    непосредственно storage начинка основана на чипах производства PLX Technology, Inc.

      PM8032 Tachyon QE8 Quad-Channel 8 Gbps Fibre Channel Controller – это внешние FC порты
      PM8001 Tachyon SPC 8×6G 8-Port SAS/SATA Protocol Controller – это внутренний интерфейс к дискам, для поддержки 12 или 24 дисков, он должен дополняться экспандером, например PM8004 которые скорее всего и стоит в 24 дисковой модели, в 12 дисковой скорее всего стоит что-то другое (возможно 6 экспандеров 1х2 или типа того).
      Для SATA дисков у которых как известно только 1 порт, применяются мультиплексоры (скорее всего PM8305).

    Вот как выглядит вся связка
    storwize
    Внутрь к сожалению заглянуть не могу, нету такой железки в физическом доступе.

    RAID естественно программный, что по современным меркам правильно.

    продолжение следует…

    Трекбек

    Ссылка для трекбека:
    http://it-consultant.su/vnutri-ibm-storwize-v7000-chast-1/trackback/

    Комментарии

    Добрый день! Я пошел по вашему пути исследования моделей IBM Сторвайз и хотел бы Вас попросить сделать парсинг /proc/pci/device для V3700, так как у вас уже есть готовый скрипт.

    Я попросил ребят с форума http://forum.ixbt.com/topic.cgi?id=66:9896-8#240 прислать выводы /proc/pci/device для различных моделей сторвайза. Пока прислали от V3700.

    Заранее спасибо!

    IBM_Storwize:Storwize V3700:alexpb>echo $(

    Post a comment