RS815RP+ ISCSI & XenServer - отваливаются диски виртуалок

[slalomjohn]

Собственно ситуация.

Есть RS815RP+ с 4-мя HDD WD4002FFWX

Выделен LUN подключения ISCSI для XenServer 6.5SP1, включен MultiPath

На LUN размещены виртуалки.

Возникает проблема - отваливается LUN (у XenServer в консоли при этом рисует ошибку MultiPath), после чего на виртуалках проваливаются дисковые системы (на *nix уходят в RO, на win и *nix начинаются резкие тормоза и ошибки в работе служб и программ). Вот кусок лога с Ubuntu виртуалки:

 

Nov 18 17:09:54 ubuntu002 kernel: [172235.606937] blk_update_request: I/O error, dev xvdb, sector 444673064
Nov 18 17:09:54 ubuntu002 kernel: [172235.607002] Buffer I/O error on dev xvdb1, logical block 55583877, lost async page write
Nov 18 17:09:54 ubuntu002 kernel: [172235.607047] blk_update_request: I/O error, dev xvdb, sector 444673088
Nov 18 17:09:54 ubuntu002 kernel: [172235.607056] blk_update_request: I/O error, dev xvda, sector 10246144
Nov 18 17:09:54 ubuntu002 kernel: [172235.607063] blk_update_request: I/O error, dev xvda, sector 10246232
Nov 18 17:09:54 ubuntu002 kernel: [172235.607066] blk_update_request: I/O error, dev xvda, sector 10246320
Nov 18 17:09:54 ubuntu002 kernel: [172235.607070] blk_update_request: I/O error, dev xvda, sector 10246408
Nov 18 17:09:54 ubuntu002 kernel: [172235.607073] blk_update_request: I/O error, dev xvda, sector 10246496
Nov 18 17:09:54 ubuntu002 kernel: [172235.607077] blk_update_request: I/O error, dev xvda, sector 10246584
Nov 18 17:09:54 ubuntu002 kernel: [172235.607080] blk_update_request: I/O error, dev xvda, sector 10246672
Nov 18 17:09:54 ubuntu002 kernel: [172235.607083] blk_update_request: I/O error, dev xvda, sector 10246760
Nov 18 17:09:54 ubuntu002 kernel: [172235.607182] Buffer I/O error on dev dm-0, logical block 1611142, lost async page write
Nov 18 17:09:54 ubuntu002 kernel: [172235.607189] Buffer I/O error on dev dm-0, logical block 1049314, lost async page write
Nov 18 17:09:54 ubuntu002 kernel: [172235.607197] Buffer I/O error on dev dm-0, logical block 1049304, lost async page write
Nov 18 17:09:54 ubuntu002 kernel: [172235.607207] Buffer I/O error on dev dm-0, logical block 2097612, lost async page write
Nov 18 17:09:54 ubuntu002 kernel: [172235.607210] Buffer I/O error on dev dm-0, logical block 1573374, lost async page write
Nov 18 17:09:54 ubuntu002 kernel: [172235.607214] Buffer I/O error on dev dm-0, logical block 1037, lost async page write
Nov 18 17:09:54 ubuntu002 kernel: [172235.607218] Buffer I/O error on dev dm-0, logical block 1, lost async page write
Nov 18 17:09:54 ubuntu002 kernel: [172235.607224] EXT4-fs warning (device dm-0): ext4_end_bio:330: I/O error -5 writing to inode 529787 (offset 0 size 0 starting block 1400893)
Nov 18 17:09:54 ubuntu002 kernel: [172235.607226] Buffer I/O error on device dm-0, logical block 1400893
Nov 18 17:09:54 ubuntu002 kernel: [172235.607230] Buffer I/O error on device dm-0, logical block 1400894
Nov 18 17:09:54 ubuntu002 kernel: [172235.607231] Buffer I/O error on device dm-0, logical block 1400895
Nov 18 17:09:54 ubuntu002 kernel: [172235.607862] Buffer I/O error on dev xvdb1, logical block 55583880, lost async page write
Nov 18 17:09:54 ubuntu002 kernel: [172235.607925] Buffer I/O error on dev xvdb1, logical block 55583884, lost async page write
Nov 18 17:09:54 ubuntu002 kernel: [172235.608002] EXT4-fs warning (device xvdb1): ext4_end_bio:330: I/O error -5 writing to inode 13902435 (offset 0 size 4096 starting block 55683975)
Nov 18 17:09:54 ubuntu002 kernel: [172235.608005] Buffer I/O error on device xvdb1, logical block 55683718
Nov 18 17:09:54 ubuntu002 kernel: [172235.608055] EXT4-fs warning (device xvdb1): ext4_end_bio:330: I/O error -5 writing to inode 13902434 (offset 0 size 4096 starting block 55683977)
Nov 18 17:09:54 ubuntu002 kernel: [172235.608057] Buffer I/O error on device xvdb1, logical block 55683720
Nov 18 17:09:54 ubuntu002 kernel: [172235.608105] EXT4-fs warning (device xvdb1): ext4_end_bio:330: I/O error -5 writing to inode 13902436 (offset 0 size 4096 starting block 55683978)
Nov 18 17:09:54 ubuntu002 kernel: [172235.608107] Buffer I/O error on device xvdb1, logical block 55683721
Nov 18 17:09:54 ubuntu002 kernel: [172235.608154] EXT4-fs warning (device xvdb1): ext4_end_bio:330: I/O error -5 writing to inode 13902437 (offset 0 size 4096 starting block 55683979)
Nov 18 17:09:54 ubuntu002 kernel: [172235.608156] Buffer I/O error on device xvdb1, logical block 55683722
Nov 18 17:09:54 ubuntu002 kernel: [172235.608204] EXT4-fs warning (device xvdb1): ext4_end_bio:330: I/O error -5 writing to inode 13902438 (offset 0 size 4096 starting block 55683980)
Nov 18 17:09:54 ubuntu002 kernel: [172235.608206] Buffer I/O error on device xvdb1, logical block 55683723

 

После таких (или подобных) ошибок все виртуалки становятся "раком" и нормально уже не работают.

Помогает только их перезагрузка (иногда с последующей проверкой дисков в автоматическом или ручном режиме).

Поломал всю голову - откуда может рисоваться проблема...

Если кто сталкивался с подобным поведением - прошу комментарии и советы.

[Dagudagr]

Логи с виртуалки тут не помогут, нужны с Xen. Как настроен Multipath и зачем? Какая нагрузка на NAS и ISCSI, в частности? Какая версия DSM? Как сервер подключен к NAS? Чтоб разобраться, нужно много информации. Ну и поговаривают, что ISCSI у Synology не самый надежный.

[TheMightyOne]

В техподдержку нашу писали? Там самые разные причины могут быть.