Dotaz: Open-iscsi + Ubuntu server. Ztráta konektivity způsobí okamžitý restart serveru.

[OgeeN]

Ahoj,

na Ubuntu server 12.04 jsem zprovoznil přístup na sdílené úložiště (HP P2000 G3 iscsi) pomocí open-iscsi, multipath a ocfs2. Vše funguje pěkně až do chvíle, kdy dojde ke ztrátě síťové konektivity k diskovému poli. I krátkodobý výpadek konektivity v řádu jednotek vteřin způsobí, že se server (HP ProLiant SL390s G7) okamžitě restartuje. V syslogu jsem nenašel žádnou stopu, která by naznačovala v čem je problém.

Konfigurace:

iscsid.conf:

node.conn[0].startup = automatic
node.startup = automatic
node.session.timeo.replacement_timeout = 180
node.conn[0].timeo.login_timeout = 15
node.conn[0].timeo.logout_timeout = 15
node.conn[0].timeo.noop_out_interval = 5
node.conn[0].timeo.noop_out_timeout = 5
node.session.err_timeo.abort_timeout = 15
node.session.err_timeo.lu_reset_timeout = 30
node.session.initial_login_retry_max = 4
node.session.cmds_max = 128
node.session.queue_depth = 32
node.session.xmit_thread_priority = -20
node.session.iscsi.InitialR2T = No
node.session.iscsi.ImmediateData = Yes
node.session.iscsi.FirstBurstLength = 262144
node.session.iscsi.MaxBurstLength = 16776192
node.conn[0].iscsi.MaxRecvDataSegmentLength = 262144
discovery.sendtargets.iscsi.MaxRecvDataSegmentLength = 32768
node.session.iscsi.FastAbort = No

multipath.conf:

defaults {
       udev_dir                /dev
       polling_interval        10
       selector                "round-robin 0"
       path_grouping_policy    multibus
       getuid_callout          "/lib/udev/scsi_id --whitelisted --device=/dev/%n"
       prio                    const
       path_checker            directio
       rr_min_io               100
       flush_on_last_del       no
       max_fds                 8192
       rr_weight               priorities
       failback                immediate
       no_path_retry           fail
       queue_without_daemon    no
       user_friendly_names     no
       mode                    644
       uid                     0
       gid                     disk
}
blacklist {
       wwid 26353900f02796769
       devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
       devnode "^hd[a-z][[0-9]*]"
       devnode "^sda1"
       device {
               vendor DEC.*
               product MSA[15]00
       }
}
multipaths {
        multipath {
                wwid                    3600c0ff000127311ab8dcc4f01000000
        }
        multipath {
                wwid                    3600c0ff0001273712d8dcc4f01000000
        }
        multipath {
                wwid                    3600c0ff000127311cd8dcc4f01000000
        }
}
devices {
       device {
               vendor                  "HP"
               product                 "P2000 G3 FC|P2000 G3 iSCSI"
               path_grouping_policy    group_by_prio
               getuid_callout          "/lib/udev/scsi_id --whitelisted --device=/dev/%n"
               path_checker            tur
               path_selector           "round-robin 0"
               hardware_handler        "0"
               prio                    alua
               failback                immediate
               rr_weight               uniform
               no_path_retry           18
               rr_min_io               100
       }
}

cluster.conf:

node:
        name = node1
        cluster = ocfs2
        number = 0
        ip_address = 192.168.1.11
        ip_port = 7777
node:
        name = node2
        cluster = ocfs2
        number = 1
        ip_address = 192.168.1.12
        ip_port = 7777
cluster:
        name = ocfs2
        node_count = 2

Potřeboval bych poradit jak pokračovat v řešení. Jak získat nějaké logy atp. Díky za pomoc.

Odpovědi

[Ivan]

jo presne takhle to funguje. zda ze, ze s tim za poslednich pet let nic neudelali. Opensource nevydelava penize a proto je ocfs2 vice-mene mrtvej projekt. Jeho nastupce je uz closed source, za penize, a je posteven na AdvFS.

Pokud opravdu chces nejake spolehlive reseni tak se poohlidni po necem jinym.

[OgeeN]

Takže problém je v kombinaci iscsi a ocfs2? Co jiného můžu použít? Výběrem clusterového filesystému jsem strávil dost času a ocfs2 mi vyšlo jako nejlepší řešení.

[iKoulee]

1) taky jsem pouzival ocfs2, je sice mirne rychlejsi, ale GFS2 se ukazalo dlouhodobe stabilnejsi

2) co ja si pamatuju tak cluster.conf bylo xml a mimo jine ta ma byt fekce tykajici se fencingu a tedy toho jak rychle to bude reagovat na nedostupnost

3) odstreleni serveru ktery ztrati spojeni na storage, je dle meho spravny postup

[Ivan]

Popravde nevim. Ono existuje vice iscsi implementaci pro linux, ale ty jsem podrobne nezkousel). Kombinace Fibrechannel + OCFS2 je mnohem stabilnejsi. FC SCSI vrstva si chybama nejak poradi a nepousti je dal do OCFS. Jeste jsem kdysi davno zkousel gpfs 2.1 of IBM. Na linuxu to taky moc nefungovalo. Jediny pouzitelny cluster filesystem pro Linux ma Veritas. (codu a afs jsem nezkousel).

Napriklad takovej NetApp to taky moc neresi a rovnou doporucuje klientum pouzivat NFS. (pokud namaji penize na FC).

[Käyttäjä 11133]

NetApp doporučuje klientům používat NFS i když mají peníze na FC, a ve spoustě případů dokonce i pokud mají existující FC infrastrukturu včetně FCP licence.

[OgeeN]

Tak jsem na konec během dvou hodin rozchodil GFS2. Zatím to vypadá výrazně stabilnější než ocfs2.

[OgeeN]

Ještě mám jeden dotaz. Na ocfs2 i gfs2 zabírají data dvojnásobek toho co zabírali na ufs. Tzn. že z 200GB je najednou cca 400GB. Jedná se o cca 6500000 většinou malých souborů (webové stránky). Velikost bloku je na gfs2 4K.

[OgeeN]

Nikdo neví čím by to mohlo být?

[OgeeN]

Problém je ve velikosti bloku a počtu malých souborů na disku.