abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 00:33 | IT novinky

Josef Průša představil na Maker Faire v New Yorku svou novou 3D tiskárnu Original Prusa i3 MK3. Z novinek (YouTube) lze zdůraznit senzor filamentu, výměnnou magnetickou podložku, rychlejší tisk nebo rozpoznání uskočené vrstvy, výpadku napájení a výpadku filamentu (YouTube).

Ladislav Hagara | Komentářů: 4
včera 17:22 | Komunita

Martin Flöser představil na svém blogu projekt XFree KWin. Cílem projektu je rozběhnout správce oken KWin na Waylandu bez XWaylandu [reddit].

Ladislav Hagara | Komentářů: 7
včera 16:55 | Komunita

Do pátku 29. září probíhá v Praze v hotelu Hilton konference SUSECON 2017 pořádaná společností SUSE. Dění na konferenci lze sledovat na Twitteru. Nils Brauckmann, CEO společnosti SUSE, vítá účastníky konference na YouTube.

Ladislav Hagara | Komentářů: 2
včera 07:00 | Komunita

Příspěvek na blogu společnosti Yubico informuje o začlenění podpory bezpečnostních klíčů FIDO U2F do Firefoxu Nightly. Dosud bylo možné dvoufázové ověření pomocí FIDO U2F ve Firefoxu zajistit pouze pomocí doplňku.

Ladislav Hagara | Komentářů: 4
včera 06:00 | Humor

Adobe PSIRT (Adobe Product Security Incident Response Team) neúmyslně zveřejnil (archive) na svém blogu svůj soukromý OpenPGP klíč. Klíč byl revokován a vygenerován nový. Nelze nezmínit xkcd 1553 - Veřejný klíč.

Ladislav Hagara | Komentářů: 1
24.9. 20:00 | Nová verze

Byla vydána (cgit) verze 0.99 svobodného nelineárního video editoru Pitivi. Jedná se o release candidate verze 1.0. Přehled úkolů, které je nutno ještě dodělat, na Phabricatoru. Pitivi je k dispozici také ve formátu Flatpak.

Ladislav Hagara | Komentářů: 1
24.9. 17:11 | Komunita

Microsoft s Canonicalem představili linuxové jádro Ubuntu optimalizováno pro cloudové služby Microsoft Azure (linux-azure). Jako výchozí je toto menší a výkonnější jádro použito již v Ubuntu Cloud Images for Ubuntu 16.04 LTS. Canonical zatím nenabízí patchování tohoto jádra za běhu systému (Canonical Livepatch Service).

Ladislav Hagara | Komentářů: 1
24.9. 14:55 | Komunita

Facebook oznámil, že přelicencuje open source projekty React, Jest, Flow a Immutable.js ze své vlastní kontroverzní licence BSD+Patents na licenci MIT. Stane se tak tento týden s vydáním Reactu 16. Jedním z důvodů přelicencování bylo oznámení nadace Apache, že software pod Facebook BSD+Patents licencí nesmí být součástí produktů pod touto nadací [Hacker News].

Ladislav Hagara | Komentářů: 0
23.9. 21:44 | Nová verze

Po půl roce od vydání verze 9.0 byla vydána verze 10.0 open source alternativy GitHubu, tj. softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech, GitLab (Wikipedie). Představení nových vlastností v příspěvku na blogu a na YouTube.

Ladislav Hagara | Komentářů: 1
22.9. 18:11 | Nová verze

Společnost Oracle oficiálně oznámila vydání Java SE 9 (JDK 9), Java Platform Enterprise Edition 8 (Java EE 8) a Java EE 8 Software Development Kit (SDK). Java SE 9 přináší více než 150 nových vlastností.

Ladislav Hagara | Komentářů: 0
Těžíte nějakou kryptoměnu?
 (5%)
 (3%)
 (17%)
 (75%)
Celkem 580 hlasů
 Komentářů: 23, poslední 24.9. 18:12
    Rozcestník

    Dotaz: Kontrola RAID1 pola - nepreháňam to?

    17.5.2014 17:54 Peter
    Kontrola RAID1 pola - nepreháňam to?
    Přečteno: 724×
    Dobrý deň vám prajem.

    Každú nedeľu v noci ked sú disky čo najmenej vyťažené dávam robiť najprv na jednom a potom na druhom long smart test a nakoniec urobím repair md poľa. V podstate hoci som prečítal X článkov o check vs. repair, tak do teraz si niesom úplne istý rozdielom. Je mi jasné, že check len kontroluje a repair tiež v podstate len číta, ale ak nájde chybu tak ju na rozdiel od check aj opravi, ale nepochopil som to, že repair nepoužíva bitmap a check žeby áno? Disky sú WD Raid Edition 4 - 1TB. Neškodím týmto (najprv long smart test a potom v podstate resync) voľajako neúmerne diskom? Ešte raz - deje sa to raz za týždeň ked sú disky vyťažené najmenej.

    Vopred vám veľmi pekne dakujem za odpovede.

    Odpovědi

    17.5.2014 19:11 dustin | skóre: 61 | blog: dustin
    Rozbalit Rozbalit vše Re: Kontrola RAID1 pola - nepreháňam to?
    Dle http://www.thomas-krenn.com/en/wiki/Mdadm_checkarray se check při zjištění nekonzistence pokouší blok opravit.
    17.5.2014 21:10 Peter
    Rozbalit Rozbalit vše Re: Kontrola RAID1 pola - nepreháňam to?
    Tak teraz som už z toho blbý - skús mi prosím ťa vysvetliť rozdiel medzi check a repair z tohto: https://raid.wiki.kernel.org/index.php/RAID_Administration
    19.5.2014 14:27 trubicoid
    Rozbalit Rozbalit vše Re: Kontrola RAID1 pola - nepreháňam to?
    nepokousi
    17.5.2014 20:31 Andrej | skóre: 44 | blog: Republic of Mordor | Zürich
    Rozbalit Rozbalit vše Re: Kontrola RAID1 pola - nepreháňam to?

    Je to naprosto zbytečné. Když má RAID1 poškozená data na jedné z kopií, neexistuje spolehlivý způsob, jak zjistit, která kopie je ta správná. RAID1 naivně počítá s tím, že jediné selhání, které může nastat, je úplné selhání jednoho z disků. V takovém případě se data zkrátka budou číst jenom z druhého (resp. z ostatních) a nebudou se číst (až tolik) prokládaně. (Tedy throughput při čtení bude nižší.) Když všechny disky (přinejmenším zdánlivě) správně fungují, nikdo nikdy neodhalí poškozená data. Dokonce se může klidně stát, že se při každém čtení téhož souboru (s dostatečně dlouhým odstupem v čase i v objemu přečtených dat, aby původní data už nebyla v RAM) vrátí jiná data.

    Pokud jde o klasický softwarový nebo hardwarový RAID 1, který nemá nic společného s filesystémem, jeho opakované kontroly nemají v podstatě žádný smysl. Když se na jednom z disků poškodí data, kontrola může klidně způsobit, že se poškozená data odpropagují na nepoškozené disky. Nebo taky naopak, při troše štěstí. :-) Když má člověk RAID 1 se třemi disky, může se při kontrole alespoň použít ta verze dat, která převažuje. Nicméně se 2 disky nic takového nejde. Hlasování se sudým počtem hlasujících je vždy problém. Při třech discích a třech rozdílných verzích dat je taky každá rada drahá.

    Řešením je jedině RAID 1 na úrovni filesystému (Btrfs, ZFS). Atomické checksumy zajistí, že při poškození dat na jedné z replik je vždy možné zjistit, která replika má pravdu, a (především) odhalit, že jsou data nějak poškozená. To vše při zachování (téměř) N-násobného throughputu při čtení, kde N je počet disků v RAID 1 konfiguraci.

    ǑǦŹǓǕǙǞǺǨȞȬḔḦḰḾṊṎṸẄẌỖ
    17.5.2014 21:14 Peter
    Rozbalit Rozbalit vše Re: Kontrola RAID1 pola - nepreháňam to?
    No, toto mi je všetko jasné, ale ja som bol v tom, že kontrola, respektíve oprava v mdadm funguje na princípe sektorov - to znamená, že ak zistí poškodený sektor na jednom disku, tak ho povedzme premapuje a obnoví z druhého. Každopádne to neodpovedá na moju otázku, že či long smart test a následne repair týždenne voľajako veľmi nad mieru tomu disku neškodí. Mimochodom, ak je to s tým check a repair až také nanič, tak načo to potom vlastne je?
    Heron avatar 17.5.2014 21:27 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Kontrola RAID1 pola - nepreháňam to?

    Kontrola ano, oprava ne. Pokud z každého disku přečte jiná data, tak není možnost jak by poznal, která jsou ta správná.

    Já bych doporučil check (určitě ne neustálou rekonstrukci pole, tím spíš se chyby zpropagují), po checku kontrolu /sys/block/md0/md/mismatch_cnt (skripty v některých distrech to ostatně dělají automaticky), long test je v pořádku.

    A pokud mismatch_cnt nebude 0, tak hodně štěstí. A funkční zálohy.

    18.5.2014 04:50 Andrej | skóre: 44 | blog: Republic of Mordor | Zürich
    Rozbalit Rozbalit vše Re: Kontrola RAID1 pola - nepreháňam to?

    On většinou nepřečte z každého disku jiná data, protože čte data jenom z jednoho disku, tedy z několika disků prokládaně, aby se četlo rychleji. Na rozdíl v datech přijde leda až při nějaké explicitní kontrole, což už je zoufale pozdě, protože tou dobou už se poškozená data mohla přečíst a zapsat jinam, vrátit aplikacím a podobně. RAID na úrovni filesystému přijde na chybu v datech hned při čtení (i při prokládaném čtení), protože v případě chyby nesedí checksum. Pak lze podle checksumu najít na ostatních RAID1 discích kopii, která je platná.

    ǑǦŹǓǕǙǞǺǨȞȬḔḦḰḾṊṎṸẄẌỖ
    Heron avatar 18.5.2014 08:43 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Kontrola RAID1 pola - nepreháňam to?
    On většinou nepřečte z každého disku jiná data, protože čte data jenom z jednoho disku, tedy z několika disků prokládaně, aby se četlo rychleji.

    Tak při běžné činnosti jistě, tazatel se ale ptá na raid check / repair.

    17.5.2014 23:21 drtic vakua
    Rozbalit Rozbalit vše Re: Kontrola RAID1 pola - nepreháňam to?
    Naivnim pristupem bych to nenazval. Poskozeni dat ve smyslu nekonzistence vznikle poruchou ci chybou na plotne odhali interni checksum disku, takze disk vrati sektor jako chybny a system pouzije druhy mirror. Coz je presne to, kvuli cemu mirror puvodne vymysleli. Takze to rozhodne nemiri jen na uplne selhani disku.

    Pokud jde o nekonzistence vznikle platnym ale nepatricnym zapisem sektoru na disk, tak kdo vam zaruci, kterou vrstvu pro zapis takovy idiotsky program/proces/cokoli pouzije? Pokud pouzije vyssi vrstvu, tak vam to tam mlaskne i se vsemi checksumy a nazdar bazar.

    Takze tyhle pokrocile filesystemy jsou urcite uzitecne a ochrani pred situaci, ze neco zapisuje primo sektory na disk kam nema, ale takova situace je urcite radove mene casta nez poruchy disku a osobne jsem to tedy jeste nezazil (a to uz jsem v oboru za dinosaura) Dle meho spise miri na dementy vseho druhu, co prepisou pomoci dd cokoli aniz by se zamysleli.
    Heron avatar 18.5.2014 08:51 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Kontrola RAID1 pola - nepreháňam to?
    Naivnim pristupem bych to nenazval. Poskozeni dat ve smyslu nekonzistence vznikle poruchou ci chybou na plotne odhali interni checksum disku, takze disk vrati sektor jako chybny a system pouzije druhy mirror.

    A toto funguje? Co jsem se setkal, tak nastávají dva případy. Buď se to disku podaří přečíst sektor a realokovat (což je činnost vlastního firmware disku) nebo disk vrátí chybu, potom ho raid vyřadí (a vrací data z jiného disku).

    To co popisuješ afaik platí až pro systémy souborů s interním checksumem, kde chybná data zjistí až právě FS a ten se může pokusit ono vadné zrcadlo (obecně redundanci) opravit tím, že na nej zapíše správná data (potom opět nastane to, že disk to buď po vlastní ose zapíše, nebo je vadný a vrátí chybu).

    Dle meho spise miri na dementy vseho druhu, co prepisou pomoci dd cokoli aniz by se zamysleli.

    Zažil jsem hw řadič, který si výměnu disku po havárii starého interpretoval tak, že ten nový disk do mirroru prostě přidal a vůbec mu nevadilo, že oba disky v mirroru obsahují něco úplně jiného. Jaksi přeskočil synchronizaci. V tomto případě šel fs a data do kytek.

    18.5.2014 10:45 drtic vakua
    Rozbalit Rozbalit vše Re: Kontrola RAID1 pola - nepreháňam to?
    A toto funguje? Co jsem se setkal, tak nastávají dva případy. Buď se to disku podaří přečíst sektor a realokovat (což je činnost vlastního firmware disku) nebo disk vrátí chybu, potom ho raid vyřadí (a vrací data z jiného disku).
    Ano, i po chybe jednoho sektoru je disk z mirroru vyrazen. Zcela spravne a po zasluze. Spravce dostane email nebo cokoli a musí se situaci zabyvat. Jen jsem psal, ze raid1 nechrani jen pred uplnym selhanim disku. Jeste mozna poznamka - pokud se dobre pamatuji, kdyz je disk rozdelen a zmirrorovan po castech, je vyrazen jen prislusny oddil.
    Zažil jsem hw řadič, který si výměnu disku po havárii starého interpretoval tak, že ten nový disk do mirroru prostě přidal a vůbec mu nevadilo, že oba disky v mirroru obsahují něco úplně jiného. Jaksi přeskočil synchronizaci. V tomto případě šel fs a data do kytek.
    Souhlas, chrani to take proti levnemu smejdu z vesmiru.
    19.5.2014 14:26 trubicoid
    Rozbalit Rozbalit vše Re: Kontrola RAID1 pola - nepreháňam to?
    ja mam jednou tydne check a kontrola mismatch_cnt, jak tu uz radi

    repair bych nedaval, nevim jak to je ted, ale v nekterych jadrech to bylo tak, ze kdyz se prislusne dva bloky v RAID1 lisi, tak se nahodne rozhodne, ktery je "spravny" a ten druhy se tim "spravnym" prepise

    ted ten repair asi nedela nic, asi i vynuluje mismatch_cnt, takze je to kontrola dost na prd

    a ty mas zapnuty write-intent bitmap? to se asi hodi pro pripad, kdy je rebuild super dlouhej, alespon den, a mezitim potrebujes stroj restartovat, tak aby pokracoval rebuild tam kde jsi prestal; jinak v beznem zivote a pro periodicky tydenni test je to IMHO na prd a zdrzuje to

    a smart long test delam jednou za mesic, to asi staci, kazdy tyden mi prijde moc casto
    20.5.2014 06:37 Peter
    Rozbalit Rozbalit vše Re: Kontrola RAID1 pola - nepreháňam to?
    No najväčší problém je, že všade píšu, že mismatch_cnt môže dávať a aj dáva hausnumerá pri raid1 a ekvivalentoch (raid10). Preto napríklad aj v oficiálnom skripte raid-check v RHEL je na konci toho skriptu pri výpise mismatch_cnt kontrolované, že či daný md nie je typu 1 a ak áno, tak preskočí toto zariadenie. Teda toto je dosť naprd, lebo pri check sa tým pádom tak či tak nedozviem, že je nejaké chyba.
    20.5.2014 08:20 Šangala | skóre: 56 | blog: Dutá Vrba - Wally
    Rozbalit Rozbalit vše Re: Kontrola RAID1 pola - nepreháňam to?

    To je sice pravda, ale pokud v průběhu „check“ dojde k selhání tak o tom víš, bo to disk vyhodí - tak aspoň něco :-).

    Pokud nebude swap na tom poli, tak false positive se vyskytnou jen ve specifických případech, takže lze mismatch_cnt normálně kontrolovat (tak jsem to pochopil a vyšlo mi to…).

    Mám starší Raid1 na kterém je swap, který se i používá a běží na tom virtuály (XEN) a nikdy mismatch_cnt nebylo rozdílené od 0. Zkoušel jsem to na jiném stroji (RAID1) s virtuály a vyvolanou pseudo zátěží, a podařilo se mi toho docílit 1× (při pseudo-testování asi 6hod), pokud jsem hostitelský swap zahltil a systém se v zásadě uchlastal, ale není to jen tak, protože zmiňovaný script (raid-check) běží s nízkou prioritou a parametry (speed_limit_min, speed_limit_max) jsou/mám taky relativně nízké, takže k souběhu těch událostí nedochází. Je to o více paramtrech, takže ano, může to hlásit false positive, ale není to pravidlo, že bude (a komu se to děje pravidelně ať mě nekamenuje…).

    Na základě toho kontroluji mismatch_cnt a protože to do swapu nechodí (ani virtuály), tak už několik měsíců a žádný mismatch se nezjevil (CentOS-í default - kontrola v neděli v noci…).

    Ale souhlasím, je to naprd, ¡spravte to někdo! ;-)

    To, že trpíš stihomamem, ještě neznamená, že po tobě nejdou. ⰞⰏⰉⰓⰀⰜⰉ ⰗⰞⰅⰜⰘ ⰈⰅⰏⰉ ⰒⰑⰎⰉⰁⰕⰅ ⰏⰉ ⰒⰓⰄⰅⰎ ·:⁖⁘⁙†
    20.5.2014 10:28 trubicoid
    Rozbalit Rozbalit vše Re: Kontrola RAID1 pola - nepreháňam to?
    jak tady uz zaznelo, mne to funguje i na raid1, jednou za tyden se mi to napise do logu a jen malo kdy vidim, ze tam nejsou nuly

    jednou byl problem s casovanim pameti, normalne memtest86+ nekolik dni nic a mistmatch_cnt byl stale 128, takze asi tak :)

    jinak check disk z raid1 nevyhodi, kdyz najde rozdil, to proto, ze nevi, kterej ma vyhodit; naopak ho vyhodi, kdyz z nej nejdou zadna data, jen chyby

    takze nic lepsiho neni, proste jednou za tyden check, kontrola mistmatch_cnt, kdyz neni nula, tak nabootovat systemrescuecd a udelat check znova, jestli zase neni 0, tak je problem a kontroluju smartem oba disky a potom podle okolnosti

    ten repair na raid1 moc nefunguje, von teda vynuluje mistmatch_cnt, takze by si nekdo naivne mohl myslet, ze to neco udelalo, ale nasledny check ukaze ze nikoliv

    co ale obcas pomohlo byl zapis velkeho prazdneho souboru do volneho mista, tedy jako premazani volneho mista dd if=/dev/zero bs=1M of=/bigfile;sync;sync;rm /bigfile

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.