abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 09:00 | Nová verze

    Byla vydána nová verze 22.06.23 svobodného multiplatformního video editoru Shotcut (Wikipedie). Z novinek lze zdůraznit integraci vektorového animačního programu Glaxnimate. Využít jej lze například k maskování videa (YouTube). Vedle zdrojových kódů jsou již k dispozici také balíčky ve formátech AppImage, Flatpak a Snap.

    Ladislav Hagara | Komentářů: 0
    dnes 08:00 | Nová verze

    Byla vydána nová verze 2.37.0 distribuovaného systému správy verzí Git. Přispělo 75 vývojářů, z toho 20 nových. Přehled novinek v příspěvku na blogu GitHubu a v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 0
    dnes 07:00 | Nová verze

    Relační databázový systém SQLite byl vydán ve verzi 3.39. Přidává podporu RIGHT a FULL OUTER JOIN a další.

    Fluttershy, yay! | Komentářů: 0
    dnes 06:00 | IT novinky

    Společnost Atari (Wikipedie) slaví 50 let. Založena byla 27. června 1972.

    Ladislav Hagara | Komentářů: 0
    včera 13:11 | Zajímavý software

    V reálném světě smícháním modré a žluté barvy vznikne barva zelená. V grafických editorech tomu ale tak není. Šárka Sochorová z ČVUT prezentovala na konferenci SIGGRAPH Asia 2021 možné řešení (Practical Pigment Mixing for Digital Painting) aneb blackbox Mixbox (online demo) snadno integrovatelný do grafických editorů s implementací modelu Kubelka-Munk. Zdrojové kódy jsou k dispozici na GitHubu. Licence ale nedovoluje jejich použití v open source grafických editorech. Nemělo by platit Public Money, Public Code?

    Ladislav Hagara | Komentářů: 17
    včera 08:00 | Zajímavý software

    ZombieTrackerGPS je lokální správce a prohlížeč záznamů tras z GPS lokátoru/navigace, napsaný s využitím knihoven KDE a Qt. Současná verze je 1.11, podrobnosti v seznamu změn.

    Fluttershy, yay! | Komentářů: 0
    včera 07:00 | IT novinky

    V OpenAI naučili neuronovou síť hrát Minecraft. Sledováním videí zveřejněných hráči této počítačové hry.

    Ladislav Hagara | Komentářů: 2
    včera 06:00 | Nová verze

    Byla vydána nová verze 7.7.0 správce digitálních fotografií a videí digiKam (Wikipedie). Přehled novinek i s náhledy v oficiálním oznámení. Nově je například podporován fotoaparát OM System OM-1 (Olympus). Aktuální digiKam je postaven na Qt5. Verze 8.0.0 bude postavena na Qt6. Vydána by měla být koncem roku. Nejnovější digiKam je ke stažení také jako balíček ve formátu AppImage. Stačí jej stáhnout, nastavit právo ke spuštění a spustit.

    Ladislav Hagara | Komentářů: 0
    26.6. 13:33 | Zajímavý článek

    Portál Stack Overflow po roce opět vyzpovídal své uživatele, jedná se především o vývojáře softwaru, a zveřejnil detailní výsledky průzkumu. Průzkumu se letos zúčastnilo více než 70 tisíc vývojářů. Z Česka jich bylo 692. Ze Slovenska 229. Celkově bylo 91,88 % mužů a 5,17 % žen.

    Ladislav Hagara | Komentářů: 10
    25.6. 00:55 | Nová verze

    Byla vydána nová verze 7.0 open source komunikační platformy Mattermost (Wikipedie). Podrobnosti v dokumentaci. Zdrojové kódy jsou k dispozici na GitHubu.

    Ladislav Hagara | Komentářů: 28
    Na sociálních sítích nebo jiných webových diskuzích vystupuji pod
     (63%)
     (18%)
     (19%)
    Celkem 636 hlasů
     Komentářů: 29, poslední 24.5. 00:02
    Rozcestník
    Štítky: není přiřazen žádný štítek



    Vložit další komentář
    Max avatar 11.5. 08:48 Max | skóre: 70 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Do xfs se tlačí šíleně změn. RedHat na něm staví. Postupně se rozloučili s btrfs a začali hodně vyvíjet xfs, asi kvůli jejich Stratis. Nezkoumal jsem patche v jádře, jen tlumočím informace z jiných zdrojů.
    Tím chci tedy říci, že hodně novinek bude zvyšovat pravděpodobnost nějakých regresí, nebo chyb. Držet se tedy něhjakého stable kernelu je tedy rozumnější.
    Zdar Max
    Měl jsem sen ... :(
    AraxoN avatar 11.5. 09:32 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Jadro 5.15.32 je v gentoo označené ako stable. Kernel.org už takto označuje aj 5.17.6.

    Ešte mi na testovacej zostave dobieha jeden test, potom sa pustím do hľadania toho xfs bugu.
    Max avatar 11.5. 09:53 Max | skóre: 70 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Stable je to, co má v sobě Debian nebo RHEL like :D.
    Zdar Max
    Měl jsem sen ... :(
    11.5. 10:07 Radek Podgorny | skóre: 16
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    skvele! ...diky za zverejneni (a samozrejme za test samotny)!

    ...uz se tesim na ssd verzi.
    11.5. 13:25 henk | skóre: 1 | blog: henkovi_prdy
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    +1
    11.5. 10:40 anti-btrfs-fanatik
    Rozbalit Rozbalit vše btrfs vs bit rot - jeste pred rokem a pul to bylo hodne spatne
    Diky moc za porovnani!

    Nezda se mi ten bit rot u btrfs - kdysi to bylo hodne spatne:

    https://unixsheikh.com/articles/battle-testing-zfs-btrfs-and-mdadm-dm.html

    Muzes to prosim dukladne overit?

    Jo a docela zajimavy by byl test Stratis jak pise Max - chova se to "trochu" jinak nez cisty XFS, takze nelze pouzit vysledky mereni XFS.
    AraxoN avatar 11.5. 11:44 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: btrfs vs bit rot - jeste pred rokem a pul to bylo hodne spatne
    Testoval som čisto len bit rot, teda preklopenie niekoľkých náhodných bitov na fyzickom médiu. S tým si btrfs a zfs poradili rovnako dobre, na jednotku. Btrfs o každom nájdenom prípade písal do syslogu, zfs nebol taký zhovorčivý, ale počíta sa výsledok a ten bol 100%.

    Iné druhy porúch predmetom testu neboli. Násilné odpájanie diskov či simulovaná strata napájania nie je niečo, čo by som chcel skúšať. Predpokladám, že nedokončené zápisy budú problémom pre hocijaký súborový systém.
    11.5. 22:37 : 00.000
    Rozbalit Rozbalit vše Re: btrfs vs bit rot - jeste pred rokem a pul to bylo hodne spatne
    Vzhledem k tomu, ze dneska jede vsechno virtualizovane pod nejakym hypervizorem - tedy vcetne (predevsim?) pristupu k blokovym zarizenim - tak se domnivam, ze takove "virtualni vytazeni kabelu" je mozna i castejsi zalezitost nez bit rot.

    Dalsi kupa zarizeni jsou natolik mobilni, ze lide u nich restartuji vytazenim kabelu ze zdi - tam pak ta konzistence v pripade nedokoncenych zapisu po vypadku napajeni hraje dulezitou roli.

    Nezkousel jsem, ale krome ZFS (a mozna uz i btrfs?) log-based filesystemy (nilfs2, f2fs, ...) maji velkou sanci, ze naopak nebudou mit zadny problem s nedokoncenymi zapisy.
    Jendа avatar 11.5. 11:57 Jendа | skóre: 77 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Rozhodne zaujímavo vyzerajú jeho samoopravné schopnosti
    No ale jenom v případě poškození dat na disku. Chyby v RAM (pokud nemáš ECC, nebo ti softwarový bug něco poškodil) vedoucí na poškození struktur FS jsou pro změnu fatální na rozdíl od jiných FS, protože u btrfs je fsck experimentální a u ZFS není vůbec.

    To df used by bylo zajímavé dělat nějak podrobněji, protože nevím jestli jenom z used se dá vykoukat efektivita, může se třeba stát, že used+free < kapacita disku, ne? Takže ideálně tam potom zkusit zapisovat další data a koukat kolik jich tam doopravdy narvu.

    Ten výkon při obsazování si myslím že bude dost ovlivněn i zdrojem dat - mnohem lepší by bylo generovat je synteticky.
    AraxoN avatar 11.5. 12:48 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Vyskúšal by som aj ďalšie failure módy, ale tie sa ťažko simulujú. Ako nasimuluješ chyby v RAM? Priložíš k serveru gama žiarič? A ako zabezpečíš rovnaké podmienky pre všetky testy? Mojou metódou som na každom z diskov "odhnil" práve 50 bitov, čo bolo dosť na to, aby to trafilo nejaké dáta, ale pravdepodobne nie metadáta či inody.

    Df used som zaradil, lebo ma to takmer nič nestálo. Kým iné testy trvali rádovo minúty, tento bol hotový hneď. Beztak ide o číslo, ktoré reportuje samotný súborový systém. Keby tam hádzal prikrášlené čísla, nemal by som to ako poznať.

    Všetkým týmto trom veciam (df used, fsck a bit rot) som nakoniec vo výsledkoch aj tak priradil nízke váhy. Išlo mi skôr o výkon v bežnej prevádzke.

    Zdroj dát bol pre všetky súborové systémy rovnaký, čítaný z rovnakého nekomprimovaného archívu, ktorý sa nachádzal na iných dvoch diskoch (SW RAID1), ktoré neboli predmetom testu. Nemyslím si, že by tento zdroj dát spôsoboval rozdiel vo výkonoch jednotlivých súborových systémov.
    11.5. 12:12 Mayhem
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Porovnavat reiser3 a btrfs je jako porovnavat dvouvalce a osmivalec. Srovnani ale jiste zajimave. Dekuji za clanek.
    AraxoN avatar 11.5. 12:59 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    On aj ten dvojvalec má niekde zmysel, napríklad v motorke. Narozdiel od reiser3, ktorý zmysel nedáva už nikde.
    11.5. 13:11 trekker.dk | skóre: 72
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    ext4 ... chýbajú mu checksumy
    Dat. Checksumy metadat to má.
    Quando omni flunkus moritati
    AraxoN avatar 11.5. 13:56 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Áno, nevyjadril som sa presne. Otázka je, čo spraví, keď mu checksum metadát nesedí? Vie nejak požiadať SW RAID1, aby mu vrátil rovnaký blok, ale z druhého disku?
    11.5. 16:03 trekker.dk | skóre: 72
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Vie nejak požiadať SW RAID1, aby mu vrátil rovnaký blok, ale z druhého disku?

    Tipnul bych si, že tohle rozhraní mezi filesystémem a blokovým zařízením momentálně neumí
    Quando omni flunkus moritati
    AraxoN avatar 12.5. 07:38 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    To bola rečnícka otázka. Tiež si myslím, že to nie je možné. K čomu potom ale je taký checksum? Človek sa s istotou dozvie, že to má rozbité, ale pôvodný stav s tým neobnoví.
    12.5. 10:19 Manažer
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Presne takhle hloupe se choval jeste pred dvema lety btrfs. Proste mel checksumy ale automaticky neopravil nic a vzdy pouze selhal. A dokonce tehda to bylo mnohem horsi, protoze se checksumy nekontrolovaly pri kazdem cteni (dnes se uz kontroluji?) ale teprve pri spusteni scrub (tzn. treba pouze jednou za tyden ci dele). Tehda clovek musel mit btrfs s RAID1 aby mel redundanci (ostatni "redundantni" RAID tehda bit rot opravovat neumely i proste, ze teoreticky by to mely umet).

    Dle blogoveho zapisku si nejsem jisty, zdali btrfs byl provozovany v RAID1 nebo zdali ten bit rot byl detekovany az pri spusteni scrub. Nebo jak se to vlastne chovalo pri testovani.

    Nejake detaily ohledne chovani aktualniho btrfs by nebyly?
    12.5. 10:20 Manažer
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    *redundanci jsem myslel "...rendundanci a scrub tedy mohl opravit data pokud nesedel checksum".
    AraxoN avatar 12.5. 10:52 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Išlo o btrfs na dvoch diskoch, s profilom RAID1 pre dáta aj metadáta.

    Test prebiehal takto:
    1. odpojiť fs (umount)
    2. stopnúť raid (mdadm --stop)
    3. bit rot (náhodne zmenených 50 bitov na jednom disku a iných 50 bitov na druhom disku (low level utilita vlastnej výroby, jazyk C)
    4. spustiť raid (mdadm --assemble)
    5. pripojiť fs (mount)
    6. spočítať hash všetkých súborov (find /mnt/test -type f -print | sort | xargs md5sum > /tmp/hash.txt)
    7. porovnať s referenčným zoznamom súborov a ich hashmi (diff)
    V prípade btrfs a zfs samozrejme bez krokov 2. a 4., ale nikde žiaden fsck. Btrfs a zfs dokázali chybu nájsť a transparentne opraviť. Používateľ btrfs sa to dozvie iba zo syslogu, zfs o tom neinformuje vôbec.
    12.5. 13:51 Peter Golis | skóre: 63 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    zfs o tom neinformuje vôbec
    Už to vyhodili z výstupu príkazu zpool status ? Vídaval som tam pri podobných testoch.
    AraxoN avatar 12.5. 14:18 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Tam to možno aj bolo, ale ja som to tam nehľadal. On ten zfs je viac než len súborový systém a ja som nemal čas to celé študovať. Takže ďalej než po vytvorenie fs, mount a umount som sa s ním nezoznamoval.
    12.5. 19:42 Manažer
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Dekuji za upresnujici info.

    Takze vlastne byl otestovan ten jediny scenar, ktery jako jediny fungoval predtim (i kdyz tenkrat fungoval pouze napul; avsak nyni, zda se, funguje na 100% a nikoliv pouze napul).

    Myslim, ze bez RAID1 (tzn. at jiz bez jakehokoliv RAID ci s jakymkoliv RAID jinym nez RAID1) to bude stejne spatne jako tenkrat - tzn. btrfs akorat hodi chybu cteni a to mozna pouze pri scrub a ne pri jakemkoliv beznem cteni. Nevi nekdo jaky je aktualni stav?
    Jendа avatar 12.5. 10:29 Jendа | skóre: 77 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Můžeš to pole sestavit degradované s tím druhým diskem. Pokud víš který z těch dvou disků to byl, tak můžeš blok snadno transplantovat z toho dobrého (dd ... skip= ofs=). Asi by šlo nějak i zjistit kterému souboru ten blok patří (inverzně to jde) a opravit přímo ten soubor.
    AraxoN avatar 12.5. 11:06 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Áno, to mi nenapadlo. Ale to už sa dostávame do režimu data recovery a všetko ostatné (bežná prevádzka) sa musí stopnúť.
    cbrpnk avatar 11.5. 13:33 cbrpnk | skóre: 4 | blog: bl0gium
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Ja mam povacsine JFS vsade. Nesklamal nikdy.
    AraxoN avatar 11.5. 13:52 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Najvyšší čas vyskúšať niečo iné. Alebo používaš nejakú unikátnu vlastnosť jfs, ktorú iné súborové systémy nemajú?
    11.5. 18:16 Peter Golis | skóre: 63 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    ZFS má SCRUB, ten skontroluje konzistenciu zapísaných dát podobne ako FSCK u iných FS. Síce to beží na pozadí, ale odpamätá si kedy bežal posledne a koľko trval. Resp, má aj RESILVER pre kontrolu dát zapísaných od poslednej kontroly.

    Alebo to už vyhodili?
    Jendа avatar 11.5. 20:31 Jendа | skóre: 77 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    ZFS má SCRUB, ten skontroluje konzistenciu zapísaných dát podobne ako FSCK u iných FS.
    Ne, zkontroluje pouze checksumy.
    11.5. 21:32 Peter Golis | skóre: 63 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    A tie asi tak pokrývajú čo, nebude to náhodou konzistencia prečítaných dát a metadát ktoré boli pred tým zapísané aj s tými checksummami?

    To je IMO viac ako robí fsck na zastaraných FS (ak nie sú kryté checksumami na doplnkovej vrstve).
    Jendа avatar 11.5. 23:03 Jendа | skóre: 77 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Ne, nepokrývají, já jsem třeba chybu dat na disku neviděl ještě nikdy (teda alespoň tam kde mám btrfs, takže bych ji detekoval), ale struktura se kazí v jednom kuse, IMHO jak HW chybami (non-ECC paměť) tak SW chybami.
    AraxoN avatar 12.5. 07:56 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    To je zaujímavé... tá štruktúra sa Ti kazí na btrfs? Pri akej príležitosti? Strata napájania?

    Ja sa pohybujem v serverovej oblasti a musím poklopať, že naposledy sa mi adresárová štruktúra rozpadla pred 15-timi rokmi, na reiserfs3. Podozrenie na bit rot sporadicky nájdem, aj keď mechanizmus vzniku zostáva neodhalený (t.j. neviem, či vznikol v RAM, na disku, alebo v aplikácii). Máme vcelku slušný sklad súborov, ktorý sme historicky prevádzkovali na RAID5 a ext4. K súborom sa zároveň do SQL databázy ukladajú ďalšie údaje, vrátane hashu (RIPEMD160). Na moje prekvapenie, keď som to jedného dňa nechal skontrolovať, v jednotkách prípadov to nesedelo.
    Jendа avatar 12.5. 10:36 Jendа | skóre: 77 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    To je zaujímavé... tá štruktúra sa Ti kazí na btrfs?
    Ano.
    Pri akej príležitosti? Strata napájania?
    Nevím, protože to nemá fsck co by člověk mohl pouštět po každém bootu, tak na to nepřijdu až dokud nenastane nějaký problém typu „nejde spustit postgresql“ nebo „rsync při zálohování nemůže přepsat soubor“. Napájení se ztrácí pravidelně (řešil jsem v poradně, ptal jsem se všude, stále bez úspěchu), RAM není ECC a softwarový stack je pochybný (nvidia blob + deep learning bastly v dockerech).
    Jendа avatar 12.5. 10:39 Jendа | skóre: 77 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Teda, má to fsck, byť se jako nemá používat, tak až ten FS vyrobím příště, tak asi nějak zbastlím aby se při každém bootu používal.
    AraxoN avatar 12.5. 10:58 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Tak, on fsck pri boote tiež nie je bohviečo, hlavne keď trvá dlhšie než pár minút. Pri reštarte servera na diaľku potom človek zažíva nepríjemné chvíle neistoty...
    12.5. 13:52 Peter Golis | skóre: 63 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    A načo potom slúži scrub, v čom sa tá funkcionalita líši od chkdsk alebo fsck?
    Jendа avatar 12.5. 14:09 Jendа | skóre: 77 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    scrub slouží na přečtení všech dat z disku a ověření checksumů, tj. jestli to, co se teď přečte, je to, co se tam předtím zapsalo. Od fsck se to liší v tom, že fsck kontroluje logickou konzistenci datových struktur FS (že stromy neukazují pointery kdovíkam - jeden způsob jak taková věc může nastat právě popsal RDa na Rootu, že právě všechny bloky označené jako obsazené jsou dosažitelné procházením adresářového stromu). fsck naopak nečte všechna data z disku (nečte datové bloky souborů).
    12.5. 14:22 Peter Golis | skóre: 63 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Tie checksumy overia či bloky (obsahujúce hoci aj dátovú štruktúru) neboli poškodené.

    Ale súhlasím s tým, že SCRUB nie je FSCK, keďže SCRUB kontroluje a opravuje nielen metadáta, ale hlavne aj dáta na disku. Na to FSCK nemá, je zastaralý a mal by už konečne zomrieť.

    Ale som rád, že si na ZPOOL SCRUB reagoval diskusiou o BTRFS CHECK. To bolo qejci.
    Jendа avatar 12.5. 15:22 Jendа | skóre: 77 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Máme novej PALM, podle paperu to vypadá nadějně, tak to otestujeme.
    Tie checksumy overia či bloky (obsahujúce hoci aj dátovú štruktúru) neboli poškodené.
    Jak si představuješ, že to opraví následující chybu:
    • Poškodí se datová struktura v paměti (bitflip, race condition, out of bounds write jiným modulem)
    • Zabalí se do bloku
    • Blok se opatří checksumem
    • Blok s checksumem se zapíše na disk
    • Scrub přečte blok z disku (disk funguje v pořádku, takže blok není tiše změněn), zkontroluje checksum
    12.5. 17:29 Peter Golis | skóre: 63 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Máme novej PALM, podle paperu to vypadá nadějně, tak to otestujeme.
    Tak ho implementuj ako modul do súborového systému, keď si sa s tým pochválil v diskusii o súborových systémoch.
    Jak si představuješ, že to opraví následující chybu: (bitflip, ...)
    Nijak. To neopraví ani FSCK, len to zabrúsi za cenu straty užívateľských dát. To opraví akurát tak ECC na špeciálnom HW s redundantným vykonávaním kódu a porovnávaním výsledkov. Alebo obnova zo zálohy.
    Jendа avatar 12.5. 18:11 Jendа | skóre: 77 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Nijak. To neopraví ani FSCK, len to zabrúsi za cenu straty užívateľských dát.
    Zabrúsi = dostane FS zase do konzistentního stavu, aniž bych musel dělat odstávku na vytvoření nového FS a přelití dat tam a zpátky. Navíc na ZFS, kde fsck není, se o tom, že se tohle stalo, ani nedozvíš. Data se při tom občas ztratí (tak jako tak), obnovíš je ze zálohy, nebo se jedná o nějaké dočasné soubory na kterých nesejde.
    12.5. 21:30 Peter Golis | skóre: 63 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    FS sa bud3 tváriť konzistentne, ale dáta ostanú v prípade fsck stratené.
    Jendа avatar 12.5. 22:32 Jendа | skóre: 77 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    To v případě ekvivalentního poškození FS s checksumy taky.
    13.5. 15:43 Peter Golis | skóre: 63 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    V dnešnej dobe je potrebné odhaliť aj poškodenie dát, nielen metadát.
    13.5. 17:01 plostenka
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    To bylo potreba vzdycky. A bud si ukladas data s ECC na aplikacni urovni, nebo veris FS, nebo veris RAID5/6, nebo...
    13.5. 19:52 Peter Golis | skóre: 63 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Takže buď veríš že ECC vykonáva korekciu, alebo veríš aplikačnej úrovni, alebo veríš FS alebo veríš RAID alebo neveríš že existuje Silent Data Coruption, alebo ...

    Tvoj optimizmus by som chcel po mojich skúsenostiach mať.
    AraxoN avatar 12.5. 07:47 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Áno, a aj xfs má xfs_check. Vlastne ani btrfs nemá fsck, ale btrfs check, takže správne mal mať vo výsledku, že fsck "nemá".

    Celý tento test nebol veľmi šťastný, pretože ak fsck trvá dlhšie, môže to znamenať, že je dôkladnejší a odhalí/opraví viac chýb. Preto som tomu nakoniec dal nulovú váhu.
    12.5. 13:59 Peter Golis | skóre: 63 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Čiže FS má nástroj na kontrolu konzistencie a opravu chýb, ktorý vie človek spustiť podľa vlastného uváženia, a samotný FS to robí aj sám pri bežných operáciách. Ale nemá FSCK. To znie tradične odborne a má to aj svoju logiku.

    Ono, testík to bol pekný. I keď výber nástrojov a záver mi pripadajú také ako keby boli zaujaté. Skús ďalší test robiť s CPU ktoré má AES-NI, to sa zvyklo používať aj na checksummy. Čím novší typ checksum-u, tým vyššia výpočtová náročnosť a aj spoľahlivosť.
    Jendа avatar 12.5. 14:15 Jendа | skóre: 77 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Počítat checksumy AES-NI zní divně. Už dlouho, od SSE4.2, máme CRC32, a od někdy někde máme SHA.
    AraxoN avatar 12.5. 14:28 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Btrfs a zfs korektúry zjavne robia za pochodu. Rozhodne som im nedal žiaden čas na to, aby prebehol nejaký scrub celého disku.

    Ďalší test bude na kompletne novom hardvéri a na SSD diskoch. Sám som zvedavý, či rozdiely budú vďaka tomu menšie, alebo naopak väčšie.
    12.5. 14:39 Peter Golis | skóre: 63 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    NextGenFS síe robia kontroly a korektúry aj za pochodu, ale občas je rozumné vynútiť kontrolu alebo aj korektúru. Napríklad po fyzickom prenose zostavy s rotačnými diskami (možné škrknutie platne čítacou hlavou), alebo po dlhom vypnutí (pam. bunky zabúdajú, ak sa nepoužívajú). Mne trval SCRUB na lacnom 2T NB disku so šindľovým zápisom cca 7 hodín. Ale to mohlo byť spomalené aj tým, že OS nevedel o zónach na disku, a nemohol optimalizovať I/O požiadavky. CPU sa počas toho flákalo.
    11.5. 20:40 mh
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    A kdes nechal nejlepší souborový systém NTFS?
    AraxoN avatar 12.5. 07:43 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Nechal som ho tam, kde patrí.
    12.5. 14:10 Peter Golis | skóre: 63 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    S tým súhlasím. NTFS je zastaralý, jeho nástupca ReFS by mal na tom byť lepšie. Ale z cenového hľadiska, ...
    26.5. 15:26 ml
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Zastaralý je, ale podporuje ho kde co, a jenom zastaralost by asi neměla být důvodem házet ho do koše, nechť test ukáže nakolik je mizerný.

    Já jsem po ntfs musel sáhnout pro uložení většího množství souborů (desítky milionů) protože ostatní systémy se někde u 10 milionů zasekly, bylo místo, ale nechtěly nic uložit. Pod linuxem to v ntfs sice taky tak vypadalo, ale stačilo strčit do počítače s widlema, přidat pár souborů a už to šlo i v linuxu než se vyčerpalo dalších 10 milionů. Nevím co to je za bariéru, windows se netvářil, že by měl být nějaký problém.

    Uznávám, že jsem zvolil pitomý přístup, bylo to ale tehdy to nejjednodušší, ukládat soubory do adresářové struktury. Všimnul jsem si, že jiné aplikace pro stejný účel používají databázi, vznikne tak jeden velký soubor (+ nějaké ty pomocné) a ne miliony malých (fakticky zneužívám souborový systém coby databázi).
    26.5. 15:55 ml
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022

    Jinak jako vhodnou odpověď bych bral, že ntfs neni linuxový souborový systém a proto byl z testů vynechán. Tím by se to řešilo.

    Je starý (k normálním lidem se dostal s dvoulitrama nebo xp na přelomu tisíciletí, ale ani tehdy nebyl nijak nový, roky předtím ho používaly nt), ale jestli je zastaralý to je otázka jiná (desítky jej stále používají jako základ). No při tom stáří by se zastaralost dala očekávat.

    AraxoN avatar 26.5. 16:42 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Je to tak, ntfs nie je linuxový súborový systém, preto som nad jeho testom ani neuvažoval. Už tak mi to zabralo dva týždne a potom ďalšie dva týždne som strávil riešením toho bugu, na ktorý som narazil pri testovaní xfs.

    Aký je vlastne teraz stav podpory ntfs v linuxe? Sám si písal, že si ho musel masírovať z Windowsu, aby ďalej fungoval...
    27.5. 21:21 PetebLazar | skóre: 29 | blog: l_eonardovo_odhodlani
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    A podle této logiky je ZFS linuxovým souborovým systémem? Pochází originálně ze Solarisu a vzhledem k licenci snad není(nemůže) být součástí jádra(Linuxu).
    AraxoN avatar 28.5. 08:36 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    To je validná pripomienka. Skúsim sa brániť takto: zfs sa v linuxe bežne používa, narozdiel od ntfs. Častokrát je zfs doporučovaný v diskusiách aj tu, aj na roote. Používajú ho rôzne linuxové NAS-y.

    Ale otestoval som včera aj ntfs, dám to do ďalšieho blogu...
    13.5. 10:55 R
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Dakujem za pripomenutie, ze sa mam zbavit reiserfs3. Este zostaval na jednom serveri ako /var, tak som to vcera konecne preformatoval na ext4.
    13.5. 15:26 Kooala
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Vyjimecne se podivam na abicko a hned takovy kvalitni blog post. Diky.
    16.5. 11:37 Ivan Vecera | skóre: 6
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Já nevím, ale 4 GB RAM pro ZFS mi příjde pro jakýkoliv setup málo resp. bych nikdy nedával ZFS na stroj s méně než 8 GB RAM. ZFS nejvíce vynikne na větších diskových polích, kde je i dostatek RAM. To neznamená, že jej nemužu dát na single disk stroj (sám jej používám na notebooku, ale s 32 GB RAM), ale ta paměť je fakt nutnost.
    AraxoN avatar 16.5. 12:31 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Bude ešte jeden porovnávací blog, s moderným harvérom. Až k nám ten server dorazí... Objednané pred mesiacom, ale ešte stále nemáme potvrdený ani len približný termín.
    AraxoN avatar 19.5. 15:30 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Predbežný dátum dodania: 27.6. (10 týždňov od vytvorenia objednávky)
    24.5. 12:21 trekker.dk | skóre: 72
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Hm, teď jsem se podíval do eshopu na jeden mikrokontrollér - jen ze zvědavosti, ještě nějaké mám. Skladem 0, termín dodání na sklad duben 2023. 10 tejdnů je sranda :-)
    Quando omni flunkus moritati
    26.5. 15:16 ml
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Arduino (AVR) a Raspberry jsou poslední dobou nedostupné (a co je dostupné stojí násobky cen, které pamatuju). Termíny dodání 50 a více týdnů. Je zajímavé, že PICů se to skoro nedotklo. Trochu podezřívám firmu microchip, že nás chce donutit přejít na picy. 10 týdnů je v tomto světle slušná dostupnost. Naštěstí pro své kutilské choutky mám nakoupeno, přecejenom nejedu v režimu just-in-time, ale pokud bych chtěl dělat něco nového, bude to problém.

    Vzpomínám při poslední chipové krizi (cca 2010, také po jedné z krizí), jak mi kolega z jiného oboru (vývoj elektroniky) říkal, že na poptávky po součástkách dostává běžně přislíbené dodadí lhůty 60-80 týdnů. Tehdejší chipová nouze však nevstoupila příliš ve všeobecnou známost (automobilky měli tehdy čipy nasmlouvané).
    Jendа avatar 26.5. 22:07 Jendа | skóre: 77 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Arduino (AVR) a Raspberry jsou poslední dobou nedostupné (a co je dostupné stojí násobky cen, které pamatuju).
    Zajímavé je, že Číňan AVRka docela má (jak na Ali, tak LCSC/JLC). Nevím jestli padělky -- popis vypadá jinak, ale to taky může být způsobeno tím, že je koupil Microchip.
    Petr Fiedler avatar 17.5. 08:11 Petr Fiedler | skóre: 34 | blog: Poradna | Brno
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022

    Super zápis, díky.

    To jsem zvědavý na ten další test.

    18.5. 19:23 PetebLazar | skóre: 29 | blog: l_eonardovo_odhodlani
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    V ramci Phoronix Test Suite existuje pts/pgbench (vycházející volně z TPC-B). Výhodou může být ověření reálnosti dosažených výsledků proti podobnému HW v databázi výsledků.
    AraxoN avatar 19.5. 08:39 AraxoN | skóre: 46 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: Test linuxových súborových systémov 2022
    Ďakujem, pozrel som sa na to a zdá sa, že nastavia shared_buffers na štvrtinu veľkosti RAM a pgbench spúšťajú s parametrami:

    pgbench -j $NUM_CPU_CORES -n -T 120 -r pgbench

    Môžem sa tým inšpirovať.
    1.6. 09:18 metazese stamezi
    Rozbalit Rozbalit vše Test je pro patovou situaci docházejícího místa a ne pro "běžný provoz"
    Ještě prosím přidej do textu informaci o zásadní nevýhodě tohoto testovacího postupu:

    Nemalá část testovaných souborových systémů byla testovaná v režimu téměř úplného zaplnění oddílu. V takových případech se souborový systém chová podstatně jinak a výsledky testu tedy zdaleka nereflektují běžný provoz, nýbrž patovou situaci, kdy dochází místo.

    Každopádně díky - je to velmi poučné srovnání!

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.