abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 01:22 | Nová verze Ladislav Hagara | Komentářů: 0
    dnes 00:55 | Zajímavý projekt

    PyXL je koncept procesora, ktorý dokáže priamo spúštat Python kód bez nutnosti prekladu ci Micropythonu. Podľa testov autora je pri 100 MHz približne 30x rýchlejší pri riadeni GPIO nez Micropython na Pyboard taktovanej na 168 MHz.

    vlk | Komentářů: 0
    včera 19:44 | Nová verze

    Grafana (Wikipedie), tj. open source nástroj pro vizualizaci různých metrik a s ní související dotazování, upozorňování a lepší porozumění, byla vydána ve verzi 12.0. Přehled novinek v aktualizované dokumentaci.

    Ladislav Hagara | Komentářů: 0
    včera 17:33 | Nová verze

    Raspberry Pi OS, oficiální operační systém pro Raspberry Pi, byl vydán v nové verzi 2025-05-06. Přehled novinek v příspěvku na blogu Raspberry Pi a poznámkách k vydání. Pravděpodobně se jedná o poslední verzi postavenou na Debianu 12 Bookworm. Následující verze by již měla být postavena na Debianu 13 Trixie.

    Ladislav Hagara | Komentářů: 0
    včera 05:33 | Komunita

    Richard Stallman dnes v Liberci přednáší o svobodném softwaru a svobodě v digitální společnosti. Od 16:30 v aule budovy G na Technické univerzitě v Liberci. V anglickém jazyce s automaticky generovanými českými titulky. Vstup je zdarma i pro širokou veřejnost.

    Ladislav Hagara | Komentářů: 13
    včera 03:55 | Komunita

    sudo-rs, tj. sudo a su přepsáné do programovacího jazyka Rust, nahradí v Ubuntu 25.10 klasické sudo. V plánu je také přechod od klasických coreutils k uutils coreutils napsaných v Rustu.

    Ladislav Hagara | Komentářů: 0
    6.5. 22:11 | Nasazení Linuxu

    Fedora se stala oficiální distribucí WSL (Windows Subsystem for Linux).

    Ladislav Hagara | Komentářů: 2
    6.5. 13:22 | IT novinky

    Společnost IBM představila server IBM LinuxONE Emperor 5 poháněný procesorem IBM Telum II.

    Ladislav Hagara | Komentářů: 1
    6.5. 04:55 | Nová verze

    Byla vydána verze 4.0 multiplatformního integrovaného vývojového prostředí (IDE) pro rychlý vývoj aplikaci (RAD) ve Free Pascalu Lazarus (Wikipedie). Přehled novinek v poznámkách k vydání. Využíván je Free Pascal Compiler (FPC) 3.2.2.

    Ladislav Hagara | Komentářů: 1
    6.5. 00:33 | Komunita

    Podpora Windows 10 končí 14. října 2025. Připravovaná kampaň Konec desítek (End of 10) může uživatelům pomoci s přechodem na Linux.

    Ladislav Hagara | Komentářů: 32
    Jaký filesystém primárně používáte?
     (57%)
     (1%)
     (8%)
     (22%)
     (4%)
     (2%)
     (3%)
     (1%)
     (1%)
     (3%)
    Celkem 549 hlasů
     Komentářů: 25, poslední včera 20:12
    Rozcestník

    Dotaz: Btrfs - metadata

    13.6.2020 11:47 Honza
    Btrfs - metadata
    Přečteno: 472×
    Zdravim, řešil jsem problém vytížení PC až na load 30 a zjistil jsem, že se to děje až po připojení btrfs disku (md raid6) cca 8T , mount trvá cca 1-6 minut a celý systém průběžně zatuhává. HW problém by být neměl. Zkusil jsem btrfs a něco našel, ale i po opravě se nic nezměnilo. A teď jsem si všiml, při příkazu btrfs fi df /mountpoint se dozvím, že data 6T a metadata 2T - neni to moc ? Na jiným disku mám 0,5T a metadata 3G.

    Dají se metadata nějak redukovat ?

    Dík

    Honza

    Odpovědi

    13.6.2020 12:04 Michal
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    A zhorsuje se to postupem casu? Pokud ano, tak tohe jsem uz videl. Pomohlo az vykopirovat data a udelat ciste btrfs.

    Pokud to neni jen na hrani, tak doporucuji zvazit nasazeni nejakeho production-ready FS.
    13.6.2020 14:42 Honza
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    no to jsem nechtel psat vsechno - ano zhorsuje , ted to zrovna kopiruju a preformatuju to (to mi napadlo este nez jsem se zeptal tady). Je to doma uloziste na data od image disku , pres video , zalohy .......
    13.6.2020 14:47 Dotaz
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    Nebylo to vytvářené přes btrfs convert? Přes to vytvořeny fs se mi taky zboril
    14.6.2020 13:00 Honza
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    myslim, 6e jo. Nejak si matne vzpominam, za sem to snad i zase daval zpatky a zase konvertoval, ale pak to jelo ok.
    13.6.2020 18:46 Andrej | skóre: 51 | blog: Republic of Mordor
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    Pokud to neni jen na hrani, tak doporucuji zvazit nasazeni nejakeho production-ready FS.

    Tohle je odpověď z roku 2009? Nebo trolling pro zábavu? Nebo další zbytečný FUD? Facebook taky není production-ready, když používá Btrfs? Pravda, možná je Facebook „na hraní“, ale jinak ta analogie hrubě nesedí.

    Podle téhle „logiky“ by byl jediný production-ready FS ZFS, že ano. (Protože production-ready FS by měl mít (přinejmenším) (1) checksumy dat i metadat, (2) vestavěný RAID (tedy skutečný RAID, ne pouze AID bez R), (3) atomické snapshoty, (4) copy-on-write atd. Tohle splňují pouze Btrfs a ZFS. A ZFS má jistý chronický problém s licencí. Takže…)

    Ještě bych se rád zeptal, který filesystém (kromě ZFS) tedy je production-ready (a podle jaké definice)… Snad ne Ext4 [2009] [2012] [2015] [2018] s architekturou z dob 10-gigabytových disků, který nemá ani jednu z výše uvedených vlastností? To nebude ono. Jiné možnosti?

    Jendа avatar 13.6.2020 15:09 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    při příkazu btrfs fi df /mountpoint se dozvím, že data 6T a metadata 2T
    No asi hlavně kolik z toho je free a kolik used. Jinak jo, je to dost. Pro představu na 6TB FS kam se každý den rsyncovalo asi 8 virtuálek a pak se dělal snapshot měla metadata asi 400 GB, z toho většina free - pomohlo balance metadat -musage=20.
    Zdravim, řešil jsem problém vytížení PC až na load 30 a zjistil jsem, že se to děje až po připojení btrfs disku (md raid6) cca 8T , mount trvá cca 1-6 minut a celý systém průběžně zatuhává.
    Mrkni do iotopu jestli běží nějaký clean nebo tak něco.

    Píšeš úložiště images - čekal bych, že to je způsobené fragmentací a CoW malinkých bloků. Vypni CoW. Pokud ho ale potřebuješ, tak to máš blbý.
    13.6.2020 19:33 Andrej | skóre: 51 | blog: Republic of Mordor
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    až po připojení btrfs disku (md raid6)

    Jestli to správně chápu, jedná se tedy o AID6 (nikoliv RAID6) vytvořený přes zastaralý mdadm a na tom Btrfs? Aniž bych se pokoušel spekulovat, proč je ten filesystém rozbitý, jen poznamenám: Taková konfigurace se nedoporučuje. Filesystémy vhodné pro 21. století (Btrfs, ZFS) mají opravdový RAID vestavěný v sobě, a to z mnoha velmi dobrých důvodů.

    Berličky typu mdadm (nebo novější dmadm provázaný s LVM) implicitně vytvářejí pouze AID bez R. Není tam žádná skutečná redundance. (Příklad: AID po náhodném (low-level) přepisu jednoho z disků (při zachování headeru) zničí všechna data. Skutečný RAID (Btrfs, ZFS) takový průšvih ustojí, pokud je v redundantní konfiguraci. Podobně je tomu u silent data corruption a dalších typů selhání disků — AID vrací náhodná data, RAID konzistentní data (nebo taky nic, jsou-li všechny repliky poškozené a/nebo chybí příliš mnoho kousků dat+parity).)

    Ano, vím, že existuje dm-integrity, ale to je voser navíc, který je třeba explicitně nastavit a který poskytuje jenom 1 výhodu / řeší jenom 1 problém, zatímco všechny ostatní výhody/problémy neposkytuje/neřeší.

    Tady je znamenitý blogpost na dané téma, který by měl být povinná četba. (I přesto, že autor nakonec úplně přestal používat Btrfs ;-) a zůstal u ZFS.)

    14.6.2020 13:24 Honza
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    ano, je to 5 4T disku v (r)aid6 , potom pres cryploluks sifrovani , na cryptooddile LVM2 a pak btrfs. ale ten je jen jeden z mnoha jak btrfs, tak i jinych. Teda mam uz cca 15 let fungujici (z raid 5 jsem menil na 6 a pak menil dizky z 1T , 2T a nakonec 4T). Je to domaci server , kde jsou videa , zalohy , zalohy image, kdyz opravuju disk atd. neni to nic firemniho. A jednu virtualku W10 na ucetnicvi.(a par dalsich virtualek linuxu)

    Vim, ze by to asi nahradil ZFS a nejaky unix NAS , ale to bych musel koupit horu pameti. Ted tam mam 16G , z toho 4G pro DOM0 a zbytek pro virtualky.
    14.6.2020 10:20 a1bert | skóre: 23
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    co ti ukazuje:
    btrfs fi us /mountpoint
    btrfs de st /mountpoint 
    uname -a
    
    14.6.2020 13:17 Honza
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    Příloha:
    Bylo to puvodne na debianu 8 , ted je to na alpine linuxu.
    14.6.2020 13:27 Honza
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    Metadata,single: Size:1.29TiB, Used:882.81GiB

    asi se to nejak meni v case, ted je system stabilni , load 1.2 , ale bylo to vic.
    14.6.2020 14:39 a1bert | skóre: 23
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    mas tam malo volneho mista, jakej ma ten svazek "usecase"?

    ten load ktery si pozoroval byla zrejme interni balancing metadat (proto kleslo obsazeni metadat z 1.2T na 800M), ale porad to neni uplne koser, obzvlaste pokud data na svazku casto menis. Pokud dobre pocitam mas cca 2% volneho mista oproti doporucovanym 10-15% https://btrfs.wiki.kernel.org/index.php/SysadminGuide#Balancing

    ja bych tam zkusil neco pomazat, propripade pridal docasne nejake nove blokove zarizeni a zkusil nejaky rucni balancing (nejdrive prazdne chunky: -dusage=0 pak -musage=0 a nakonec -musage=50), mohlo by to uvolnit nejake misto,

    kazdopadne s takhle starym jadrem muzes skoncit v nejakem neprerusitelnem (balance cancel) loopu ze ktereho se dostanes pouze rebootem + balance=skip parametrem mountu, aby po restartu nepokracoval v balancingu takze se priprav i na tuto eventualitu

    pokud svazek neni jen nejake odkladiste a je aktivne pouzivan, urcite budes muset dodrzovat doporucene "volne misto", nebo alespon pravidelne balancovat, jinak se casem dostanes do stejneho stavu...

    (o tom ze btrfs nad lvm/dm raidem neni dobry napad uz psali jini...)

    (rotoval jsem na btrfs zaznamy z bezpecnostnich kamer a mel jsem podobne problemy, nakonec jsem to vyresil zmenou na "hloupy" FS, ktery muzu zaplnovat do 100% aniz bych se o nej musel starat)
    14.6.2020 15:32 Honza
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    malo mista ..... jsem mu pres LVM dal 1T , pustil na nej btrsfsck (mel chyby), a jeste ho promazal. Na tomhle konkretnim disku jsou zalohy dat z domova - teda je tam zaloha ucetnictvi - nic, a pak vse od cca 97 roku , teda kdyz jsem si delal nove PC , data sla sem, image instalacek, rekl bych ze je to uloziste, kde se data moc nemeni. Jedine, prave proto, ze uz nekolik let se odhodlavam, ze si v tech datech udelam poradek, tak tam byl pustenej dedup , ale tak 3 roky zpet.

    Zvlastni - ale uz od zacatku, pokud v mc chci mazat soubor - treba 500m , tak to trva treba 10 sec. U ext4 to byva hned. U presunu v ramci svazku taky. Mam zaply compress=lzo
    14.6.2020 15:59 a1bert | skóre: 23
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    ja tam volny 1TB nikde nevidim:

    Free (estimated): 141.68MiB (min: 141.68MiB)

    pridej tam nove blokove zarizeni (btrfs device add)
    14.6.2020 18:59 Honza
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    ten system mel cca 5T a ja mu jeden pridal. Ted ma cca 6. Co to misto zaplnilo netusim.
    14.6.2020 23:48 a1bert | skóre: 23
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    no jelikoz tam mas 5T jen v datech (bez meta) tak bych nejdrive zjistil co to zaplnilo ...

    Data,single: Size:4.98TiB, Used:4.98TiB

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.