abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    včera 20:44 | Nová verze

    Svobodný a otevřený multiplatformní editor EPUB souborů Sigil (Wikipedie, GitHub) byl vydán ve verzi 2.5.0. Stejně tak doprovodný vizuální EPUB XHTML editor PageEdit (GitHub).

    Ladislav Hagara | Komentářů: 0
    včera 12:22 | IT novinky

    Na základě národního atribučního procesu vláda České republiky označila Čínskou lidovou republiku za zodpovědnou za škodlivou kybernetickou kampaň proti jedné z neutajovaných komunikačních sítí Ministerstva zahraničních věcí ČR. Tato škodlivá aktivita, která trvala od roku 2022 a zasáhla instituci zařazenou na seznam české kritické infrastruktury, byla provedena kyberšpionážní skupinou APT31, veřejně spojovanou se zpravodajskou službou Ministerstvo státní bezpečnosti (MSS).

    Ladislav Hagara | Komentářů: 22
    včera 00:11 | Nová verze

    Google Chrome 137 byl prohlášen za stabilní. Nejnovější stabilní verze 137.0.7151.55 přináší řadu novinek z hlediska uživatelů i vývojářů. Podrobný přehled v poznámkách k vydání. Opraveno bylo 11 bezpečnostních chyb. Vylepšeny byly také nástroje pro vývojáře.

    Ladislav Hagara | Komentářů: 0
    27.5. 19:22 | Nová verze

    Byl vydán AlmaLinux OS 10 s kódovým názvem Purple Lion. Podrobnosti v poznámkách k vydání. Na rozdíl od Red Hat Enterprise Linuxu 10 nadále podporuje x86-64-v2.

    Ladislav Hagara | Komentářů: 0
    27.5. 15:11 | Nová verze

    Byl vydán Mozilla Firefox 139.0. Přehled novinek v poznámkách k vydání a poznámkách k vydání pro vývojáře. Řešeny jsou rovněž bezpečnostní chyby. Nový Firefox 139 je již k dispozici také na Flathubu a Snapcraftu.

    Ladislav Hagara | Komentářů: 9
    27.5. 10:44 | Komunita

    Byly publikovány výsledky průzkumu mezi uživateli Blenderu uskutečněného v říjnu 2024. Zúčastnilo se více než 7000 uživatelů. Téměř 93 % z nich například používá uživatelské rozhraní v angličtině.

    Ladislav Hagara | Komentářů: 23
    26.5. 23:55 | Zajímavý článek

    Lukáš Růžička v článku RamaLama aneb vyháníme lamy na vlastní louku na MojeFedora.cz představuje open source nástroj RamaLama umožňující spouštět jazykové modely v izolovaných OCI kontejnerech, a to bezpečně, bez potřeby mít root přístup k počítači, s podporou GPU či CPU a bez zbytečných obtížností kolem.

    Ladislav Hagara | Komentářů: 0
    26.5. 22:55 | Nová verze

    Byl vydán Sublime Text 4 Build 4200. Sublime Text (Wikipedie) je proprietární multiplatformní editor textových souborů a zdrojových kódů. Ke stažení a k vyzkoušení je zdarma. Pro další používání je nutná licence v ceně 99 dolarů. Spolu se Sublime Merge je cena 168 dolarů.

    Ladislav Hagara | Komentářů: 0
    26.5. 18:00 | Nová verze

    Multiplatformní open source voxelový herní engine Luanti byl vydán ve verzi 5.12.0. Podrobný přehled novinek v changelogu. Původně se jedná o Minecraftem inspirovaný Minetest v říjnu loňského roku přejmenovaný na Luanti.

    Ladislav Hagara | Komentářů: 0
    26.5. 16:11 | Nová verze

    Armbian, tj. linuxová distribuce založená na Debianu a Ubuntu optimalizovaná pro jednodeskové počítače na platformě ARM a RISC-V, ke stažení ale také pro Intel a AMD, byl vydán ve verzi 25.5. Přehled novinek v Changelogu.

    Ladislav Hagara | Komentářů: 0
    Jaký je váš oblíbený skriptovací jazyk?
     (55%)
     (32%)
     (8%)
     (3%)
     (0%)
     (0%)
     (3%)
    Celkem 154 hlasů
     Komentářů: 12, poslední včera 18:42
    Rozcestník

    Dotaz: Btrfs - metadata

    13.6.2020 11:47 Honza
    Btrfs - metadata
    Přečteno: 474×
    Zdravim, řešil jsem problém vytížení PC až na load 30 a zjistil jsem, že se to děje až po připojení btrfs disku (md raid6) cca 8T , mount trvá cca 1-6 minut a celý systém průběžně zatuhává. HW problém by být neměl. Zkusil jsem btrfs a něco našel, ale i po opravě se nic nezměnilo. A teď jsem si všiml, při příkazu btrfs fi df /mountpoint se dozvím, že data 6T a metadata 2T - neni to moc ? Na jiným disku mám 0,5T a metadata 3G.

    Dají se metadata nějak redukovat ?

    Dík

    Honza

    Odpovědi

    13.6.2020 12:04 Michal
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    A zhorsuje se to postupem casu? Pokud ano, tak tohe jsem uz videl. Pomohlo az vykopirovat data a udelat ciste btrfs.

    Pokud to neni jen na hrani, tak doporucuji zvazit nasazeni nejakeho production-ready FS.
    13.6.2020 14:42 Honza
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    no to jsem nechtel psat vsechno - ano zhorsuje , ted to zrovna kopiruju a preformatuju to (to mi napadlo este nez jsem se zeptal tady). Je to doma uloziste na data od image disku , pres video , zalohy .......
    13.6.2020 14:47 Dotaz
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    Nebylo to vytvářené přes btrfs convert? Přes to vytvořeny fs se mi taky zboril
    14.6.2020 13:00 Honza
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    myslim, 6e jo. Nejak si matne vzpominam, za sem to snad i zase daval zpatky a zase konvertoval, ale pak to jelo ok.
    13.6.2020 18:46 Andrej | skóre: 51 | blog: Republic of Mordor
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    Pokud to neni jen na hrani, tak doporucuji zvazit nasazeni nejakeho production-ready FS.

    Tohle je odpověď z roku 2009? Nebo trolling pro zábavu? Nebo další zbytečný FUD? Facebook taky není production-ready, když používá Btrfs? Pravda, možná je Facebook „na hraní“, ale jinak ta analogie hrubě nesedí.

    Podle téhle „logiky“ by byl jediný production-ready FS ZFS, že ano. (Protože production-ready FS by měl mít (přinejmenším) (1) checksumy dat i metadat, (2) vestavěný RAID (tedy skutečný RAID, ne pouze AID bez R), (3) atomické snapshoty, (4) copy-on-write atd. Tohle splňují pouze Btrfs a ZFS. A ZFS má jistý chronický problém s licencí. Takže…)

    Ještě bych se rád zeptal, který filesystém (kromě ZFS) tedy je production-ready (a podle jaké definice)… Snad ne Ext4 [2009] [2012] [2015] [2018] s architekturou z dob 10-gigabytových disků, který nemá ani jednu z výše uvedených vlastností? To nebude ono. Jiné možnosti?

    Jendа avatar 13.6.2020 15:09 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    při příkazu btrfs fi df /mountpoint se dozvím, že data 6T a metadata 2T
    No asi hlavně kolik z toho je free a kolik used. Jinak jo, je to dost. Pro představu na 6TB FS kam se každý den rsyncovalo asi 8 virtuálek a pak se dělal snapshot měla metadata asi 400 GB, z toho většina free - pomohlo balance metadat -musage=20.
    Zdravim, řešil jsem problém vytížení PC až na load 30 a zjistil jsem, že se to děje až po připojení btrfs disku (md raid6) cca 8T , mount trvá cca 1-6 minut a celý systém průběžně zatuhává.
    Mrkni do iotopu jestli běží nějaký clean nebo tak něco.

    Píšeš úložiště images - čekal bych, že to je způsobené fragmentací a CoW malinkých bloků. Vypni CoW. Pokud ho ale potřebuješ, tak to máš blbý.
    13.6.2020 19:33 Andrej | skóre: 51 | blog: Republic of Mordor
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    až po připojení btrfs disku (md raid6)

    Jestli to správně chápu, jedná se tedy o AID6 (nikoliv RAID6) vytvořený přes zastaralý mdadm a na tom Btrfs? Aniž bych se pokoušel spekulovat, proč je ten filesystém rozbitý, jen poznamenám: Taková konfigurace se nedoporučuje. Filesystémy vhodné pro 21. století (Btrfs, ZFS) mají opravdový RAID vestavěný v sobě, a to z mnoha velmi dobrých důvodů.

    Berličky typu mdadm (nebo novější dmadm provázaný s LVM) implicitně vytvářejí pouze AID bez R. Není tam žádná skutečná redundance. (Příklad: AID po náhodném (low-level) přepisu jednoho z disků (při zachování headeru) zničí všechna data. Skutečný RAID (Btrfs, ZFS) takový průšvih ustojí, pokud je v redundantní konfiguraci. Podobně je tomu u silent data corruption a dalších typů selhání disků — AID vrací náhodná data, RAID konzistentní data (nebo taky nic, jsou-li všechny repliky poškozené a/nebo chybí příliš mnoho kousků dat+parity).)

    Ano, vím, že existuje dm-integrity, ale to je voser navíc, který je třeba explicitně nastavit a který poskytuje jenom 1 výhodu / řeší jenom 1 problém, zatímco všechny ostatní výhody/problémy neposkytuje/neřeší.

    Tady je znamenitý blogpost na dané téma, který by měl být povinná četba. (I přesto, že autor nakonec úplně přestal používat Btrfs ;-) a zůstal u ZFS.)

    14.6.2020 13:24 Honza
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    ano, je to 5 4T disku v (r)aid6 , potom pres cryploluks sifrovani , na cryptooddile LVM2 a pak btrfs. ale ten je jen jeden z mnoha jak btrfs, tak i jinych. Teda mam uz cca 15 let fungujici (z raid 5 jsem menil na 6 a pak menil dizky z 1T , 2T a nakonec 4T). Je to domaci server , kde jsou videa , zalohy , zalohy image, kdyz opravuju disk atd. neni to nic firemniho. A jednu virtualku W10 na ucetnicvi.(a par dalsich virtualek linuxu)

    Vim, ze by to asi nahradil ZFS a nejaky unix NAS , ale to bych musel koupit horu pameti. Ted tam mam 16G , z toho 4G pro DOM0 a zbytek pro virtualky.
    14.6.2020 10:20 a1bert | skóre: 23
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    co ti ukazuje:
    btrfs fi us /mountpoint
    btrfs de st /mountpoint 
    uname -a
    
    14.6.2020 13:17 Honza
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    Příloha:
    Bylo to puvodne na debianu 8 , ted je to na alpine linuxu.
    14.6.2020 13:27 Honza
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    Metadata,single: Size:1.29TiB, Used:882.81GiB

    asi se to nejak meni v case, ted je system stabilni , load 1.2 , ale bylo to vic.
    14.6.2020 14:39 a1bert | skóre: 23
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    mas tam malo volneho mista, jakej ma ten svazek "usecase"?

    ten load ktery si pozoroval byla zrejme interni balancing metadat (proto kleslo obsazeni metadat z 1.2T na 800M), ale porad to neni uplne koser, obzvlaste pokud data na svazku casto menis. Pokud dobre pocitam mas cca 2% volneho mista oproti doporucovanym 10-15% https://btrfs.wiki.kernel.org/index.php/SysadminGuide#Balancing

    ja bych tam zkusil neco pomazat, propripade pridal docasne nejake nove blokove zarizeni a zkusil nejaky rucni balancing (nejdrive prazdne chunky: -dusage=0 pak -musage=0 a nakonec -musage=50), mohlo by to uvolnit nejake misto,

    kazdopadne s takhle starym jadrem muzes skoncit v nejakem neprerusitelnem (balance cancel) loopu ze ktereho se dostanes pouze rebootem + balance=skip parametrem mountu, aby po restartu nepokracoval v balancingu takze se priprav i na tuto eventualitu

    pokud svazek neni jen nejake odkladiste a je aktivne pouzivan, urcite budes muset dodrzovat doporucene "volne misto", nebo alespon pravidelne balancovat, jinak se casem dostanes do stejneho stavu...

    (o tom ze btrfs nad lvm/dm raidem neni dobry napad uz psali jini...)

    (rotoval jsem na btrfs zaznamy z bezpecnostnich kamer a mel jsem podobne problemy, nakonec jsem to vyresil zmenou na "hloupy" FS, ktery muzu zaplnovat do 100% aniz bych se o nej musel starat)
    14.6.2020 15:32 Honza
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    malo mista ..... jsem mu pres LVM dal 1T , pustil na nej btrsfsck (mel chyby), a jeste ho promazal. Na tomhle konkretnim disku jsou zalohy dat z domova - teda je tam zaloha ucetnictvi - nic, a pak vse od cca 97 roku , teda kdyz jsem si delal nove PC , data sla sem, image instalacek, rekl bych ze je to uloziste, kde se data moc nemeni. Jedine, prave proto, ze uz nekolik let se odhodlavam, ze si v tech datech udelam poradek, tak tam byl pustenej dedup , ale tak 3 roky zpet.

    Zvlastni - ale uz od zacatku, pokud v mc chci mazat soubor - treba 500m , tak to trva treba 10 sec. U ext4 to byva hned. U presunu v ramci svazku taky. Mam zaply compress=lzo
    14.6.2020 15:59 a1bert | skóre: 23
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    ja tam volny 1TB nikde nevidim:

    Free (estimated): 141.68MiB (min: 141.68MiB)

    pridej tam nove blokove zarizeni (btrfs device add)
    14.6.2020 18:59 Honza
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    ten system mel cca 5T a ja mu jeden pridal. Ted ma cca 6. Co to misto zaplnilo netusim.
    14.6.2020 23:48 a1bert | skóre: 23
    Rozbalit Rozbalit vše Re: Btrfs - metadata
    no jelikoz tam mas 5T jen v datech (bez meta) tak bych nejdrive zjistil co to zaplnilo ...

    Data,single: Size:4.98TiB, Used:4.98TiB

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.