abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 05:11 | Komunita

    Dlouholetý balíčkář KDE Jonathan Riddell končí. Jeho práci na KDE neon financovala firma Blue Systems, která ale končí (Clemens Tönnies, Jr., dědic jatek Tönnies Holding, ji už nebude sponzorovat), někteří vývojáři KDE se přesunuli k nově založené firmě Techpaladin. Pro Riddella se již nenašlo místo. Následovala debata o organizaci těchto firem, které zahraniční vývojáře nezaměstnávají, nýbrž najímají jako kontraktory (s příslušnými důsledky z pohledu pracovního práva).

    |🇵🇸 | Komentářů: 0
    dnes 02:33 | Komunita

    V Amsterdamu probíhá Blender Conference 2025. Videozáznamy přednášek lze zhlédnout na YouTube. V úvodní keynote Ton Roosendaal oznámil, že k 1. lednu 2026 skončí jako chairman a CEO Blender Foundation. Tyto role převezme současný COO Blender Foundation Francesco Siddi.

    Ladislav Hagara | Komentářů: 0
    dnes 02:22 | Zajímavý článek

    The Document Foundation, organizace zastřešující projekt LibreOffice a další aktivity, zveřejnila výroční zprávu za rok 2024.

    ZCR | Komentářů: 0
    včera 17:33 | Nová verze

    Byla vydána nová stabilní verze 7.6 webového prohlížeče Vivaldi (Wikipedie). Postavena je na Chromiu 140. Přehled novinek i s náhledy v příspěvku na blogu.

    Ladislav Hagara | Komentářů: 0
    včera 16:22 | Nová verze

    Byla vydána verze 1.90.0 programovacího jazyka Rust (Wikipedie). Podrobnosti v poznámkách k vydání. Vyzkoušet Rust lze například na stránce Rust by Example.

    Ladislav Hagara | Komentářů: 0
    včera 16:11 | Nová verze

    GNUnet (Wikipedie) byl vydán v nové major verzi 0.25.0. Jedná se o framework pro decentralizované peer-to-peer síťování, na kterém je postavena řada aplikací.

    Ladislav Hagara | Komentářů: 0
    včera 12:11 | Nová verze

    Byla vydána nová major verze 7.0 živé linuxové distribuce Tails (The Amnesic Incognito Live System), jež klade důraz na ochranu soukromí uživatelů a anonymitu. Nově je postavena je na Debianu 13 (Trixie) a GNOME 48 (Bengaluru). Další novinky v příslušném seznamu.

    Ladislav Hagara | Komentářů: 0
    včera 04:44 | IT novinky

    Společnost Meta na dvoudenní konferenci Meta Connect 2025 představuje své novinky. První den byly představeny nové AI brýle: Ray-Ban Meta (Gen 2), sportovní Oakley Meta Vanguard a především Meta Ray-Ban Display s integrovaným displejem a EMG náramkem pro ovládání.

    Ladislav Hagara | Komentářů: 0
    včera 01:11 | Nová verze

    Po půl roce vývoje od vydání verze 48 bylo vydáno GNOME 49 s kódovým názvem Brescia (Mastodon). S přehrávačem videí Showtime místo Totemu a prohlížečem dokumentů Papers místo Evince. Podrobný přehled novinek i s náhledy v poznámkách k vydání a v novinkách pro vývojáře.

    Ladislav Hagara | Komentářů: 11
    17.9. 16:22 | Nová verze

    Open source softwarový stack ROCm (Wikipedie) pro vývoj AI a HPC na GPU od AMD byl vydán ve verzi 7.0.0. Přidána byla podpora AMD Instinct MI355X a MI350X.

    Ladislav Hagara | Komentářů: 0
    Jaké řešení používáte k vývoji / práci?
     (39%)
     (55%)
     (6%)
     (9%)
     (12%)
     (9%)
     (12%)
     (9%)
     (15%)
    Celkem 33 hlasů
     Komentářů: 5, poslední včera 22:30
    Rozcestník

    Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?

    24.1.2022 09:08 | Přečteno: 2175× | linux

    Dnes si nastřelíme malý triviální chytáček, na který ale občas někdo sem tam stále skočí.

    No space left

    Při pokusu zapsat jakákoli data na ext4 hlásí svazek, že na něm již není místo. Info o svazku:

    # pokus o zápis
    [max@server ~]$ touch /var/lib/docker/test.txt
    no space left
    
    # kontrola volného místa
    [max@server ~]$ df -h
    Filesystem              Size  Used Avail Use% Mounted on
    devtmpfs                3.8G     0  3.8G   0% /dev
    tmpfs                   3.8G     0  3.8G   0% /dev/shm
    tmpfs                   3.8G  377M  3.5G  10% /run
    tmpfs                   3.8G     0  3.8G   0% /sys/fs/cgroup
    /dev/mapper/vg0-root    6.9G  989M  5.6G  15% /
    /dev/mapper/vg0-usr     3.9G  2.6G  1.2G  70% /usr
    /dev/sda2               575M  315M  219M  60% /boot
    /dev/sda1               300M  5.9M  294M   2% /boot/efi
    /dev/mapper/vg0-tmp     976M  3.8M  905M   1% /tmp
    /dev/mapper/vg0-var     6.9G  540M  6.0G   9% /var
    /dev/mapper/vg1-docker  176G  116G   53G  69% /var/lib/docker
    tmpfs                   777M     0  777M   0% /run/user/1618004160
    
    # kontrola rezervovaných bloků
    [max@server ~]$ tune2fs -l /dev/mapper/vg1-docker | grep -i 'Reserv'
    Reserved block count:     1987014
    Reserved GDT blocks:      1006
    Reserved blocks uid:      0 (user root)
    Reserved blocks gid:      0 (group root)
    

    fsck svazku nic neukáže, fs je plně ok.


    Uhádnete, kde je problém?

    Předpokládám, že se s tím už každý zkušenější uživatel setkal, ale pro někoho to může být zajímavé. A nezapomeňte zmínit i řešení :).

    Zdar Max

    PS: znovu připomínám, že problém je dávno vyřešen, ale přišlo mi to celkem zajímavé jako kvízek (nedávno se na to chytil můj kolega)


    Předchozí kvízy
    Střípky z IT - (1). : Uhádnete, kde byl problém?
    Střípky z IT - (2) : DHCP : Uhádnete, kde byl problém?
    Střípky z IT - (3) : NFS : Uhádnete, kde byl problém?
    Střípky z IT - (4) : MX-ONE : Uhádnete, kde byl problém?
    Střípky z IT - (5) : CentOS7 : Uhádnete, kde byl problém?
           

    Hodnocení: 100 %

            špatnédobré        

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    24.1.2022 09:21 Milan
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Dosli ti tam inody?
    Max avatar 24.1.2022 09:49 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    No jasně, a řešení? :).
    Zdar Max
    Měl jsem sen ... :(
    24.1.2022 09:56 disorder | blog: weblog
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    destruktivne ci nedestruktivne? :)

    Note: If you use OverlayFS, use the overlay2 driver rather than the overlay driver, because it is more efficient in terms of inode utilization.
    Max avatar 24.1.2022 10:58 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Nedestruktivní řešení není. Řešením je takový svazek přeformátovat tak, aby bylo přiděleno více inode k poměru k datům. Tj. zazálohujeme data, přeformátujeme a pak data nakopírujeme zpět:
    # default je:
    mkfs.ext4 -i 16384 /dev/neco
    
    # jak to vypadá:
    tune2fs -l /dev/neco |grep Inode
    Inode count:              655360
    Inodes per group:         8192
    Inode blocks per group:   512
    Inode size:               256
    
    
    # zdvojnásobíme počet inode takto
    mkfs.ext4 -i 8192 /dev/neco
    
    # jak to pak vypadá
    tune2fs -l /dev/neco |grep Inode
    Inode count:              1310720
    Inodes per group:         16384
    Inode blocks per group:   1024
    Inode size:               256
    

    S tím, že když se kontroluje volné místo, tak je třeba kontrolovat nejen pomocí "df -h", ale i "df -i", které právě ukáže zaplnění inode.

    Zdar Max
    Měl jsem sen ... :(
    Max avatar 24.1.2022 11:03 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Ještě doplním, že toto samozřejmě platí pro případ, kdy tam máme regulérní data a né nějakou chybu, která nám ty inody sežrala. V případě regulérního nasazení jsem se s tímto problémem setkal u ElasticSearch a u Dockeru. Obě řešení generují velký počet souborů, který vysaturuje inody.
    Zdar Max
    Měl jsem sen ... :(
    24.1.2022 11:30 MP
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Nestaci zvetsit disk a resiznout? Ja se s vycerpanymi inody snad nikdy nesetkal, tak nevim, zda to lze.
    Max avatar 24.1.2022 11:34 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    To samozřejmě nějaké inody přihodí, ale je ti to celkem k prdu. Z příkladu vidíš, že je tam reálně volných 50GB dat a inody došly. Resize je možná jen dočasný workaround, který ti umožní si naplánovat odstávku na přeformátování. Pokud nepřeformátuješ, dojdou ti inody zachvíli znovu, protože máš evidentně nasazenou nějakou app, co generuje hafec malých souborů.
    Lepší workaround je možná něco rychle vymáznout.
    Zdar Max
    Měl jsem sen ... :(
    25.1.2022 14:00 j
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Mnohem jednodussi a efektivnejsi reseni bude neco naladovat do archivu (a netreba to ani komprimovat, pokud jde o vykon). Ten muzes navic nekam mountnout, takze ty soubory ani nikde nezmizej.

    Jinak i ty inody bys byl schopnej pridat (bez formatovani) jen by to bylo takovy manualni pitvani fs (=musel bys laborovat primo s jeho blokama, nektery presunovat ...). Takze casove pomerne neefektivni.

    ---

    Dete s tim guuglem dopice!
    xsubway avatar 26.1.2022 07:08 xsubway | skóre: 13 | blog: litera_scripta_manet
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    V tom příkladu nastavuješ polovinu z původní hodnoty - to není dvojnásobek.
    Max avatar 26.1.2022 08:18 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    To se pleteš. Nastavuje se tam dvojnásobek počtu inode tím, že se mění poměr bajtů k inode. Pokud chceš mít víc inode, musíš počet bajtů snížit. Viz "-i bytes-per-inode".
    Nebo mi chceš tvrdit, že 1310720 není dvojnásobek hodnoty 655360?
    Zdar Max
    Měl jsem sen ... :(
    xsubway avatar 26.1.2022 18:01 xsubway | skóre: 13 | blog: litera_scripta_manet
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Ok. Dik za vysvětlení.
    24.1.2022 09:58 Xerces
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    BTRFS?
    ⧠ A = 0 avatar 24.1.2022 10:08 ⧠ A = 0 | skóre: 11 | blog: Technokratovo_zrcadlo | Helsinki
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    ReiserFS
    Nevolte zmrdy.
    ⧠ A = 0 avatar 24.1.2022 10:12 ⧠ A = 0 | skóre: 11 | blog: Technokratovo_zrcadlo | Helsinki
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Jinak osobně jsem to posledně řešil rm -r na složku, kde mi kvůli chybě vytvořil program miliony souborů po dvaceti slabikách („prázdné“ gzip soubory).

    „Užitečná“ data bych asi spojil do tar archivu nebo něčeho podobného. Nebo ještě úplně na začátku v aplikaci nevytvářet příliš mnoho malých souborů.
    Nevolte zmrdy.
    ⧠ A = 0 avatar 24.1.2022 10:18 ⧠ A = 0 | skóre: 11 | blog: Technokratovo_zrcadlo | Helsinki
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    (Což možná úplně nebude fungovat u dockeru. Nevím, proč zrovna docker žere tolik i-uzlů, ale pokud s tím nic jiného nenadělám, tak buď vytvořit ext4 s větším množstvím uzlů (mke2fs -i), nebo použít jiný souborový systém.)
    Nevolte zmrdy.
    Migi avatar 24.1.2022 12:57 Migi | skóre: 59 | blog: Mig_Alley
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    jednorazově:

    docker system prune -a --volumes

    a do cronu pravidelně

    docker system prune -a -f
    Max avatar 24.1.2022 13:32 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Tak třeba to v příkladu byl gitlab-runner, kde prune probíhá celkem pravidelně. Ale s postupným navyšováním zátěže to pak stejně nedopadne dobře. Takže jako workaround na uvolnění místa ok, ale trvalé řešení opravdu přeformátovat na jiný poměr inode, nebo změnit filesystem.
    Zdar Max
    Měl jsem sen ... :(
    24.1.2022 19:51 plostenka | blog: plstnk
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Trvale reseni je nepouivat bastlsw, ktery mala data uklada do souboru misto do DB, ktery po sobe nemaze vlastni bordel, pripadne ktery nema specificke naroky na FS v dokumentaci.
    Max avatar 25.1.2022 08:46 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    ktery mala data uklada do souboru misto do DB

    Hloupost, to by jsi vyřadil hafec super aplikací (dovecot, docker, elk, minio a další) a to jen kvůli prapodivnému argumentu.

    ktery po sobe nemaze vlastni bordel

    Prune je zdokumentovaná věc a každý si tak může nastavit cykl promazávání jak chce. Nevidím v tom problém.
    Zdar Max
    Měl jsem sen ... :(
    25.1.2022 12:13 plostenka | blog: plstnk
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Hloupost, to by jsi vyřadil hafec super aplikací (dovecot, docker, elk, minio a další) a to jen kvůli prapodivnému argumentu.
    Kdy naposledy ti DB vyzrala inody? I minimalisticky sqlite3 te od tohohle problemu odstini, nehlede na pomalost prochazeni adresaru s mnohatisici inodami uvnitr.

    To je treba duvod proc si pisu sqlite3 patch pro mutt, aby misto maildiru byly maily ulozene v DB. Mailbox je krehky a snadno rozbitelny, to neni reseni.
    Prune je zdokumentovaná věc a každý si tak může nastavit cykl promazávání jak chce. Nevidím v tom problém.
    To by si mel hlavne hlidat docker sam od sebe, primarne bordel vubec nedelat aby nebylo co mazat.
    Max avatar 25.1.2022 13:16 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    U DB jsem řešil zase milion jiných věcí. Problém s inody je specifický pro ext4, řešení je pak jednoduché, použít jiný fs.
    Zdar Max
    Měl jsem sen ... :(
    24.1.2022 10:10 Semo | skóre: 45 | blog: Semo
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Vyborny chytak je (nechat si) odobrat pravo "x" z korenoveho adresara (chmod -x /). Zakernost je v tom, ze rootovi vsetko funguje a zaroven dnesne filemanagery obvykle nezobrazuju polozku "." v roote, takze si to clovek nevsimne.
    If you hold a Unix shell up to your ear, you can you hear the C.
    Jendа avatar 24.1.2022 11:21 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Já jsem zase nějak kopíroval a obnovoval systém a /tmp přišlo o právo t. A pak se začaly rozbíjet náhodné věci.
    Jendа avatar 24.1.2022 11:24 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Když už jsme u toho, všimli jste si (řešilo se to na Rootu), že když naformátujete device na ext4 vs. třeba na XFS, tak na ext4 je výrazně (cca. 5%) méně volného místa (a ne, nejedná se o rezervované místo pro roota)? Trochu pomůže mkfs.ext4 -T largefile, ale stejně to vypadá, jako kdyby mělo ext4 mnohem vyšší režii než konkurence. Nebo to jenom takhle reportuje, a konkurence to místo spotřebuje až během používání FS?
    Max avatar 24.1.2022 11:29 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Zajímavý námět, zkusím si s tím pohrát, až bude chvilka času. Podle mě to možné je.
    Zdar Max
    Měl jsem sen ... :(
    24.1.2022 13:30 marbu | skóre: 31 | blog: hromada | Brno
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Nemůže to být třeba právě tím rozdílem v alokaci inodů (dynamicky u XFS vs staticky u ext4)? Ale to jenom hádám.
    There is no point in being so cool in a cold world.
    Heron avatar 31.1.2022 12:28 Heron | skóre: 53 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Všimli.

    Na rozdíl od XFS si ext vytváří vše staticky.
    31.1.2022 19:07 petr_p | skóre: 59 | blog: pb
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    A všimli jste si, že XFS do pár megabajtového blokového souboru neuděláte? Na rozdíl od ext FS? Jestli to nebude tím, každý z těch systémů vznikl v jiné době za jiným účelem, takže jejich datové struktury a jejich efektivita vzhledem k velikosti zařízení tomu odpovídají.
    24.1.2022 12:53 Petr
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Kde byl problém? Neschopný admin - píčus.
    Max avatar 24.1.2022 13:34 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Zato lidé, co mají pusu plnou vulgarit od lopaty, ty jsou výkvětem inteligence, co? :D
    Zdar Max
    Měl jsem sen ... :(
    24.1.2022 16:55 _
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    říká někdo, kdo má vulgární i přezdívku
    24.1.2022 15:46 alkoholik | skóre: 40 | blog: Alkoholik
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Jo, tohle jsem potkal uz 3x.
    V prastarem monitorovacim systemu kombinovanem s mail serverem, na Oracle AVDF (ten nikomu nepreju ani za trest) kvuli nemazanym audit files z ASM a na pohovoru.
    Max avatar 24.1.2022 16:51 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Hmm, Oracle AVDF, to asi musí být další pecka cena :)

    Jinak já se s tím setkal asi 4x. Jednou nějaký webhosting (asi wp, co vygeneroval moc souborů + maily k tomu). Pak u dockeru, kde je opravdu hafec malých souborů a to samé pak i u ElasticSearch, který taktéž generuje hafec malých souborů.
    Stále si říkám, zda se toho ext4 ve VM stále držet, nebo zda už na to nehodit bobek :).
    Zdar Max
    Měl jsem sen ... :(
    24.1.2022 20:32 Dirka | skóre: 15 | blog: dirka12345
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?

    Pred lety sem to na jedne VPS resil takto, byly to statisice malych souboru (vsechny repozitare gentoo vcetne overlayu)

    dd if=/dev/zero of=/virtualfs bs=1024 count=3307200
    losetup /dev/loop0 /virtualfs
    mkfs -t ext3 -b 1024 -N 1000000 /dev/loop0
    mount -t ext3 /dev/loop0 /var/www/xxx/gentoo/portage/

    a VPS zila nekolik dalsich let :)

    ⧠ A = 0 avatar 25.1.2022 07:47 ⧠ A = 0 | skóre: 11 | blog: Technokratovo_zrcadlo | Helsinki
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    V čem je to lepší než normální oddíl stejné velikosti?
    Nevolte zmrdy.
    25.1.2022 08:50 Dirka | skóre: 15 | blog: dirka12345
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Nemusis delat resize stavajici partisny (byla to VPS bez fyzickyho pristupu a root fs).
    26.1.2022 11:48 luky
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Pri 4kB blocich by byla sance tak 1% ze by musel rodicovsky adresar vyrust aby pojmul nove jmeno. Logicke mi prijde kontrolovat rovnou inody. Casto mi prijde, ze lide moc nepremysli nad tim, co vlastne provadena operace delala.

    Založit nové vláknoNahoru

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.