abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 11:11 | Komunita

Google zveřejnil seznam 1 212 projektů od 198 organizací přijatých do letošního, již osmnáctého, Google Summer of Code.

Ladislav Hagara | Komentářů: 0
včera 23:33 | Nová verze

Byla vydána nová stabilní verze 3.16.0, tj. první z nové řady 3.16, minimalistické linuxové distribuce zaměřené na bezpečnost Alpine Linux (Wikipedie) postavené na standardní knihovně jazyka C musl libc a BusyBoxu.

Ladislav Hagara | Komentářů: 0
včera 19:33 | IT novinky

NoLog.cz IT kolektiv spustil Nitter.cz. Jedná se o alternativní rozhraní pro Twitter, které nesbírá osobní údaje, nevyžaduje přihlášení a všechny přístupy na Twitter provádí skrz servery NoLog.cz.

Ladislav Hagara | Komentářů: 11
včera 18:44 | Nová verze

Byla vydána nová major verze 15 softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech GitLab (Wikipedie). Představení nových vlastností i s náhledy a videi v oficiálním oznámení.

Ladislav Hagara | Komentářů: 0
22.5. 23:00 | Nová verze

Po 9 týdnech vývoje od vydání Linuxu 5.17 oznámil Linus Torvalds vydání Linuxu 5.18 (LKML). Přehled nových vlastností a vylepšení na stránce Linux Kernel Newbies.

Ladislav Hagara | Komentářů: 0
22.5. 14:44 | Komunita

V Ubuntu 22.10 s kódovým jménem Kinetic Kudu bude zvukový server PulseAudio nahrazen multimediálním serverem PipeWire.

Ladislav Hagara | Komentářů: 18
21.5. 22:44 | Zajímavý článek

Tavis Ormandy popisuje, jak zprovoznil 32 let starý unixový port tabulkového procesoru Lotus 1-2-3 na moderním Linuxu. Doprovodné zdrojové kódy jsou na GitHubu.

Fluttershy, yay! | Komentářů: 13
21.5. 17:00 | Nová verze

Po pěti měsících vývoje od vydání verze 250 byla vydána nová verze 251 správce systému a služeb systemd (GitHub, NEWS).

Ladislav Hagara | Komentářů: 3
21.5. 15:44 | IT novinky

HP ve spolupráci se System76 představil 14" notebook HP Dev One s procesorem AMD Ryzen 7 PRO a předinstalovaným Pop!_OS Linuxem.

Ladislav Hagara | Komentářů: 20
21.5. 15:00 | Nová verze

Byla vydána verze 1.61.0 programovacího jazyka Rust (Wikipedie). Podrobnosti v poznámkách k vydání. Vyzkoušet Rust lze například na stránce Rust by Example.

Ladislav Hagara | Komentářů: 0
Na sociálních sítích nebo jiných webových diskuzích vystupuji pod
 (61%)
 (16%)
 (23%)
Celkem 326 hlasů
 Komentářů: 29, poslední dnes 00:02
Rozcestník
Štítky: není přiřazen žádný štítek



Vložit další komentář
24.1. 09:21 Milan
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Dosli ti tam inody?
Max avatar 24.1. 09:49 Max | skóre: 70 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
No jasně, a řešení? :).
Zdar Max
Měl jsem sen ... :(
24.1. 09:56 disorder | blog: weblog
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
destruktivne ci nedestruktivne? :)

Note: If you use OverlayFS, use the overlay2 driver rather than the overlay driver, because it is more efficient in terms of inode utilization.
Max avatar 24.1. 10:58 Max | skóre: 70 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Nedestruktivní řešení není. Řešením je takový svazek přeformátovat tak, aby bylo přiděleno více inode k poměru k datům. Tj. zazálohujeme data, přeformátujeme a pak data nakopírujeme zpět:
# default je:
mkfs.ext4 -i 16384 /dev/neco

# jak to vypadá:
tune2fs -l /dev/neco |grep Inode
Inode count:              655360
Inodes per group:         8192
Inode blocks per group:   512
Inode size:               256


# zdvojnásobíme počet inode takto
mkfs.ext4 -i 8192 /dev/neco

# jak to pak vypadá
tune2fs -l /dev/neco |grep Inode
Inode count:              1310720
Inodes per group:         16384
Inode blocks per group:   1024
Inode size:               256

S tím, že když se kontroluje volné místo, tak je třeba kontrolovat nejen pomocí "df -h", ale i "df -i", které právě ukáže zaplnění inode.

Zdar Max
Měl jsem sen ... :(
Max avatar 24.1. 11:03 Max | skóre: 70 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Ještě doplním, že toto samozřejmě platí pro případ, kdy tam máme regulérní data a né nějakou chybu, která nám ty inody sežrala. V případě regulérního nasazení jsem se s tímto problémem setkal u ElasticSearch a u Dockeru. Obě řešení generují velký počet souborů, který vysaturuje inody.
Zdar Max
Měl jsem sen ... :(
24.1. 11:30 MP
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Nestaci zvetsit disk a resiznout? Ja se s vycerpanymi inody snad nikdy nesetkal, tak nevim, zda to lze.
Max avatar 24.1. 11:34 Max | skóre: 70 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
To samozřejmě nějaké inody přihodí, ale je ti to celkem k prdu. Z příkladu vidíš, že je tam reálně volných 50GB dat a inody došly. Resize je možná jen dočasný workaround, který ti umožní si naplánovat odstávku na přeformátování. Pokud nepřeformátuješ, dojdou ti inody zachvíli znovu, protože máš evidentně nasazenou nějakou app, co generuje hafec malých souborů.
Lepší workaround je možná něco rychle vymáznout.
Zdar Max
Měl jsem sen ... :(
25.1. 14:00 j
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Mnohem jednodussi a efektivnejsi reseni bude neco naladovat do archivu (a netreba to ani komprimovat, pokud jde o vykon). Ten muzes navic nekam mountnout, takze ty soubory ani nikde nezmizej.

Jinak i ty inody bys byl schopnej pridat (bez formatovani) jen by to bylo takovy manualni pitvani fs (=musel bys laborovat primo s jeho blokama, nektery presunovat ...). Takze casove pomerne neefektivni.

---

Dete s tim guuglem dopice!
xsubway avatar 26.1. 07:08 xsubway | skóre: 13 | blog: litera_scripta_manet
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
V tom příkladu nastavuješ polovinu z původní hodnoty - to není dvojnásobek.
Max avatar 26.1. 08:18 Max | skóre: 70 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
To se pleteš. Nastavuje se tam dvojnásobek počtu inode tím, že se mění poměr bajtů k inode. Pokud chceš mít víc inode, musíš počet bajtů snížit. Viz "-i bytes-per-inode".
Nebo mi chceš tvrdit, že 1310720 není dvojnásobek hodnoty 655360?
Zdar Max
Měl jsem sen ... :(
xsubway avatar 26.1. 18:01 xsubway | skóre: 13 | blog: litera_scripta_manet
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Ok. Dik za vysvětlení.
24.1. 09:58 Xerces
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
BTRFS?
⧠ A = 0 avatar 24.1. 10:08 ⧠ A = 0 | skóre: 10 | blog: Technokratovo_zrcadlo | Helsinki
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
ReiserFS
Nevolte zmrdy.
⧠ A = 0 avatar 24.1. 10:12 ⧠ A = 0 | skóre: 10 | blog: Technokratovo_zrcadlo | Helsinki
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Jinak osobně jsem to posledně řešil rm -r na složku, kde mi kvůli chybě vytvořil program miliony souborů po dvaceti slabikách („prázdné“ gzip soubory).

„Užitečná“ data bych asi spojil do tar archivu nebo něčeho podobného. Nebo ještě úplně na začátku v aplikaci nevytvářet příliš mnoho malých souborů.
Nevolte zmrdy.
⧠ A = 0 avatar 24.1. 10:18 ⧠ A = 0 | skóre: 10 | blog: Technokratovo_zrcadlo | Helsinki
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
(Což možná úplně nebude fungovat u dockeru. Nevím, proč zrovna docker žere tolik i-uzlů, ale pokud s tím nic jiného nenadělám, tak buď vytvořit ext4 s větším množstvím uzlů (mke2fs -i), nebo použít jiný souborový systém.)
Nevolte zmrdy.
Migi avatar 24.1. 12:57 Migi | skóre: 58 | blog: Mig_Alley
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
jednorazově:

docker system prune -a --volumes

a do cronu pravidelně

docker system prune -a -f
Max avatar 24.1. 13:32 Max | skóre: 70 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Tak třeba to v příkladu byl gitlab-runner, kde prune probíhá celkem pravidelně. Ale s postupným navyšováním zátěže to pak stejně nedopadne dobře. Takže jako workaround na uvolnění místa ok, ale trvalé řešení opravdu přeformátovat na jiný poměr inode, nebo změnit filesystem.
Zdar Max
Měl jsem sen ... :(
24.1. 19:51 plostenka
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Trvale reseni je nepouivat bastlsw, ktery mala data uklada do souboru misto do DB, ktery po sobe nemaze vlastni bordel, pripadne ktery nema specificke naroky na FS v dokumentaci.
Max avatar 25.1. 08:46 Max | skóre: 70 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
ktery mala data uklada do souboru misto do DB

Hloupost, to by jsi vyřadil hafec super aplikací (dovecot, docker, elk, minio a další) a to jen kvůli prapodivnému argumentu.

ktery po sobe nemaze vlastni bordel

Prune je zdokumentovaná věc a každý si tak může nastavit cykl promazávání jak chce. Nevidím v tom problém.
Zdar Max
Měl jsem sen ... :(
25.1. 12:13 plostenka
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Hloupost, to by jsi vyřadil hafec super aplikací (dovecot, docker, elk, minio a další) a to jen kvůli prapodivnému argumentu.
Kdy naposledy ti DB vyzrala inody? I minimalisticky sqlite3 te od tohohle problemu odstini, nehlede na pomalost prochazeni adresaru s mnohatisici inodami uvnitr.

To je treba duvod proc si pisu sqlite3 patch pro mutt, aby misto maildiru byly maily ulozene v DB. Mailbox je krehky a snadno rozbitelny, to neni reseni.
Prune je zdokumentovaná věc a každý si tak může nastavit cykl promazávání jak chce. Nevidím v tom problém.
To by si mel hlavne hlidat docker sam od sebe, primarne bordel vubec nedelat aby nebylo co mazat.
Max avatar 25.1. 13:16 Max | skóre: 70 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
U DB jsem řešil zase milion jiných věcí. Problém s inody je specifický pro ext4, řešení je pak jednoduché, použít jiný fs.
Zdar Max
Měl jsem sen ... :(
24.1. 10:10 Semo | skóre: 45 | blog: Semo
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Vyborny chytak je (nechat si) odobrat pravo "x" z korenoveho adresara (chmod -x /). Zakernost je v tom, ze rootovi vsetko funguje a zaroven dnesne filemanagery obvykle nezobrazuju polozku "." v roote, takze si to clovek nevsimne.
If you hold a Unix shell up to your ear, you can you hear the C.
Jendа avatar 24.1. 11:21 Jendа | skóre: 77 | blog: Jenda | JO70FB
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Já jsem zase nějak kopíroval a obnovoval systém a /tmp přišlo o právo t. A pak se začaly rozbíjet náhodné věci.
Řešení inflace: přidat do spotřebního koše Bitcoin
Jendа avatar 24.1. 11:24 Jendа | skóre: 77 | blog: Jenda | JO70FB
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Když už jsme u toho, všimli jste si (řešilo se to na Rootu), že když naformátujete device na ext4 vs. třeba na XFS, tak na ext4 je výrazně (cca. 5%) méně volného místa (a ne, nejedná se o rezervované místo pro roota)? Trochu pomůže mkfs.ext4 -T largefile, ale stejně to vypadá, jako kdyby mělo ext4 mnohem vyšší režii než konkurence. Nebo to jenom takhle reportuje, a konkurence to místo spotřebuje až během používání FS?
Řešení inflace: přidat do spotřebního koše Bitcoin
Max avatar 24.1. 11:29 Max | skóre: 70 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Zajímavý námět, zkusím si s tím pohrát, až bude chvilka času. Podle mě to možné je.
Zdar Max
Měl jsem sen ... :(
24.1. 13:30 marbu | skóre: 31 | blog: hromada | Brno
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Nemůže to být třeba právě tím rozdílem v alokaci inodů (dynamicky u XFS vs staticky u ext4)? Ale to jenom hádám.
There is no point in being so cool in a cold world. Source code of the BioNTech/Pfizer SARS-CoV-2 Vaccine
Heron avatar 31.1. 12:28 Heron | skóre: 53 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Všimli.

Na rozdíl od XFS si ext vytváří vše staticky.
31.1. 19:07 petr_p | skóre: 59 | blog: pb
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
A všimli jste si, že XFS do pár megabajtového blokového souboru neuděláte? Na rozdíl od ext FS? Jestli to nebude tím, každý z těch systémů vznikl v jiné době za jiným účelem, takže jejich datové struktury a jejich efektivita vzhledem k velikosti zařízení tomu odpovídají.
24.1. 12:53 Petr
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Kde byl problém? Neschopný admin - píčus.
Max avatar 24.1. 13:34 Max | skóre: 70 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Zato lidé, co mají pusu plnou vulgarit od lopaty, ty jsou výkvětem inteligence, co? :D
Zdar Max
Měl jsem sen ... :(
24.1. 16:55 _
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
říká někdo, kdo má vulgární i přezdívku
24.1. 15:46 alkoholik | skóre: 39 | blog: Alkoholik
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Jo, tohle jsem potkal uz 3x.
V prastarem monitorovacim systemu kombinovanem s mail serverem, na Oracle AVDF (ten nikomu nepreju ani za trest) kvuli nemazanym audit files z ASM a na pohovoru.
Max avatar 24.1. 16:51 Max | skóre: 70 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Hmm, Oracle AVDF, to asi musí být další pecka cena :)

Jinak já se s tím setkal asi 4x. Jednou nějaký webhosting (asi wp, co vygeneroval moc souborů + maily k tomu). Pak u dockeru, kde je opravdu hafec malých souborů a to samé pak i u ElasticSearch, který taktéž generuje hafec malých souborů.
Stále si říkám, zda se toho ext4 ve VM stále držet, nebo zda už na to nehodit bobek :).
Zdar Max
Měl jsem sen ... :(
24.1. 20:32 Dirka | skóre: 15 | blog: dirka12345
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?

Pred lety sem to na jedne VPS resil takto, byly to statisice malych souboru (vsechny repozitare gentoo vcetne overlayu)

dd if=/dev/zero of=/virtualfs bs=1024 count=3307200
losetup /dev/loop0 /virtualfs
mkfs -t ext3 -b 1024 -N 1000000 /dev/loop0
mount -t ext3 /dev/loop0 /var/www/xxx/gentoo/portage/

a VPS zila nekolik dalsich let :)

⧠ A = 0 avatar 25.1. 07:47 ⧠ A = 0 | skóre: 10 | blog: Technokratovo_zrcadlo | Helsinki
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
V čem je to lepší než normální oddíl stejné velikosti?
Nevolte zmrdy.
25.1. 08:50 Dirka | skóre: 15 | blog: dirka12345
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Nemusis delat resize stavajici partisny (byla to VPS bez fyzickyho pristupu a root fs).
26.1. 11:48 luky
Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
Pri 4kB blocich by byla sance tak 1% ze by musel rodicovsky adresar vyrust aby pojmul nove jmeno. Logicke mi prijde kontrolovat rovnou inody. Casto mi prijde, ze lide moc nepremysli nad tim, co vlastne provadena operace delala.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.