abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 12:11 | IT novinky

    Včera večer měl na YouTube premiéru dokumentární film Python: The Documentary | An origin story.

    Ladislav Hagara | Komentářů: 0
    včera 23:33 | Nová verze

    Společnost comma.ai po třech letech od vydání verze 0.9 vydala novou verzi 0.10 open source pokročilého asistenčního systému pro řidiče openpilot (Wikipedie). Zdrojové kódy jsou k dispozici na GitHubu.

    Ladislav Hagara | Komentářů: 0
    včera 21:55 | Nová verze Ladislav Hagara | Komentářů: 2
    včera 14:11 | IT novinky

    Řada vestavěných počítačových desek a vývojových platforem NVIDIA Jetson se rozrostla o NVIDIA Jetson Thor. Ve srovnání se svým předchůdcem NVIDIA Jetson Orin nabízí 7,5krát vyšší výpočetní výkon umělé inteligence a 3,5krát vyšší energetickou účinnost. Softwarový stack NVIDIA JetPack 7 je založen na Ubuntu 24.04 LTS.

    Ladislav Hagara | Komentářů: 4
    včera 00:44 | Bezpečnostní upozornění

    Národní úřad pro kybernetickou a informační bezpečnost (NÚKIB) spolu s NSA a dalšími americkými úřady upozorňuje (en) na čínského aktéra Salt Typhoon, který kompromituje sítě po celém světě.

    Ladislav Hagara | Komentářů: 24
    27.8. 16:33 | IT novinky

    Společnost Framework Computer představila (YouTube) nový výkonnější Framework Laptop 16. Rozhodnou se lze například pro procesor Ryzen AI 9 HX 370 a grafickou kartu NVIDIA GeForce RTX 5070.

    Ladislav Hagara | Komentářů: 1
    27.8. 14:22 | IT novinky

    Google oznamuje, že na „certifikovaných“ zařízeních s Androidem omezí instalaci aplikací (včetně „sideloadingu“) tak, že bude vyžadovat, aby aplikace byly podepsány centrálně registrovanými vývojáři s ověřenou identitou. Tato politika bude implementována během roku 2026 ve vybraných zemích (jihovýchodní Asie, Brazílie) a od roku 2027 celosvětově.

    Fluttershy, yay! | Komentářů: 7
    27.8. 13:11 | Nová verze

    Byla vydána nová verze 21.1.0, tj. první stabilní verze z nové řady 21.1.x, překladačové infrastruktury LLVM (Wikipedie). Přehled novinek v poznámkách k vydání: LLVM, Clang, LLD, Extra Clang Tools a Libc++.

    Ladislav Hagara | Komentářů: 0
    27.8. 05:11 | Komunita

    Alyssa Anne Rosenzweig v příspěvku na svém blogu oznámila, že opustila Asahi Linux a nastoupila do Intelu. Místo Apple M1 a M2 se bude věnovat architektuře Intel Xe-HPG.

    Ladislav Hagara | Komentářů: 18
    26.8. 12:55 | IT novinky

    EU chce (pořád) skenovat soukromé zprávy a fotografie. Návrh "Chat Control" by nařídil skenování všech soukromých digitálních komunikací, včetně šifrovaných zpráv a fotografií.

    Ladislav Hagara | Komentářů: 80
    Pro otevření více webových stránek ve webovém prohlížečí používám
     (79%)
     (9%)
     (3%)
     (4%)
     (5%)
     (1%)
    Celkem 104 hlasů
     Komentářů: 9, poslední včera 11:53
    Rozcestník
    Štítky: není přiřazen žádný štítek


    Vložit další komentář
    24.1.2022 09:21 Milan
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Dosli ti tam inody?
    Max avatar 24.1.2022 09:49 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    No jasně, a řešení? :).
    Zdar Max
    Měl jsem sen ... :(
    24.1.2022 09:56 disorder | blog: weblog
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    destruktivne ci nedestruktivne? :)

    Note: If you use OverlayFS, use the overlay2 driver rather than the overlay driver, because it is more efficient in terms of inode utilization.
    Max avatar 24.1.2022 10:58 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Nedestruktivní řešení není. Řešením je takový svazek přeformátovat tak, aby bylo přiděleno více inode k poměru k datům. Tj. zazálohujeme data, přeformátujeme a pak data nakopírujeme zpět:
    # default je:
    mkfs.ext4 -i 16384 /dev/neco
    
    # jak to vypadá:
    tune2fs -l /dev/neco |grep Inode
    Inode count:              655360
    Inodes per group:         8192
    Inode blocks per group:   512
    Inode size:               256
    
    
    # zdvojnásobíme počet inode takto
    mkfs.ext4 -i 8192 /dev/neco
    
    # jak to pak vypadá
    tune2fs -l /dev/neco |grep Inode
    Inode count:              1310720
    Inodes per group:         16384
    Inode blocks per group:   1024
    Inode size:               256
    

    S tím, že když se kontroluje volné místo, tak je třeba kontrolovat nejen pomocí "df -h", ale i "df -i", které právě ukáže zaplnění inode.

    Zdar Max
    Měl jsem sen ... :(
    Max avatar 24.1.2022 11:03 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Ještě doplním, že toto samozřejmě platí pro případ, kdy tam máme regulérní data a né nějakou chybu, která nám ty inody sežrala. V případě regulérního nasazení jsem se s tímto problémem setkal u ElasticSearch a u Dockeru. Obě řešení generují velký počet souborů, který vysaturuje inody.
    Zdar Max
    Měl jsem sen ... :(
    24.1.2022 11:30 MP
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Nestaci zvetsit disk a resiznout? Ja se s vycerpanymi inody snad nikdy nesetkal, tak nevim, zda to lze.
    Max avatar 24.1.2022 11:34 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    To samozřejmě nějaké inody přihodí, ale je ti to celkem k prdu. Z příkladu vidíš, že je tam reálně volných 50GB dat a inody došly. Resize je možná jen dočasný workaround, který ti umožní si naplánovat odstávku na přeformátování. Pokud nepřeformátuješ, dojdou ti inody zachvíli znovu, protože máš evidentně nasazenou nějakou app, co generuje hafec malých souborů.
    Lepší workaround je možná něco rychle vymáznout.
    Zdar Max
    Měl jsem sen ... :(
    25.1.2022 14:00 j
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Mnohem jednodussi a efektivnejsi reseni bude neco naladovat do archivu (a netreba to ani komprimovat, pokud jde o vykon). Ten muzes navic nekam mountnout, takze ty soubory ani nikde nezmizej.

    Jinak i ty inody bys byl schopnej pridat (bez formatovani) jen by to bylo takovy manualni pitvani fs (=musel bys laborovat primo s jeho blokama, nektery presunovat ...). Takze casove pomerne neefektivni.

    ---

    Dete s tim guuglem dopice!
    xsubway avatar 26.1.2022 07:08 xsubway | skóre: 13 | blog: litera_scripta_manet
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    V tom příkladu nastavuješ polovinu z původní hodnoty - to není dvojnásobek.
    Max avatar 26.1.2022 08:18 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    To se pleteš. Nastavuje se tam dvojnásobek počtu inode tím, že se mění poměr bajtů k inode. Pokud chceš mít víc inode, musíš počet bajtů snížit. Viz "-i bytes-per-inode".
    Nebo mi chceš tvrdit, že 1310720 není dvojnásobek hodnoty 655360?
    Zdar Max
    Měl jsem sen ... :(
    xsubway avatar 26.1.2022 18:01 xsubway | skóre: 13 | blog: litera_scripta_manet
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Ok. Dik za vysvětlení.
    24.1.2022 09:58 Xerces
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    BTRFS?
    ⧠ A = 0 avatar 24.1.2022 10:08 ⧠ A = 0 | skóre: 11 | blog: Technokratovo_zrcadlo | Helsinki
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    ReiserFS
    Nevolte zmrdy.
    ⧠ A = 0 avatar 24.1.2022 10:12 ⧠ A = 0 | skóre: 11 | blog: Technokratovo_zrcadlo | Helsinki
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Jinak osobně jsem to posledně řešil rm -r na složku, kde mi kvůli chybě vytvořil program miliony souborů po dvaceti slabikách („prázdné“ gzip soubory).

    „Užitečná“ data bych asi spojil do tar archivu nebo něčeho podobného. Nebo ještě úplně na začátku v aplikaci nevytvářet příliš mnoho malých souborů.
    Nevolte zmrdy.
    ⧠ A = 0 avatar 24.1.2022 10:18 ⧠ A = 0 | skóre: 11 | blog: Technokratovo_zrcadlo | Helsinki
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    (Což možná úplně nebude fungovat u dockeru. Nevím, proč zrovna docker žere tolik i-uzlů, ale pokud s tím nic jiného nenadělám, tak buď vytvořit ext4 s větším množstvím uzlů (mke2fs -i), nebo použít jiný souborový systém.)
    Nevolte zmrdy.
    Migi avatar 24.1.2022 12:57 Migi | skóre: 59 | blog: Mig_Alley
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    jednorazově:

    docker system prune -a --volumes

    a do cronu pravidelně

    docker system prune -a -f
    Max avatar 24.1.2022 13:32 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Tak třeba to v příkladu byl gitlab-runner, kde prune probíhá celkem pravidelně. Ale s postupným navyšováním zátěže to pak stejně nedopadne dobře. Takže jako workaround na uvolnění místa ok, ale trvalé řešení opravdu přeformátovat na jiný poměr inode, nebo změnit filesystem.
    Zdar Max
    Měl jsem sen ... :(
    24.1.2022 19:51 plostenka | blog: plstnk
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Trvale reseni je nepouivat bastlsw, ktery mala data uklada do souboru misto do DB, ktery po sobe nemaze vlastni bordel, pripadne ktery nema specificke naroky na FS v dokumentaci.
    Max avatar 25.1.2022 08:46 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    ktery mala data uklada do souboru misto do DB

    Hloupost, to by jsi vyřadil hafec super aplikací (dovecot, docker, elk, minio a další) a to jen kvůli prapodivnému argumentu.

    ktery po sobe nemaze vlastni bordel

    Prune je zdokumentovaná věc a každý si tak může nastavit cykl promazávání jak chce. Nevidím v tom problém.
    Zdar Max
    Měl jsem sen ... :(
    25.1.2022 12:13 plostenka | blog: plstnk
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Hloupost, to by jsi vyřadil hafec super aplikací (dovecot, docker, elk, minio a další) a to jen kvůli prapodivnému argumentu.
    Kdy naposledy ti DB vyzrala inody? I minimalisticky sqlite3 te od tohohle problemu odstini, nehlede na pomalost prochazeni adresaru s mnohatisici inodami uvnitr.

    To je treba duvod proc si pisu sqlite3 patch pro mutt, aby misto maildiru byly maily ulozene v DB. Mailbox je krehky a snadno rozbitelny, to neni reseni.
    Prune je zdokumentovaná věc a každý si tak může nastavit cykl promazávání jak chce. Nevidím v tom problém.
    To by si mel hlavne hlidat docker sam od sebe, primarne bordel vubec nedelat aby nebylo co mazat.
    Max avatar 25.1.2022 13:16 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    U DB jsem řešil zase milion jiných věcí. Problém s inody je specifický pro ext4, řešení je pak jednoduché, použít jiný fs.
    Zdar Max
    Měl jsem sen ... :(
    24.1.2022 10:10 Semo | skóre: 45 | blog: Semo
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Vyborny chytak je (nechat si) odobrat pravo "x" z korenoveho adresara (chmod -x /). Zakernost je v tom, ze rootovi vsetko funguje a zaroven dnesne filemanagery obvykle nezobrazuju polozku "." v roote, takze si to clovek nevsimne.
    If you hold a Unix shell up to your ear, you can you hear the C.
    Jendа avatar 24.1.2022 11:21 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Já jsem zase nějak kopíroval a obnovoval systém a /tmp přišlo o právo t. A pak se začaly rozbíjet náhodné věci.
    Jendа avatar 24.1.2022 11:24 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Když už jsme u toho, všimli jste si (řešilo se to na Rootu), že když naformátujete device na ext4 vs. třeba na XFS, tak na ext4 je výrazně (cca. 5%) méně volného místa (a ne, nejedná se o rezervované místo pro roota)? Trochu pomůže mkfs.ext4 -T largefile, ale stejně to vypadá, jako kdyby mělo ext4 mnohem vyšší režii než konkurence. Nebo to jenom takhle reportuje, a konkurence to místo spotřebuje až během používání FS?
    Max avatar 24.1.2022 11:29 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Zajímavý námět, zkusím si s tím pohrát, až bude chvilka času. Podle mě to možné je.
    Zdar Max
    Měl jsem sen ... :(
    24.1.2022 13:30 marbu | skóre: 31 | blog: hromada | Brno
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Nemůže to být třeba právě tím rozdílem v alokaci inodů (dynamicky u XFS vs staticky u ext4)? Ale to jenom hádám.
    There is no point in being so cool in a cold world.
    Heron avatar 31.1.2022 12:28 Heron | skóre: 53 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Všimli.

    Na rozdíl od XFS si ext vytváří vše staticky.
    31.1.2022 19:07 petr_p | skóre: 59 | blog: pb
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    A všimli jste si, že XFS do pár megabajtového blokového souboru neuděláte? Na rozdíl od ext FS? Jestli to nebude tím, každý z těch systémů vznikl v jiné době za jiným účelem, takže jejich datové struktury a jejich efektivita vzhledem k velikosti zařízení tomu odpovídají.
    24.1.2022 12:53 Petr
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Kde byl problém? Neschopný admin - píčus.
    Max avatar 24.1.2022 13:34 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Zato lidé, co mají pusu plnou vulgarit od lopaty, ty jsou výkvětem inteligence, co? :D
    Zdar Max
    Měl jsem sen ... :(
    24.1.2022 16:55 _
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    říká někdo, kdo má vulgární i přezdívku
    24.1.2022 15:46 alkoholik | skóre: 40 | blog: Alkoholik
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Jo, tohle jsem potkal uz 3x.
    V prastarem monitorovacim systemu kombinovanem s mail serverem, na Oracle AVDF (ten nikomu nepreju ani za trest) kvuli nemazanym audit files z ASM a na pohovoru.
    Max avatar 24.1.2022 16:51 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Hmm, Oracle AVDF, to asi musí být další pecka cena :)

    Jinak já se s tím setkal asi 4x. Jednou nějaký webhosting (asi wp, co vygeneroval moc souborů + maily k tomu). Pak u dockeru, kde je opravdu hafec malých souborů a to samé pak i u ElasticSearch, který taktéž generuje hafec malých souborů.
    Stále si říkám, zda se toho ext4 ve VM stále držet, nebo zda už na to nehodit bobek :).
    Zdar Max
    Měl jsem sen ... :(
    24.1.2022 20:32 Dirka | skóre: 15 | blog: dirka12345
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?

    Pred lety sem to na jedne VPS resil takto, byly to statisice malych souboru (vsechny repozitare gentoo vcetne overlayu)

    dd if=/dev/zero of=/virtualfs bs=1024 count=3307200
    losetup /dev/loop0 /virtualfs
    mkfs -t ext3 -b 1024 -N 1000000 /dev/loop0
    mount -t ext3 /dev/loop0 /var/www/xxx/gentoo/portage/

    a VPS zila nekolik dalsich let :)

    ⧠ A = 0 avatar 25.1.2022 07:47 ⧠ A = 0 | skóre: 11 | blog: Technokratovo_zrcadlo | Helsinki
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    V čem je to lepší než normální oddíl stejné velikosti?
    Nevolte zmrdy.
    25.1.2022 08:50 Dirka | skóre: 15 | blog: dirka12345
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Nemusis delat resize stavajici partisny (byla to VPS bez fyzickyho pristupu a root fs).
    26.1.2022 11:48 luky
    Rozbalit Rozbalit vše Re: Střípky z IT - (6) : ext4 : Uhádnete, kde byl problém?
    Pri 4kB blocich by byla sance tak 1% ze by musel rodicovsky adresar vyrust aby pojmul nove jmeno. Logicke mi prijde kontrolovat rovnou inody. Casto mi prijde, ze lide moc nepremysli nad tim, co vlastne provadena operace delala.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.