abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    17.10. 13:22 | IT novinky

    Steve Jobs a superpočítač Cray-1 budou vyobrazeny na pamětních jednodolarových mincích vyražených v příštím roce v rámci série Americká inovace. Série má 57 mincí, tj. 57 inovací. Poslední 4 mince budou vyraženy v roce 2032.

    Ladislav Hagara | Komentářů: 4
    17.10. 12:22 | Pozvánky

    Byl zveřejněn průběžně aktualizovaný program konference OpenAlt 2025 o otevřeném softwaru a datech, IT bezpečnosti, DIY a IoT. Konference proběhne o víkendu 1. a 2. listopadu v prostorách FIT VUT v Brně. Vstup je zdarma.

    Ladislav Hagara | Komentářů: 0
    17.10. 12:00 | IT novinky

    Senát včera opětovně nepřijal návrh ústavního zákona, který měl do Listiny základních práv a svobod zakotvit právo občanů platit v hotovosti nebo být off-line. Návrh předložila skupina senátorů již v roce 2023. Senát dnes návrh neschválil, ale ani nezamítl. Pokud by ho přijal, dostala by ho k projednání Sněmovna a vyjádřila by se k němu vláda.

    Ladislav Hagara | Komentářů: 12
    16.10. 23:55 | Nová verze

    V programovacím jazyce Go naprogramovaná webová aplikace pro spolupráci na zdrojových kódech pomocí gitu Forgejo byla vydána ve verzi 13.0 (Mastodon). Forgejo je fork Gitei.

    Ladislav Hagara | Komentářů: 0
    16.10. 14:22 | Bezpečnostní upozornění

    Společnost Eclypsium se na svém blogu rozepsala o bezpečnostním problému počítačů Framework. Jedná se o zranitelnost v UEFI umožňující útočníkům obejít Secure Boot.

    Ladislav Hagara | Komentářů: 1
    16.10. 02:33 | Nová verze

    Editor kódů Zed (Wikipedie) po macOS a Linuxu s verzí 0.208.4běží také ve Windows.

    Ladislav Hagara | Komentářů: 8
    15.10. 17:44 | IT novinky

    Apple dnes představil 14palcový MacBook Pro, iPad Pro a Apple Vision Pro s novým čipem M5.

    Ladislav Hagara | Komentářů: 38
    15.10. 13:55 | Nová verze

    Debian pro mobilní zařízení Mobian (Wikipedie) byl vydán ve verzi 13 Trixie. Nová stabilní verze je k dispozici pro PINE64 PinePhone, PinePhone Pro a PineTab, Purism Librem 5, Google Pixel 3a a 3a XL, OnePlus 6 a 6T a Xiaomi Pocophone F1.

    Ladislav Hagara | Komentářů: 2
    15.10. 13:11 | IT novinky

    Operátor O2 představil tarif Datamanie 1200 GB . Nový tarif přináší 1200 GB dat s neomezenou 5G rychlostí, a také možnost neomezeného volání do všech sítí za 15 Kč na den. Při roční variantě předplatného zákazníci získají po provedení jednorázové platby celou porci dat najednou a mohou je bezstarostně čerpat kdykoli během roku. Do 13. listopadu jej O2 nabízí za zvýhodněných 2 988 Kč. Při průměrné spotřebě tak 100 GB dat vychází na 249 Kč měsíčně.

    Ladislav Hagara | Komentářů: 16
    15.10. 12:33 | Bezpečnostní upozornění

    Byly publikovány informace o útoku na zařízení s Androidem pojmenovaném Pixnapping Attack (CVE-2025-48561). Aplikace může číst citlivá data zobrazovaná jinou aplikací. V demonstračním videu aplikace čte 2FA kódy z Google Authenticatoru.

    Ladislav Hagara | Komentářů: 1
    Jaké řešení používáte k vývoji / práci?
     (37%)
     (46%)
     (20%)
     (21%)
     (24%)
     (18%)
     (21%)
     (18%)
     (18%)
    Celkem 236 hlasů
     Komentářů: 14, poslední 14.10. 09:04
    Rozcestník

    Dotaz: velmi velky log file- ako ho shrinknut

    9.2.2011 13:21 mfo
    velmi velky log file- ako ho shrinknut
    Přečteno: 558×
    Zdravim Vas, Kolega sa na man obratil s jednoduchou otazkou. ako zmensit 5Gb log file. Situacia ja nasledovna, file size ~5GB, chce najakych 1 000 000 riadkov uchovat v subore. Mna napadlo len jedna jednoducha vec, ja viem nic moc: tail -n 1000000> new_file.txt >old_file.txt cat new_file.txt>old_file.txt no lenze spracovavat tailom 5Gb sa mi naozaj nechce - kvoli casu. Najde sa nejake elegantnejsie riesenie??

    Řešení dotazu:


    Odpovědi

    Ruža Becelin avatar 9.2.2011 13:40 Ruža Becelin | skóre: 40 | blog: RuzaBecelinBlog
    Rozbalit Rozbalit vše Re: velmi velky log file- ako ho shrinknut
    Zkus logrotate.
    Jakub Lucký avatar 9.2.2011 13:42 Jakub Lucký | skóre: 40 | Praha
    Rozbalit Rozbalit vše Re: velmi velky log file- ako ho shrinknut
    man split
    If you understand, things are just as they are; if you do not understand, things are just as they are.
    9.2.2011 15:10 rastos | skóre: 63 | blog: rastos
    Rozbalit Rozbalit vše Re: velmi velky log file- ako ho shrinknut
    tail -n 1000000> new_file.txt *>old_file.txt cat new_file.txt>old_file.txt
    Ale to je elegantné riešenie. Teda ... keď sa to fixne tak, aby to bolo správne

    tail -n 1000000 old_file.txt > new_file.txt ; mv new_file.txt old_file.txt

    Čo sa ti na tom nezdá? Dá sa to trocha optimalizovať, ak použiješ dd a vypočítaš si nejakú rozumnú hodnotu pre parameter skip= a obetuješ to, že prvý riadok vo výsledku asi nebude celý. Ale inak by som nad tým moc nešpekuloval.
    9.2.2011 21:23 Filip Šimek | Praha
    Rozbalit Rozbalit vše Re: velmi velky log file- ako ho shrinknut
    Pokud jde o to, jak odlít z texťáku posledních milion řádků do nového souboru, tak tail bude optimální v tom smyslu, že mu stačí vstupní soubor přečíst jenom jednou.

    Pokud na to nestačí paměť stroje, dalo by se to udělat za pomoci dvou čtení ze souboru (v bashi):
    sed -n "$((`cat old_file.txt | wc -l` - 1000000)),$p" >new_file.txt
    Vnitřek spočítá řádky ve vstupním souboru, bashovský výraz od toho odečte milion a sed potom vypíše jenom řádky od čísla, které vyšlo, do konce souboru.
    9.2.2011 21:25 Filip Šimek | Praha
    Rozbalit Rozbalit vše Re: velmi velky log file- ako ho shrinknut
    ...mezi druhýma uvozovkama a >new_file.txt chybí samozřejmě ještě jednou old_file.txt
    10.2.2011 13:41 Atom321 | skóre: 20
    Rozbalit Rozbalit vše Re: velmi velky log file- ako ho shrinknut
    Nekomplikujte to, tail dovede procházet soubor od konce a nebude zpracovávat celých 5GB. Jednoduché řešení je správně:
    tail -n 1000000 > new_file.txt && mv new_file.txt old_file
    
    11.2.2011 21:14 Ash | skóre: 53
    Rozbalit Rozbalit vše Re: velmi velky log file- ako ho shrinknut
    Ale někde by to třeba zabralo :D

    "Šéfe, dneska odpoledne po mě už nic nechtějte, teď jdu a budu zpracovávat opravdu velkej, PĚTIGIGABAJTOVEJ soubor. Tailem."
    10.2.2011 15:08 kuka
    Rozbalit Rozbalit vše Re: velmi velky log file- ako ho shrinknut
    5GB (asi to melo byt velke B) je velmi velky soubor? To bezi na nejakem starem telefonu nebo kde? Pocitam ze nez jsi napsal dotaz, mel by to ten tail udelane.
    10.2.2011 19:42 mato
    Rozbalit Rozbalit vše Re: velmi velky log file- ako ho shrinknut
    mno, asi hej :) a hlavne ked bezis na raidz ZFS:)
    
    $ du -m bigone
    5423    bigone
    $
    
    $ wc -l bigone
     61998618 bigone
    $
    
    
    $ time tail -1000000 bigone > keepem
    
    real    0m0.454s
    user    0m0.077s
    sys     0m0.267s
    
    $ wc -l keepem
      999999 keepem
    $
    
    islo to rychlo kvoli tomu, ze som zobral staru ukradnutu DB orange/eurotel cisel z textoveho suboru, ktoru som niekolkokrat catol do tohto velkeho (cat orange1 orage2 eurotel1 eurotel2 .. > bigone), co trvalo asi 10sekund; nasledne som urobil tail

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.