abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 12:50 | Komunita

Mozilla.cz informuje, že dosud experimentální funkce Page Shot z programu Firefox Test Pilot (zprávička) se stane součástí Firefoxu. Page Shot je nástroj pro vytváření snímků webových stránek. Umí výběr oblasti, prvku stránky (např. odstavce), nebo uložení snímku celé stránky. Snímky lze ukládat na disk nebo nahrávat na server Mozilly. Nedávno bylo oznámeno, že se součástí Firefoxu stane Activity Stream.

Ladislav Hagara | Komentářů: 0
dnes 04:10 | Nová verze

Po 10 týdnech vývoje od vydání Linuxu 4.9 (zprávička) oznámil Linus Torvalds, mj. již 20 let žijící v USA, vydání Linuxu 4.10 (LKML). Přehled nových vlastností a vylepšení například na Kernel Newbies a v Jaderných novinách (1, 2 a 3). Kódové jméno Linuxu 4.10 je Fearless Coyote.

Ladislav Hagara | Komentářů: 1
včera 15:55 | Zajímavý projekt

Vyzkoušet si příkazy a vyřešit několik úkolů lze na stránkách Commandline Challenge (CMD Challenge). Úkoly lze řešit různými způsoby, důležitý je výsledek. Zdrojové kódy jsou k dispozici na GitHubu pod licencí MIT.

Ladislav Hagara | Komentářů: 15
18.2. 17:35 | Bezpečnostní upozornění

Německá Bundesnetzagentur (obdoba českého ČTU) zakázala na německém území prodej panenky Cayla kvůli „špionáži“ dětí. Tato elektronická hračka obsahuje mikrofon, reproduktor a kameru a bezdrátové komunikační rozhraní, pomocí kterého se hračka připojuje na servery výrobce. Takovýmto způsobem může hračka pomocí umělé inteligence „odpovídat“ na dotazy dítěte. Hlavní problém bude ale asi někde jinde, podle prvotních zpráv může

… více »
Petr Tomášek | Komentářů: 27
17.2. 15:30 | Bezpečnostní upozornění

CSIRT.CZ upozorňuje, že bezpečnostní experti objevili nový typ malwaru, jenž cílí na open source e-commerce platformu Magento. Malware je zajímavý tím, že se jedná o první svého druhu, jehož kód zůstává skrytý v SQL databázi zasaženého e-shopu. Škodlivý kód je volán pomocí tzv. SQL trigerru, který je spouštěn při každém vytvoření objednávky v systému.

Ladislav Hagara | Komentářů: 2
17.2. 09:00 | Nová verze

Bylo vydáno Ubuntu 16.04.2 LTS, tj. druhé opravné vydání Ubuntu 16.04 LTS s kódovým názvem Xenial Xerus. Přehled novinek v poznámkách k vydání a v přehledu změn.

Ladislav Hagara | Komentářů: 56
17.2. 06:00 | Zajímavý článek

Pavel Tišnovský se v dvoudílném článku na MojeFedora.cz věnuje tvorbě pluginů (modulů) pro bitmapový grafický editor GIMP. Pomocí pluginů lze GIMP rozšiřovat o další funkce. Implementovat lze například nové filtry nebo pomocné utility pro tvorbu animací či poloautomatickou retuš snímků.

Ladislav Hagara | Komentářů: 6
16.2. 23:32 | Komunita

Do 30. března se lze přihlásit do dalšího kola programu Outreachy, jehož cílem je přitáhnout do světa svobodného a otevřeného softwaru lidi ze skupin, jež jsou ve světě svobodného a otevřeného softwaru málo zastoupeny. Za 3 měsíce práce, od 30. května do 30. srpna 2017, v participujících organizacích lze vydělat 5 500 USD. Jedná se již o 14. kolo tohoto programu.

Ladislav Hagara | Komentářů: 11
16.2. 23:13 | Nová verze

Byla vydána verze 0.92.1 svobodného multiplatformního vektorového grafického editoru Inkscape. Přehled novinek v poznámkách k vydání. Řešen je mimo jiné problém s verzí 0.92, jež rozbíjí dokumenty vytvořené v předchozích verzích Inkscape. Více v příspěvku na blogu Davida Revoye, autora open source webového komiksu Pepper&Carrot nebo portrétu GNU/Linuxu.

Ladislav Hagara | Komentářů: 0
16.2. 16:26 | Bezpečnostní upozornění

Byla vydána verze 1.1.0e kryptografické knihovny OpenSSL. Dle bezpečnostního upozornění 20170216 byla opravena závažná bezpečnostní chyba CVE-2017-3733.

Ladislav Hagara | Komentářů: 1
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (13%)
 (2%)
 (72%)
 (3%)
 (10%)
Celkem 666 hlasů
 Komentářů: 52, poslední 13.2. 12:45
Rozcestník
Reklama

Dotaz: velmi velky log file- ako ho shrinknut

9.2.2011 13:21 mfo
velmi velky log file- ako ho shrinknut
Přečteno: 508×
Zdravim Vas, Kolega sa na man obratil s jednoduchou otazkou. ako zmensit 5Gb log file. Situacia ja nasledovna, file size ~5GB, chce najakych 1 000 000 riadkov uchovat v subore. Mna napadlo len jedna jednoducha vec, ja viem nic moc: tail -n 1000000> new_file.txt >old_file.txt cat new_file.txt>old_file.txt no lenze spracovavat tailom 5Gb sa mi naozaj nechce - kvoli casu. Najde sa nejake elegantnejsie riesenie??

Řešení dotazu:


Odpovědi

9.2.2011 13:40 Zdenek 'Mst. Spider' Sedlak | skóre: 37 | blog: xMstSpider
Rozbalit Rozbalit vše Re: velmi velky log file- ako ho shrinknut
Zkus logrotate.
Jakub Lucký avatar 9.2.2011 13:42 Jakub Lucký | skóre: 40 | Praha
Rozbalit Rozbalit vše Re: velmi velky log file- ako ho shrinknut
man split
If you understand, things are just as they are; if you do not understand, things are just as they are. (Zen P.) Blogísek
9.2.2011 15:10 rastos | skóre: 60 | blog: rastos
Rozbalit Rozbalit vše Re: velmi velky log file- ako ho shrinknut
tail -n 1000000> new_file.txt *>old_file.txt cat new_file.txt>old_file.txt
Ale to je elegantné riešenie. Teda ... keď sa to fixne tak, aby to bolo správne

tail -n 1000000 old_file.txt > new_file.txt ; mv new_file.txt old_file.txt

Čo sa ti na tom nezdá? Dá sa to trocha optimalizovať, ak použiješ dd a vypočítaš si nejakú rozumnú hodnotu pre parameter skip= a obetuješ to, že prvý riadok vo výsledku asi nebude celý. Ale inak by som nad tým moc nešpekuloval.
9.2.2011 21:23 Filip Šimek | Praha
Rozbalit Rozbalit vše Re: velmi velky log file- ako ho shrinknut
Pokud jde o to, jak odlít z texťáku posledních milion řádků do nového souboru, tak tail bude optimální v tom smyslu, že mu stačí vstupní soubor přečíst jenom jednou.

Pokud na to nestačí paměť stroje, dalo by se to udělat za pomoci dvou čtení ze souboru (v bashi):
sed -n "$((`cat old_file.txt | wc -l` - 1000000)),$p" >new_file.txt
Vnitřek spočítá řádky ve vstupním souboru, bashovský výraz od toho odečte milion a sed potom vypíše jenom řádky od čísla, které vyšlo, do konce souboru.
9.2.2011 21:25 Filip Šimek | Praha
Rozbalit Rozbalit vše Re: velmi velky log file- ako ho shrinknut
...mezi druhýma uvozovkama a >new_file.txt chybí samozřejmě ještě jednou old_file.txt
10.2.2011 13:41 Atom321 | skóre: 20
Rozbalit Rozbalit vše Re: velmi velky log file- ako ho shrinknut
Nekomplikujte to, tail dovede procházet soubor od konce a nebude zpracovávat celých 5GB. Jednoduché řešení je správně:
tail -n 1000000 > new_file.txt && mv new_file.txt old_file
11.2.2011 21:14 Ash | skóre: 53
Rozbalit Rozbalit vše Re: velmi velky log file- ako ho shrinknut
Ale někde by to třeba zabralo :D

"Šéfe, dneska odpoledne po mě už nic nechtějte, teď jdu a budu zpracovávat opravdu velkej, PĚTIGIGABAJTOVEJ soubor. Tailem."
10.2.2011 15:08 kuka
Rozbalit Rozbalit vše Re: velmi velky log file- ako ho shrinknut
5GB (asi to melo byt velke B) je velmi velky soubor? To bezi na nejakem starem telefonu nebo kde? Pocitam ze nez jsi napsal dotaz, mel by to ten tail udelane.
10.2.2011 19:42 mato
Rozbalit Rozbalit vše Re: velmi velky log file- ako ho shrinknut
mno, asi hej :) a hlavne ked bezis na raidz ZFS:)

$ du -m bigone
5423    bigone
$

$ wc -l bigone
 61998618 bigone
$

$ time tail -1000000 bigone > keepem

real    0m0.454s
user    0m0.077s
sys     0m0.267s

$ wc -l keepem
  999999 keepem
$
islo to rychlo kvoli tomu, ze som zobral staru ukradnutu DB orange/eurotel cisel z textoveho suboru, ktoru som niekolkokrat catol do tohto velkeho (cat orange1 orage2 eurotel1 eurotel2 .. > bigone), co trvalo asi 10sekund; nasledne som urobil tail

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.