abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

včera 20:55 | Komunita

Od 18. do 21. května proběhla v Saint-Étienne Linux Audio Conference 2017. Na programu byla řada zajímavých přednášek a seminářů. Videozáznamy přednášek lze zhlédnout na YouTube. K dispozici jsou také články a prezentace.

Ladislav Hagara | Komentářů: 0
včera 20:44 | IT novinky

Hodnota Bitcoinu, decentralizované kryptoměny, překonala hranici 2 200 dolarů. Za posledních 30 dnů tak vzrostla přibližně o 80 % [reddit].

Ladislav Hagara | Komentářů: 0
včera 17:33 | Nová verze

Po 5 měsících vývoje od vydání verze 0.12.0 byla vydána verze 0.13.0 správce balíčků GNU Guix a na něm postavené systémové distribuce GuixSD (Guix System Distribution). Na vývoji se podílelo 83 vývojářů. Přibylo 840 nových balíčků. Jejich aktuální počet je 5 454. Aktualizována byla také dokumentace.

Ladislav Hagara | Komentářů: 1
včera 17:22 | Nová verze

Po 5 měsících vývoje a 3 týdnech intenzivního testování byla vydána verze 12 open source systému Nextcloud, forku ownCloudu, umožňujícího provoz vlastního cloudového úložiště. Přehled novinek i s videoukázkami v poznámkách k vydání. Pro vyzkoušení je k dispozici demo.

Ladislav Hagara | Komentářů: 2
včera 11:44 | Zajímavý článek

Týden po prvním číslu publikoval Michal Špaček na svých stránkách druhé číslo newsletteru věnovanému bezpečnosti, bezpečnému vývoji převážně webových aplikací a bezpečnosti uživatelů. Věnuje se výpadku Let's Encrypt, únikům dat, bug bounty pro WordPress nebo SQL Injection v Joomla. Zmiňuje také, že Mozilla plánuje z Firefoxu odstranit podporu pro Encrypted Media Extensions (EME) na nešifrovaném HTTP a nadále pro EME vyžadovat HTTPS.

Ladislav Hagara | Komentářů: 0
včera 02:00 | Pozvánky

Ve středu 31. května 2017 od 17:00 proběhne v pražské pobočce SUSE Den otevřených dveří v SUSE. Čekají vás přednášky o live kernel patchingu a nástroji SaltStack. Také se dozvíte zajímavé informace o SUSE, openSUSE, a vlastně všech produktech, na kterých lidé ze SUSE pracují.

Ladislav Hagara | Komentářů: 4
včera 01:00 | Pozvánky

Czech JBoss User Group srdečně zve na setkání JBUG v Brně, které se koná ve středu 7. června 2017 v prostorách Fakulty informatiky Masarykovy univerzity v místnosti A318 od 18:00. Přednáší Tomáš Livora na téma Fault Tolerance with Hystrix. Více informací na Facebooku a Twitteru #jbugcz.

mjedlick | Komentářů: 0
19.5. 23:22 | Zajímavý projekt

Na Texture Ninja je volně k dispozici více než 4 tisíce textur. Autora lze podpořit na Patreonu.

Ladislav Hagara | Komentářů: 0
19.5. 10:22 | Pozvánky

Mozilla.cz zve na MozBeer Prague #2. Druhé setkání Mozilla.cz proběhne 26. května od 18:00 v Praze v Diversion Bistru v ulici Mělnická.

Ladislav Hagara | Komentářů: 0
18.5. 23:22 | Bezpečnostní upozornění

Průvodce restauracemi Zomato, jenž v roce 2014 koupil Lunchtime.cz, potvrdil bezpečnostní problém. Odcizeno bylo 17 miliónů záznamů o uživatelích (jména, emailové adresy, osolené hashe).

Ladislav Hagara | Komentářů: 8
Chystáte se pořídit CPU AMD Ryzen?
 (6%)
 (33%)
 (1%)
 (8%)
 (44%)
 (9%)
Celkem 587 hlasů
 Komentářů: 62, poslední 19.5. 01:57
    Rozcestník

    Dotaz: multiline sed? Najdi, porovnej a vymaž řádek

    2.1.2015 22:42 JanM | skóre: 28
    multiline sed? Najdi, porovnej a vymaž řádek
    Přečteno: 379×

    Mám plain text:

                    [Date.UTC(2014, 11, 23, 5, 12, 0, 0), 3],
                    [Date.UTC(2014, 11, 23, 5, 14, 0, 0), 3],
                    [Date.UTC(2014, 11, 23, 5, 16, 0, 0), 2],
                    [Date.UTC(2014, 11, 23, 5, 18, 0, 0), 2],
                    [Date.UTC(2014, 11, 23, 5, 20, 0, 0), 2],
                    [Date.UTC(2014, 11, 23, 5, 22, 0, 0), 2],
                    [Date.UTC(2014, 11, 23, 5, 24, 0, 0), 2],
                    [Date.UTC(2014, 11, 23, 5, 26, 0, 0), 2],
                    [Date.UTC(2014, 11, 23, 5, 28, 0, 0), 1],
                    [Date.UTC(2014, 11, 23, 5, 30, 0, 0), 1],
                    [Date.UTC(2014, 11, 23, 5, 32, 0, 0), 1],
                    [Date.UTC(2014, 11, 23, 5, 34, 0, 0), 1],
                    [Date.UTC(2014, 11, 23, 5, 36, 0, 0), 1],
                    [Date.UTC(2014, 11, 23, 5, 38, 0, 0), 1],
                    [Date.UTC(2014, 11, 23, 5, 40, 0, 0), 0],

    A potřeboval bych odstranit řádky výše zvýrazněné kurzívou, aby to vypadalo takto:

                    [Date.UTC(2014, 11, 23, 5, 12, 0, 0), 3],
                    [Date.UTC(2014, 11, 23, 5, 14, 0, 0), 3],
                    [Date.UTC(2014, 11, 23, 5, 16, 0, 0), 2],
                    [Date.UTC(2014, 11, 23, 5, 26, 0, 0), 2],
                    [Date.UTC(2014, 11, 23, 5, 28, 0, 0), 1],
                    [Date.UTC(2014, 11, 23, 5, 38, 0, 0), 1],
                    [Date.UTC(2014, 11, 23, 5, 40, 0, 0), 0],

    Konkrétně potřebuji porovnávat poslední číselný údaj a v případě souvislého opakování ponechat pouze první a poslední záznam.

    Dá se to relativně jednoduše zvládnout pomocí sed či awk? Pokud ne, asi bych to řešil mechanicky v bashi (načítání řádků, porovnávání hodnoty, vymazání nadbytečného řádku a pořád dokola, dokud bude co mazat).


    Řešení dotazu:


    Odpovědi

    3.1.2015 01:16 pavele
    Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek
    Tedy v bashi bych to řešil primitvně, například:
    cat soubor | sort -k8 -u -r >soubor1
    tac soubor | sort -k8 -u -r >soubor2
    #paste -d '\n' soubor1 soubor2 >vysledek
    paste -d '\n' soubor1 soubor2 | uniq >vysledek
    
    3.1.2015 13:55 JanM | skóre: 28
    Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek
    To je trochu moc drastická metoda ;-)

    On ten plain text má stovky kB a číselný údaj v posl. sloupci se pohybuje mezi 0 - 5, střídavě nahoru a dolu. "unique" to pročistí tak důkladně, že z těch stovek kB zbude pár řádků.
    wamba avatar 3.1.2015 02:39 wamba | skóre: 37 | blog: wamba
    Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek
    napsáno "nehezky" pomocí Perl-u
    perl -00 -pe 's/(\N* (\d+)\],\n).*\n(\N* \2\],\n)/$1$3/msg'
    This would have been so hard to fix when you don't know that there is in fact an easy fix.
    3.1.2015 18:14 JanM | skóre: 28
    Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek
    Funguje na výše uvedený příklad, ale už ne obecně na velké množství dat. Pravda, to jsem v dotazu nezdůraznil.
    Řešení 1× (JanM (tazatel))
    wamba avatar 3.1.2015 19:41 wamba | skóre: 37 | blog: wamba
    Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek
    tak třeba tohle by mohlo fungovat i na velké soubory
    perl  -ne ' /(\d+)\],/; print $pred_radek if $1!=$pred or $pred2!=$pred; $pred2=$pred; $pred=$1; $pred_radek=$_'
    
    vytiskni řádek jestli se předešlý nebo následující řádek liší v čísle před ],

    Ps. samozřejmě by bylo přehlednější napsat Perl script než tento "one-liner"
    This would have been so hard to fix when you don't know that there is in fact an easy fix.
    5.1.2015 21:47 JanM | skóre: 28
    Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek
    Pěkné. Pro úplnost jsem přidal jeden print, aby to vytisklo i první řádku souboru:
    perl  -ne ' /(\d+)\],/; print if 1..1; print $pred_radek if $1!=$pred or $pred2!=$pred; $pred2=$pred; $pred=$1; $pred_radek=$_'
    wamba avatar 5.1.2015 22:34 wamba | skóre: 37 | blog: wamba
    Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek
    no ono ho to netiskne jen pokud na prvním řádek (resp. dvou) je 0], jinak ho to tiskne, tak bych spíš doporučoval něco jako:
    perl  -ne 'BEGIN{$pred=-1}; /(\d+)\],/; print $pred_radek if $1!=$pred or $pred2!=$pred; $pred2=$pred; $pred=$1;$pred_radek=$_'
    #
    
    problém by ještě nastal kdyby "poslední" řádek nekončil \n, pak by se nevytiskl
    This would have been so hard to fix when you don't know that there is in fact an easy fix.
    Řešení 1× (JanM (tazatel))
    3.1.2015 11:30 petris_ | skóre: 12
    Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek
    jj, jde to snadno

    sed -re 'H;x;/([0-9]+)\].*\1\]/d'
    3.1.2015 15:39 MilanK
    Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek
    Funguje to skvěle, akorát to zduplikuje řádek, když se posl. údaj neopakuje (zvýrazněno kurzívou). To bych v nejhorším odstranil přes "uniq":
                    [Date.UTC(2014, 11, 25, 10, 36, 36, 0), 1],
                    [Date.UTC(2014, 11, 25, 10, 38, 38, 0), 1],
                    [Date.UTC(2014, 11, 25, 10, 40, 40, 0), 1],
                    [Date.UTC(2014, 11, 25, 10, 42, 42, 0), 1],
                    [Date.UTC(2014, 11, 25, 10, 44, 44, 0), 0],
                    [Date.UTC(2014, 11, 25, 10, 50, 50, 0), 0],
                    [Date.UTC(2014, 11, 25, 10, 52, 52, 0), 1],
                    [Date.UTC(2014, 11, 25, 10, 54, 54, 0), 0],
                    [Date.UTC(2014, 11, 25, 15, 42, 42, 0), 0],
                    [Date.UTC(2014, 11, 25, 15, 44, 44, 0), 1],
                    [Date.UTC(2014, 11, 25, 15, 46, 46, 0), 3],
    
                    [Date.UTC(2014, 11, 25, 10, 36, 36, 0), 1],
                    [Date.UTC(2014, 11, 25, 10, 42, 42, 0), 1],
                    [Date.UTC(2014, 11, 25, 10, 44, 44, 0), 0],
                    [Date.UTC(2014, 11, 25, 10, 50, 50, 0), 0],
                    [Date.UTC(2014, 11, 25, 10, 52, 52, 0), 1],
                    [Date.UTC(2014, 11, 25, 10, 52, 52, 0), 1],
                    [Date.UTC(2014, 11, 25, 10, 54, 54, 0), 0],
                    [Date.UTC(2014, 11, 25, 15, 42, 42, 0), 0],
                    [Date.UTC(2014, 11, 25, 15, 44, 44, 0), 1],
                    [Date.UTC(2014, 11, 25, 15, 44, 44, 0), 1],
                    [Date.UTC(2014, 11, 25, 15, 46, 46, 0), 3],
    

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.