Přihlášení | Registrace

napište » Zprávičky

inzerujte » Pracovní nabídky

Ubuntu Cinnamon bude od Ubuntu 23.04 oficiální odnoží Ubuntu

včera 22:33 | Komunita

Ubuntu Cinnamon bude od Ubuntu 23.04 oficiální odnoží Ubuntu (návrh, schválení).

Ladislav Hagara | Komentářů: 1

GnuCash 5.0

včera 19:22 | Nová verze

Byla vydána nová major verze 5.0 účetního softwaru GnuCash (Wikipedie). Ve formátu Flatpak je již k dispozici na Flathubu.

Ladislav Hagara | Komentářů: 0

Hra zdarma: Alwa's Awakening

včera 18:33 | Nová verze

Na GOG.com běží Spring Sale. Při té příležitosti lze získat zdarma počítačovou hru Alwa's Awakening (ProtonDB).

Ladislav Hagara | Komentářů: 1

QCAD 3.28.0

včera 16:55 | Nová verze

Byla vydána verze 3.28.0 2D CAD (computer-aided design) softwaru QCAD (Wikipedie). Přehled novinek v Changelogu.

Ladislav Hagara | Komentářů: 0

Dirk-Peter van Leeuwen novým CEO společnosti SUSE

včera 08:00 | IT novinky

Změna ve vedení společnosti SUSE. Dosavadní CEO Melissa Di Donato odstoupila. Od 1. května je novým CEO Dirk-Peter van Leeuwen, bývalý Senior Vice President a General Manager ve společnosti Red Hat.

Ladislav Hagara | Komentářů: 9

CyberChef 10

27.3. 22:22 | Nová verze

CyberChef je webová aplikace pro analýzu dat a jejich kódování a dekódování, šifrování a dešifrování, kompresi a dekompresi, atd. Často je využívaná při kybernetických cvičeních a CTF (Capture the Flag). Vydána byla nová major verze 10 (aktuálně 10.4.0). Přehled novinek v Changelogu.

Ladislav Hagara | Komentářů: 1

Ubuntu Touch OTA-1 Focal

27.3. 19:22 | Nová verze

UBports, nadace a komunita kolem Ubuntu pro telefony a tablety Ubuntu Touch, vydala Ubuntu Touch OTA-1 Focal založené na Ubuntu 20.04 Focal Fossa.

Ladislav Hagara | Komentářů: 1

Red Hat slaví 30 let

27.3. 17:11 | IT novinky

Společnost Red Hat slaví 30 let.

Ladislav Hagara | Komentářů: 2

Zemřel izraelský informatik Ja'akov Ziv, spolutvůrce bezztrátových kompresních algoritmů LZ77, LZ78 a LZW

27.3. 15:22 | IT novinky

Ve věku 91 let zemřel izraelský informatik Ja'akov Ziv, spolutvůrce bezztrátových kompresních algoritmů LZ77, LZ78 a LZW (Lempel–Ziv–Welch).

Ladislav Hagara | Komentářů: 0

Arduino UNO R4

27.3. 11:00 | IT novinky

Byla představena nová Arduino deska Arduino UNO R4 s 32bitovým MCU RA4M1 (Arm Cortex-M4). Desku lze zatím získat pouze v rámci early access programu.

Ladislav Hagara | Komentářů: 0

Centrum | Napsat | Starší

navrhněte » Anketa

Používáte WSL (Windows Subsystem for Linux)?

ne, nepoužívám Windows (74%)

ne, používám Windows, ale jiný přístup k Linuxu (ve VM, vzdáleně,…) (12%)

ano, ale vyhýbám se mu, pokud to jde (4%)

ano, WSL upřednostňuji (11%)

Celkem 361 hlasů

Komentářů: 7, poslední včera 17:34

Rozcestník

AbcLinuxu

HDmag.cz

AbcLinuxu:/ Poradna / Linuxová poradna / multiline sed? Najdi, porovnej a vymaž řádek

Štítky: odstranit, sed

Dotaz: multiline sed? Najdi, porovnej a vymaž řádek

2.1.2015 22:42 JanM | skóre: 28
multiline sed? Najdi, porovnej a vymaž řádek

Přečteno: 408×

Odpovědět | Admin

Mám plain text:

                [Date.UTC(2014, 11, 23, 5, 12, 0, 0), 3],
                [Date.UTC(2014, 11, 23, 5, 14, 0, 0), 3],
                [Date.UTC(2014, 11, 23, 5, 16, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 18, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 20, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 22, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 24, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 26, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 28, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 30, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 32, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 34, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 36, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 38, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 40, 0, 0), 0],

A potřeboval bych odstranit řádky výše zvýrazněné kurzívou, aby to vypadalo takto:

                [Date.UTC(2014, 11, 23, 5, 12, 0, 0), 3],
                [Date.UTC(2014, 11, 23, 5, 14, 0, 0), 3],
                [Date.UTC(2014, 11, 23, 5, 16, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 26, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 28, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 38, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 40, 0, 0), 0],

Konkrétně potřebuji porovnávat poslední číselný údaj a v případě souvislého opakování ponechat pouze první a poslední záznam.

Dá se to relativně jednoduše zvládnout pomocí sed či awk? Pokud ne, asi bych to řešil mechanicky v bashi (načítání řádků, porovnávání hodnoty, vymazání nadbytečného řádku a pořád dokola, dokud bude co mazat).

Řešení dotazu:

Komentář #7 (wamba, 1 hlasů)
Komentář #3 (petris_, 1 hlasů)

Nástroje: Začni sledovat (2) ?

Odpovědi

3.1.2015 01:16 pavele
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

Tedy v bashi bych to řešil primitvně, například:

cat soubor | sort -k8 -u -r >soubor1
tac soubor | sort -k8 -u -r >soubor2
#paste -d '\n' soubor1 soubor2 >vysledek
paste -d '\n' soubor1 soubor2 | uniq >vysledek

3.1.2015 13:55 JanM | skóre: 28
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

To je trochu moc drastická metoda ;-)

On ten plain text má stovky kB a číselný údaj v posl. sloupci se pohybuje mezi 0 - 5, střídavě nahoru a dolu. "unique" to pročistí tak důkladně, že z těch stovek kB zbude pár řádků.

3.1.2015 02:39 wamba | skóre: 38 | blog: wamba
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

napsáno "nehezky" pomocí Perl-u

perl -00 -pe 's/(\N* (\d+)\],\n).*\n(\N* \2\],\n)/$1$3/msg'

This would have been so hard to fix when you don't know that there is in fact an easy fix.

3.1.2015 18:14 JanM | skóre: 28
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

Funguje na výše uvedený příklad, ale už ne obecně na velké množství dat. Pravda, to jsem v dotazu nezdůraznil.

Řešení 1× (JanM (tazatel))

3.1.2015 19:41 wamba | skóre: 38 | blog: wamba
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

tak třeba tohle by mohlo fungovat i na velké soubory

perl  -ne ' /(\d+)\],/; print $pred_radek if $1!=$pred or $pred2!=$pred; $pred2=$pred; $pred=$1; $pred_radek=$_'

vytiskni řádek jestli se předešlý nebo následující řádek liší v čísle před ],

Ps. samozřejmě by bylo přehlednější napsat Perl script než tento "one-liner"

This would have been so hard to fix when you don't know that there is in fact an easy fix.

5.1.2015 21:47 JanM | skóre: 28
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

Pěkné. Pro úplnost jsem přidal jeden print, aby to vytisklo i první řádku souboru:

perl  -ne ' /(\d+)\],/; print if 1..1; print $pred_radek if $1!=$pred or $pred2!=$pred; $pred2=$pred; $pred=$1; $pred_radek=$_'

5.1.2015 22:34 wamba | skóre: 38 | blog: wamba
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

no ono ho to netiskne jen pokud na prvním řádek (resp. dvou) je 0], jinak ho to tiskne, tak bych spíš doporučoval něco jako:

perl  -ne 'BEGIN{$pred=-1}; /(\d+)\],/; print $pred_radek if $1!=$pred or $pred2!=$pred; $pred2=$pred; $pred=$1;$pred_radek=$_'
#

problém by ještě nastal kdyby "poslední" řádek nekončil \n, pak by se nevytiskl

This would have been so hard to fix when you don't know that there is in fact an easy fix.

Řešení 1× (JanM (tazatel))

3.1.2015 11:30 petris_ | skóre: 12
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

jj, jde to snadno

sed -re 'H;x;/([0-9]+)\].*\1\]/d'

3.1.2015 15:39 MilanK
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

Funguje to skvěle, akorát to zduplikuje řádek, když se posl. údaj neopakuje (zvýrazněno kurzívou). To bych v nejhorším odstranil přes "uniq":

                [Date.UTC(2014, 11, 25, 10, 36, 36, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 38, 38, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 40, 40, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 42, 42, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 44, 44, 0), 0],
                [Date.UTC(2014, 11, 25, 10, 50, 50, 0), 0],
                [Date.UTC(2014, 11, 25, 10, 52, 52, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 54, 54, 0), 0],
                [Date.UTC(2014, 11, 25, 15, 42, 42, 0), 0],
                [Date.UTC(2014, 11, 25, 15, 44, 44, 0), 1],
                [Date.UTC(2014, 11, 25, 15, 46, 46, 0), 3],

                [Date.UTC(2014, 11, 25, 10, 36, 36, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 42, 42, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 44, 44, 0), 0],
                [Date.UTC(2014, 11, 25, 10, 50, 50, 0), 0],
                [Date.UTC(2014, 11, 25, 10, 52, 52, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 52, 52, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 54, 54, 0), 0],
                [Date.UTC(2014, 11, 25, 15, 42, 42, 0), 0],
                [Date.UTC(2014, 11, 25, 15, 44, 44, 0), 1],
                [Date.UTC(2014, 11, 25, 15, 44, 44, 0), 1],
                [Date.UTC(2014, 11, 25, 15, 46, 46, 0), 3],

Založit nové vlákno • Nahoru

Tiskni Sdílej:

Píšeme jinde

ISSN 1214-1267 www.czech-server.cz

Redakce | Inzerce | Podmínky použití | Osobní údaje