Přihlášení | Registrace

napište » Zprávičky

Python 3.14.0

dnes 18:11 | Nová verze

Programovací jazyk Python byl vydán v nové major verzi 3.14.0. Podrobný přehled novinek v aktualizované dokumentaci.

Qualcomm kupuje Arduino. Nová deska Arduino UNO Q

dnes 16:33 | IT novinky

Bylo oznámeno, že Qualcomm kupuje Arduino. Současně byla představena nová deska Arduino UNO Q se dvěma čipy: MPU Qualcomm Dragonwing QRB2210, na kterém může běžet Linux, a MCU STM32U585 a vývojové prostředí Arduino App Lab.

Ladislav Hagara | Komentářů: 1

Luanti 5.14.0

dnes 15:55 | Nová verze

Multiplatformní open source voxelový herní engine Luanti byl vydán ve verzi 5.14.0. Podrobný přehled novinek v changelogu. Původně se jedná o Minecraftem inspirovaný Minetest v říjnu loňského roku přejmenovaný na Luanti.

Ladislav Hagara | Komentářů: 0

Qt 6.10

dnes 13:22 | Nová verze

Byla vydána nová stabilní verze 6.10 (YouTube) multiplatformního frameworku a GUI toolkitu Qt. Podrobný přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0

Ubuntu 26.04 LTS bude Resolute Raccoon

včera 23:55 | Komunita

Ubuntu 26.04 LTS bude (𝕏) Resolute Raccoon (rezolutní mýval).

Ladislav Hagara | Komentářů: 2

Netwide Assembler (NASM) 3.00

včera 21:00 | Nová verze

Netwide Assembler (NASM) byl vydán v nové major verzi 3.00. Přehled novinek v poznámkách k vydání v aktualizované dokumentaci.

Ladislav Hagara | Komentářů: 0

Frugalware Linux ke konci roku 2025 oficiálně končí

včera 20:11 | Komunita

Linuxová distribuce Frugalware (Wikipedie) ke konci roku 2025 oficiálně končí.

Ladislav Hagara | Komentářů: 0

GIMP 3.0.6

včera 17:22 | Nová verze

Byla vydána nová verze 3.0.6 svobodné aplikace pro úpravu a vytváření rastrové grafiky GIMP (GNU Image Manipulation Program). Přehled novinek v oznámení o vydání a v souboru NEWS na GitLabu. Nový GIMP bude brzy k dispozici také na Flathubu.

Ladislav Hagara | Komentářů: 0

AMD uzavřela smlouvu o dodávkách čipů pro OpenAI

včera 16:11 | IT novinky

Americký výrobce čipů AMD uzavřel s americkou společností OpenAI smlouvu na několikaleté dodávky vyspělých mikročipů pro umělou inteligenci (AI). Součástí dohody je i předkupní právo OpenAI na přibližně desetiprocentní podíl v AMD.

Ladislav Hagara | Komentářů: 1

OpenSSH 10.1

včera 12:22 | Nová verze

Byla vydána nová verze 10.1 sady aplikací pro SSH komunikaci OpenSSH. Uživatel je nově varován, když se nepoužívá postkvantovou výměnu klíčů.

Ladislav Hagara | Komentářů: 0

Centrum | Napsat | Starší

navrhněte » Anketa

Jaké řešení používáte k vývoji / práci?

Github (39%)

Gitlab (46%)

Atlassian (15%)

Bitbucket (17%)

Gitea (21%)

Mercurial (15%)

jen git (18%)

jen svn (16%)

Jiné (uvedu v diskusi) (16%)

Celkem 190 hlasů

Komentářů: 12, poslední 4.10. 20:35

Rozcestník

AbcLinuxu

HDmag.cz

AbcLinuxu:/ Poradna / Linuxová poradna / multiline sed? Najdi, porovnej a vymaž řádek

Štítky: odstranit, sed

Dotaz: multiline sed? Najdi, porovnej a vymaž řádek

2.1.2015 22:42 JanM | skóre: 28
multiline sed? Najdi, porovnej a vymaž řádek

Přečteno: 461×

Odpovědět | Admin

Mám plain text:

                [Date.UTC(2014, 11, 23, 5, 12, 0, 0), 3],
                [Date.UTC(2014, 11, 23, 5, 14, 0, 0), 3],
                [Date.UTC(2014, 11, 23, 5, 16, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 18, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 20, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 22, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 24, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 26, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 28, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 30, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 32, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 34, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 36, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 38, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 40, 0, 0), 0],

A potřeboval bych odstranit řádky výše zvýrazněné kurzívou, aby to vypadalo takto:

                [Date.UTC(2014, 11, 23, 5, 12, 0, 0), 3],
                [Date.UTC(2014, 11, 23, 5, 14, 0, 0), 3],
                [Date.UTC(2014, 11, 23, 5, 16, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 26, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 28, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 38, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 40, 0, 0), 0],

Konkrétně potřebuji porovnávat poslední číselný údaj a v případě souvislého opakování ponechat pouze první a poslední záznam.

Dá se to relativně jednoduše zvládnout pomocí sed či awk? Pokud ne, asi bych to řešil mechanicky v bashi (načítání řádků, porovnávání hodnoty, vymazání nadbytečného řádku a pořád dokola, dokud bude co mazat).

Řešení dotazu:

Komentář #7 (wamba, 1 hlasů)
Komentář #3 (petris_, 1 hlasů)

Nástroje: Začni sledovat (2) ?

Odpovědi

3.1.2015 01:16 pavele
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

Tedy v bashi bych to řešil primitvně, například:

cat soubor | sort -k8 -u -r >soubor1
tac soubor | sort -k8 -u -r >soubor2
#paste -d '\n' soubor1 soubor2 >vysledek
paste -d '\n' soubor1 soubor2 | uniq >vysledek

3.1.2015 13:55 JanM | skóre: 28
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

To je trochu moc drastická metoda ;-)

On ten plain text má stovky kB a číselný údaj v posl. sloupci se pohybuje mezi 0 - 5, střídavě nahoru a dolu. "unique" to pročistí tak důkladně, že z těch stovek kB zbude pár řádků.

3.1.2015 02:39 wamba | skóre: 38 | blog: wamba
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

napsáno "nehezky" pomocí Perl-u

perl -00 -pe 's/(\N* (\d+)\],\n).*\n(\N* \2\],\n)/$1$3/msg'

This would have been so hard to fix when you don't know that there is in fact an easy fix.

3.1.2015 18:14 JanM | skóre: 28
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

Funguje na výše uvedený příklad, ale už ne obecně na velké množství dat. Pravda, to jsem v dotazu nezdůraznil.

Řešení 1× (JanM (tazatel))

3.1.2015 19:41 wamba | skóre: 38 | blog: wamba
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

tak třeba tohle by mohlo fungovat i na velké soubory

perl  -ne ' /(\d+)\],/; print $pred_radek if $1!=$pred or $pred2!=$pred; $pred2=$pred; $pred=$1; $pred_radek=$_'

vytiskni řádek jestli se předešlý nebo následující řádek liší v čísle před ],

Ps. samozřejmě by bylo přehlednější napsat Perl script než tento "one-liner"

This would have been so hard to fix when you don't know that there is in fact an easy fix.

5.1.2015 21:47 JanM | skóre: 28
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

Pěkné. Pro úplnost jsem přidal jeden print, aby to vytisklo i první řádku souboru:

perl  -ne ' /(\d+)\],/; print if 1..1; print $pred_radek if $1!=$pred or $pred2!=$pred; $pred2=$pred; $pred=$1; $pred_radek=$_'

5.1.2015 22:34 wamba | skóre: 38 | blog: wamba
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

no ono ho to netiskne jen pokud na prvním řádek (resp. dvou) je 0], jinak ho to tiskne, tak bych spíš doporučoval něco jako:

perl  -ne 'BEGIN{$pred=-1}; /(\d+)\],/; print $pred_radek if $1!=$pred or $pred2!=$pred; $pred2=$pred; $pred=$1;$pred_radek=$_'
#

problém by ještě nastal kdyby "poslední" řádek nekončil \n, pak by se nevytiskl

This would have been so hard to fix when you don't know that there is in fact an easy fix.

Řešení 1× (JanM (tazatel))

3.1.2015 11:30 petris_ | skóre: 12
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

jj, jde to snadno

sed -re 'H;x;/([0-9]+)\].*\1\]/d'

3.1.2015 15:39 MilanK
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

Funguje to skvěle, akorát to zduplikuje řádek, když se posl. údaj neopakuje (zvýrazněno kurzívou). To bych v nejhorším odstranil přes "uniq":

                [Date.UTC(2014, 11, 25, 10, 36, 36, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 38, 38, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 40, 40, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 42, 42, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 44, 44, 0), 0],
                [Date.UTC(2014, 11, 25, 10, 50, 50, 0), 0],
                [Date.UTC(2014, 11, 25, 10, 52, 52, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 54, 54, 0), 0],
                [Date.UTC(2014, 11, 25, 15, 42, 42, 0), 0],
                [Date.UTC(2014, 11, 25, 15, 44, 44, 0), 1],
                [Date.UTC(2014, 11, 25, 15, 46, 46, 0), 3],

                [Date.UTC(2014, 11, 25, 10, 36, 36, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 42, 42, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 44, 44, 0), 0],
                [Date.UTC(2014, 11, 25, 10, 50, 50, 0), 0],
                [Date.UTC(2014, 11, 25, 10, 52, 52, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 52, 52, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 54, 54, 0), 0],
                [Date.UTC(2014, 11, 25, 15, 42, 42, 0), 0],
                [Date.UTC(2014, 11, 25, 15, 44, 44, 0), 1],
                [Date.UTC(2014, 11, 25, 15, 44, 44, 0), 1],
                [Date.UTC(2014, 11, 25, 15, 46, 46, 0), 3],

Založit nové vlákno • Nahoru

Tiskni Sdílej:

Píšeme jinde

ISSN 1214-1267 www.czech-server.cz

Redakce | Inzerce | Podmínky použití | Osobní údaje