Inzerujte na AbcPráce.cz od 950 Kč

napište » Zprávičky

Midori 11.9

dnes 12:44 | Nová verze

Byla vydána nová verze 11.9 webového prohlížeče Midori (Wikipedie, GitHub). S novým centrem ovládání, pokročilejším blokováním reklam, optimalizací výkonu…

Ladislav Hagara | Komentářů: 0

Čtečka elektronických knih Open Book Touch na Crowd Supply

dnes 04:22 | Zajímavý projekt

Na Crowd Supply běží kampaň na podporu open source čtečky elektronických knih Open Book Touch. Postavena je na ESP32-S3. Má 4,26palcový dotykový e-papírový displej s rozlišením 480×800 pixelů, podsvícení, slot na microSD kartu. Cena je 149 dolarů a poštovné 12 dolarů. Dodání je plánováno na duben 2027.

Ladislav Hagara | Komentářů: 2

Elektronické knihy od O'Reilly a Raspberry Pi Press na Humble Bundle

včera 18:00 | IT novinky

Na Humble Bundle běží akce Linux: All the Things by O'Reilly a Picos, HATs, and More by Raspberry Pi Press. Elektronické knihy lze koupit se slevou a současně podpořit organizace Code for America a Raspberry Pi Foundation.

Ladislav Hagara | Komentářů: 4

Banana For Scale, nový doplněk FreeCADu

včera 14:00 | Komunita

FreeCAD (Wikipedie), tj. svobodný multiplatformní parametrický 3D CAD, má nový vtipný a současně užitečný doplněk Banana For Scale (GitHub). Aktuálně umožňuje do výkresu vložit banán nebo plechovku pro porovnání a určení měřítka.

Ladislav Hagara | Komentářů: 4

Celovečerní film Blender Studia by se měl jmenovat Overgrown

včera 12:00 | Komunita

Blender Studio nedávno oznámilo plán vytvořit svůj první otevřený (open source) celovečerní film. Film by se měl jmenovat Overgrown (YouTube). Film vznikne, pokud se zajistí financování. Prvním krokem je získat 7 000 předplatitelů Blender Studia. Cena je od 11,50 eur měsíčně. Aktuálně počet předplatitelů je 5 289. Předplatné pokryje 20 % nákladů. Zbytek, 80 % nákladů, má být financován externími producenty nebo distributory.

Ladislav Hagara | Komentářů: 0

Debian 13.6 a 12.15

12.7. 01:11 | Nová verze

Byl vydán Debian 13.6, tj. šestá opravná verze Debianu 13 s kódovým názvem Trixie a Debian 12.15, tj. poslední patnáctá opravná verze Debianu 12 s kódovým názvem Bookworm, k dispozici je LTS. Řešeny jsou především bezpečnostní problémy, ale také několik vážných chyb. Instalační média Debianu 13 a Debianu 12 lze samozřejmě nadále k instalaci používat. Po instalaci stačí systém aktualizovat.

Ladislav Hagara | Komentářů: 0

GhostLock aneb CVE-2026-43499

10.7. 16:11 | Bezpečnostní upozornění

V jádře Linux byla nalezena a v upstreamu již byla opravena kritická zranitelnost GhostLock aneb CVE-2026-43499. Lokálnímu uživateli umožňuje získat práva roota a také obejít kontejnerovou izolaci. Zranitelnost existovala v Linuxu 15 let, tj. od roku 2011, od Linuxu verze 2.6.39.

Ladislav Hagara | Komentářů: 2

EK předběžně shledala, že návykový design Instagramu a Facebooku porušuje DSA

10.7. 13:55 | IT novinky

Evropská komise předběžně shledala, že návykový design aplikací Instagram a Facebook od americké společnosti Meta porušuje unijní nařízení o digitálních službách (DSA). Návykový design zahrnuje například takzvané nekonečné posouvání, automatické přehrávání videí, tzv. push notifikace, kdy aplikace uživatele vybízí k návratu do jejího prostředí, či vysoce personalizovaný algoritmus, který rychle pozná, co uživatele baví a snaží

… více »

Ladislav Hagara | Komentářů: 19

Rust 1.97.0

10.7. 12:11 | Nová verze

Byla vydána verze 1.97.0 programovacího jazyka Rust (Wikipedie). Podrobnosti v poznámkách k vydání. Vyzkoušet Rust lze například na stránce Rust by Example.

Ladislav Hagara | Komentářů: 0

Telefon Punkt. MC03 s operačním systémem AphyOS

10.7. 05:00 | IT novinky

Švýcarská společnost Punkt. má nově v nabídce telefon Punkt. MC03. Telefon byl navržen ve Švýcarsku s důrazem na soukromí a digitální suverenitu a vyroben v Německu. V telefonu běží operační systém AphyOS (Apostrophy OS) založený na AOSP (Android Open Source Project) 15. Cena telefonu je 745 eur.

Ladislav Hagara | Komentářů: 28

Centrum | Napsat | Starší

navrhněte » Anketa

Komentářů: 30, poslední 3.4. 20:20

Rozcestník

AbcLinuxu

HDmag.cz

AbcLinuxu:/ Poradna / Linuxová poradna / multiline sed? Najdi, porovnej a vymaž řádek

Štítky: odstranit, sed

Dotaz: multiline sed? Najdi, porovnej a vymaž řádek

2.1.2015 22:42 JanM | skóre: 28
multiline sed? Najdi, porovnej a vymaž řádek

Přečteno: 520×

Odpovědět | Admin

Mám plain text:

                [Date.UTC(2014, 11, 23, 5, 12, 0, 0), 3],
                [Date.UTC(2014, 11, 23, 5, 14, 0, 0), 3],
                [Date.UTC(2014, 11, 23, 5, 16, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 18, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 20, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 22, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 24, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 26, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 28, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 30, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 32, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 34, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 36, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 38, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 40, 0, 0), 0],

A potřeboval bych odstranit řádky výše zvýrazněné kurzívou, aby to vypadalo takto:

                [Date.UTC(2014, 11, 23, 5, 12, 0, 0), 3],
                [Date.UTC(2014, 11, 23, 5, 14, 0, 0), 3],
                [Date.UTC(2014, 11, 23, 5, 16, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 26, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 28, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 38, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 40, 0, 0), 0],

Konkrétně potřebuji porovnávat poslední číselný údaj a v případě souvislého opakování ponechat pouze první a poslední záznam.

Dá se to relativně jednoduše zvládnout pomocí sed či awk? Pokud ne, asi bych to řešil mechanicky v bashi (načítání řádků, porovnávání hodnoty, vymazání nadbytečného řádku a pořád dokola, dokud bude co mazat).

Řešení dotazu:

Komentář #7 (wamba, 1 hlasů)
Komentář #3 (petris_, 1 hlasů)

Nástroje: Začni sledovat (2) ?

Odpovědi

3.1.2015 01:16 pavele
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

Tedy v bashi bych to řešil primitvně, například:

cat soubor | sort -k8 -u -r >soubor1
tac soubor | sort -k8 -u -r >soubor2
#paste -d '\n' soubor1 soubor2 >vysledek
paste -d '\n' soubor1 soubor2 | uniq >vysledek

3.1.2015 13:55 JanM | skóre: 28
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

To je trochu moc drastická metoda ;-)

On ten plain text má stovky kB a číselný údaj v posl. sloupci se pohybuje mezi 0 - 5, střídavě nahoru a dolu. "unique" to pročistí tak důkladně, že z těch stovek kB zbude pár řádků.

3.1.2015 02:39 wamba | skóre: 38 | blog: wamba
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

napsáno "nehezky" pomocí Perl-u

perl -00 -pe 's/(\N* (\d+)\],\n).*\n(\N* \2\],\n)/$1$3/msg'

This would have been so hard to fix when you don't know that there is in fact an easy fix.

3.1.2015 18:14 JanM | skóre: 28
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

Funguje na výše uvedený příklad, ale už ne obecně na velké množství dat. Pravda, to jsem v dotazu nezdůraznil.

Řešení 1× (JanM (tazatel))

3.1.2015 19:41 wamba | skóre: 38 | blog: wamba
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

tak třeba tohle by mohlo fungovat i na velké soubory

perl  -ne ' /(\d+)\],/; print $pred_radek if $1!=$pred or $pred2!=$pred; $pred2=$pred; $pred=$1; $pred_radek=$_'

vytiskni řádek jestli se předešlý nebo následující řádek liší v čísle před ],

Ps. samozřejmě by bylo přehlednější napsat Perl script než tento "one-liner"

This would have been so hard to fix when you don't know that there is in fact an easy fix.

5.1.2015 21:47 JanM | skóre: 28
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

Pěkné. Pro úplnost jsem přidal jeden print, aby to vytisklo i první řádku souboru:

perl  -ne ' /(\d+)\],/; print if 1..1; print $pred_radek if $1!=$pred or $pred2!=$pred; $pred2=$pred; $pred=$1; $pred_radek=$_'

5.1.2015 22:34 wamba | skóre: 38 | blog: wamba
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

no ono ho to netiskne jen pokud na prvním řádek (resp. dvou) je 0], jinak ho to tiskne, tak bych spíš doporučoval něco jako:

perl  -ne 'BEGIN{$pred=-1}; /(\d+)\],/; print $pred_radek if $1!=$pred or $pred2!=$pred; $pred2=$pred; $pred=$1;$pred_radek=$_'
#

problém by ještě nastal kdyby "poslední" řádek nekončil \n, pak by se nevytiskl

This would have been so hard to fix when you don't know that there is in fact an easy fix.

Řešení 1× (JanM (tazatel))

3.1.2015 11:30 petris_ | skóre: 12
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

jj, jde to snadno

sed -re 'H;x;/([0-9]+)\].*\1\]/d'

3.1.2015 15:39 MilanK
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

Funguje to skvěle, akorát to zduplikuje řádek, když se posl. údaj neopakuje (zvýrazněno kurzívou). To bych v nejhorším odstranil přes "uniq":

                [Date.UTC(2014, 11, 25, 10, 36, 36, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 38, 38, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 40, 40, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 42, 42, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 44, 44, 0), 0],
                [Date.UTC(2014, 11, 25, 10, 50, 50, 0), 0],
                [Date.UTC(2014, 11, 25, 10, 52, 52, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 54, 54, 0), 0],
                [Date.UTC(2014, 11, 25, 15, 42, 42, 0), 0],
                [Date.UTC(2014, 11, 25, 15, 44, 44, 0), 1],
                [Date.UTC(2014, 11, 25, 15, 46, 46, 0), 3],

                [Date.UTC(2014, 11, 25, 10, 36, 36, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 42, 42, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 44, 44, 0), 0],
                [Date.UTC(2014, 11, 25, 10, 50, 50, 0), 0],
                [Date.UTC(2014, 11, 25, 10, 52, 52, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 52, 52, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 54, 54, 0), 0],
                [Date.UTC(2014, 11, 25, 15, 42, 42, 0), 0],
                [Date.UTC(2014, 11, 25, 15, 44, 44, 0), 1],
                [Date.UTC(2014, 11, 25, 15, 44, 44, 0), 1],
                [Date.UTC(2014, 11, 25, 15, 46, 46, 0), 3],

Založit nové vlákno • Nahoru

Tiskni Sdílej: