AbcLinuxu hledá autory!

Inzerujte na AbcPráce.cz od 950 Kč

Rozšířené hledání

napište » Zprávičky

inzerujte » Pracovní nabídky

Bevy 0.20

dnes 03:22 | Nová verze

Svobodný multiplatformní herní engine Bevy napsaný v Rustu byl vydán ve verzi 0.20. Díky 227 přispěvatelům.

Ladislav Hagara | Komentářů: 1

Raspberry Pi Desktop pro PC a Mac s Intelem

dnes 03:11 | Komunita

Simon Long oznámil Raspberry Pi Desktop pro PC a Mac s Intelem postavený na aktualizovaném Debianu 13 Trixie. S klientem Raspberry Pi Connect pro vzdálenou správu. Ke stažení je vedle Raspberry Pi OS pro Raspberry Pi.

Ladislav Hagara | Komentářů: 1

ESP32-C3 adblock, drobný čip čistí internet

včera 21:33 | Zajímavý projekt

ESP32-C3 adblock přemění lacinou vývojovou desku ESP32‑C3 na samostatný DNS blokovač nejenom reklamních domén, minimalistickou alternativu k populárnímu Pi-hole. ESP32-C3 adblock místo objemných názvů domén ukládá jejich 40-bitové FNV-1a hashe do flash paměti, které pak binárně prohledává, kontrola jedné domény trvá přibližně 10 milisekund. Blocklist pojme až 537 tisíc domén a lze jej spravovat přes webové rozhraní. Projekt zatím

… více »

❗Červivý Hřib krade❗ | Komentářů: 1

ArtCraft, sada open source aplikací pro práci s obrázky a videi

včera 21:00 | Zajímavý software

ArtCraft je sada open source aplikací pro práci s obrázky a videi "inspirovaných" aplikacemi od Adobe. Napsaných v Rustu. Pro MacOS, Windows i Linux. Běží také ve webovém prohlížeči. Aktuálně se jedná o 7 aplikací: PhotoCraft (Photoshop), VectorCraft (Illustrator), FilmCraft (Premiere Pro), LightCraft (Lightroom), PdfCraft (Acrobat), EffectCraft (After Effects) a DesignCraft (InDesign). Zdrojové kódy jsou k dispozici na GitHubu.

Ladislav Hagara | Komentářů: 9

Strands Decider, maličká obdoba modelu Jev

včera 16:33 | Zajímavý software

Strands Decider 2B je malý open-source model s 2 miliardami parametrů, určený k rychlé klasifikaci vstupů a rozhodování mezi možnostmi, generující odpovědi ve stylu modelu Jev. Strands dosáhl přibližně 72% shody s Jevem na veřejné testovací sadě JevBench (tento benchmark pochopitleně nepředstavuje přímé srovnání s modelem Jev). Zdrojové kódy jsou k dispozici na GitHubu pod licencí Apache-2.0, váhy modelu na Hugging Face.

❗Červivý Hřib krade❗ | Komentářů: 4

Zemřela softwarová inženýrka Margaret Hamiltonová

včera 16:22 | Upozornění

Ve věku 90 let zemřela americká softwarová inženýrka Margaret Hamiltonová, která vedla tým, jenž vyvíjel letový software pro program Apollo amerického Národního úřadu pro letectví a vesmír (NASA).

Ladislav Hagara | Komentářů: 5

Klávesnice ve tvaru běžícího pásu

včera 13:33 | Humor

Japonský Google rozšířil svou kolekci DYI fyzických klávesnic Gboard o klávesnici ve tvaru běžícího pásu. Proč se mají přesouvat ruce po klávesnici, když se mohou přesouvat klávesy k ruce? Pro zájemce je návod na sestavení včetně STL souborů pro 3D tisk a firmware k dispozici na GitHubu.

Ladislav Hagara | Komentářů: 2

X.Org X server 21.1.25 a Xwayland 24.1.14 řeší 12 bezpečnostních chyb

7.10. 23:22 | Bezpečnostní upozornění

Nejnovější X.Org X server 21.1.25 a Xwayland 24.1.14 řeší 12 bezpečnostních chyb.

Ladislav Hagara | Komentářů: 0

Google Chrome 155 s podporou JPEG XL (.jxl)

7.10. 16:33 | Nová verze

Google Chrome 155 byl prohlášen za stabilní. Přináší podporu JPEG XL (.jxl). Opraveno bylo 247 bezpečnostních chyb.

Ladislav Hagara | Komentářů: 1

Konference OpenAlt 2026 hledá přednášející

7.10. 16:00 | Komunita

Konference OpenAlt 2026 hledá přednášející. Přihlásit přednášky lze do neděle 11. října. Konference proběhne o víkendu 7. a 8. listopadu na půdě Fakulty informačních technologií VUT v Brně. Témata konference jsou: Otevřený a svobodný software, IoT a Hnutí tvůrců, Vzdělávání, Bezpečnost a soukromí, Otevřená společnost, komunity a data, OpenMobility a další.

Ladislav Hagara | Komentářů: 0

Centrum | Napsat | Starší

navrhněte » Anketa

Komentářů: 31, poslední 13.8. 00:27

Rozcestník

AbcLinuxu

HDmag.cz

AbcLinuxu:/ Poradna / Linuxová poradna / multiline sed? Najdi, porovnej a vymaž řádek

Štítky: odstranit, sed

Dotaz: multiline sed? Najdi, porovnej a vymaž řádek

2.1.2015 22:42 JanM | skóre: 28
multiline sed? Najdi, porovnej a vymaž řádek

Přečteno: 750×

Odpovědět | Admin

Mám plain text:

                [Date.UTC(2014, 11, 23, 5, 12, 0, 0), 3],
                [Date.UTC(2014, 11, 23, 5, 14, 0, 0), 3],
                [Date.UTC(2014, 11, 23, 5, 16, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 18, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 20, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 22, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 24, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 26, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 28, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 30, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 32, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 34, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 36, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 38, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 40, 0, 0), 0],

A potřeboval bych odstranit řádky výše zvýrazněné kurzívou, aby to vypadalo takto:

                [Date.UTC(2014, 11, 23, 5, 12, 0, 0), 3],
                [Date.UTC(2014, 11, 23, 5, 14, 0, 0), 3],
                [Date.UTC(2014, 11, 23, 5, 16, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 26, 0, 0), 2],
                [Date.UTC(2014, 11, 23, 5, 28, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 38, 0, 0), 1],
                [Date.UTC(2014, 11, 23, 5, 40, 0, 0), 0],

Konkrétně potřebuji porovnávat poslední číselný údaj a v případě souvislého opakování ponechat pouze první a poslední záznam.

Dá se to relativně jednoduše zvládnout pomocí sed či awk? Pokud ne, asi bych to řešil mechanicky v bashi (načítání řádků, porovnávání hodnoty, vymazání nadbytečného řádku a pořád dokola, dokud bude co mazat).

Řešení dotazu:

Komentář #7 (wamba, 1 hlasů)
Komentář #3 (petris_, 1 hlasů)

Nástroje: Začni sledovat (2) ?

Odpovědi

3.1.2015 01:16 pavele
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

Tedy v bashi bych to řešil primitvně, například:

cat soubor | sort -k8 -u -r >soubor1
tac soubor | sort -k8 -u -r >soubor2
#paste -d '\n' soubor1 soubor2 >vysledek
paste -d '\n' soubor1 soubor2 | uniq >vysledek

3.1.2015 13:55 JanM | skóre: 28
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

To je trochu moc drastická metoda ;-)

On ten plain text má stovky kB a číselný údaj v posl. sloupci se pohybuje mezi 0 - 5, střídavě nahoru a dolu. "unique" to pročistí tak důkladně, že z těch stovek kB zbude pár řádků.

3.1.2015 02:39 wamba | skóre: 38 | blog: wamba
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

napsáno "nehezky" pomocí Perl-u

perl -00 -pe 's/(\N* (\d+)\],\n).*\n(\N* \2\],\n)/$1$3/msg'

This would have been so hard to fix when you don't know that there is in fact an easy fix.

3.1.2015 18:14 JanM | skóre: 28
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

Funguje na výše uvedený příklad, ale už ne obecně na velké množství dat. Pravda, to jsem v dotazu nezdůraznil.

Řešení 1× (JanM (tazatel))

3.1.2015 19:41 wamba | skóre: 38 | blog: wamba
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

tak třeba tohle by mohlo fungovat i na velké soubory

perl  -ne ' /(\d+)\],/; print $pred_radek if $1!=$pred or $pred2!=$pred; $pred2=$pred; $pred=$1; $pred_radek=$_'

vytiskni řádek jestli se předešlý nebo následující řádek liší v čísle před ],

Ps. samozřejmě by bylo přehlednější napsat Perl script než tento "one-liner"

This would have been so hard to fix when you don't know that there is in fact an easy fix.

5.1.2015 21:47 JanM | skóre: 28
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

Pěkné. Pro úplnost jsem přidal jeden print, aby to vytisklo i první řádku souboru:

perl  -ne ' /(\d+)\],/; print if 1..1; print $pred_radek if $1!=$pred or $pred2!=$pred; $pred2=$pred; $pred=$1; $pred_radek=$_'

5.1.2015 22:34 wamba | skóre: 38 | blog: wamba
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

no ono ho to netiskne jen pokud na prvním řádek (resp. dvou) je 0], jinak ho to tiskne, tak bych spíš doporučoval něco jako:

perl  -ne 'BEGIN{$pred=-1}; /(\d+)\],/; print $pred_radek if $1!=$pred or $pred2!=$pred; $pred2=$pred; $pred=$1;$pred_radek=$_'
#

problém by ještě nastal kdyby "poslední" řádek nekončil \n, pak by se nevytiskl

This would have been so hard to fix when you don't know that there is in fact an easy fix.

Řešení 1× (JanM (tazatel))

3.1.2015 11:30 petris_ | skóre: 12
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

jj, jde to snadno

sed -re 'H;x;/([0-9]+)\].*\1\]/d'

3.1.2015 15:39 MilanK
Rozbalit Rozbalit vše Re: multiline sed? Najdi, porovnej a vymaž řádek

Funguje to skvěle, akorát to zduplikuje řádek, když se posl. údaj neopakuje (zvýrazněno kurzívou). To bych v nejhorším odstranil přes "uniq":

                [Date.UTC(2014, 11, 25, 10, 36, 36, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 38, 38, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 40, 40, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 42, 42, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 44, 44, 0), 0],
                [Date.UTC(2014, 11, 25, 10, 50, 50, 0), 0],
                [Date.UTC(2014, 11, 25, 10, 52, 52, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 54, 54, 0), 0],
                [Date.UTC(2014, 11, 25, 15, 42, 42, 0), 0],
                [Date.UTC(2014, 11, 25, 15, 44, 44, 0), 1],
                [Date.UTC(2014, 11, 25, 15, 46, 46, 0), 3],

                [Date.UTC(2014, 11, 25, 10, 36, 36, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 42, 42, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 44, 44, 0), 0],
                [Date.UTC(2014, 11, 25, 10, 50, 50, 0), 0],
                [Date.UTC(2014, 11, 25, 10, 52, 52, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 52, 52, 0), 1],
                [Date.UTC(2014, 11, 25, 10, 54, 54, 0), 0],
                [Date.UTC(2014, 11, 25, 15, 42, 42, 0), 0],
                [Date.UTC(2014, 11, 25, 15, 44, 44, 0), 1],
                [Date.UTC(2014, 11, 25, 15, 44, 44, 0), 1],
                [Date.UTC(2014, 11, 25, 15, 46, 46, 0), 3],

Založit nové vlákno • Nahoru

Tiskni Sdílej: