Dotaz: Jak odstranit znaky z proměnné pomocí shell\bash

[Lubosh]

DD, poradil by prosím nějaký odborník na shell či bash, jak z proměnné $FOO odstranit všechn mezery a tabulátory před prvním znakem a všechn mezery a tabulátory za posledním znakem. Určitě existuje spousta řešení, no můj problém je v tom, že vyžaduji co od tak pomalého shellu co nejrychleší zpracování, jedná se o položky jejichž počet běžně přesahuje 5 nul Děkuji za každou pomoc.

Odpovědi

[Kit]

Především je potřeba takové údaje nestrkat do $FOO, ale použít přímo datový proud ze zdroje. Pak už je to jednoduché

zdroj_dat | sed -e 's/^\s*//' -e 's/\s*$//'

Shell není pomalý. Pomalé jsou jen zbytečné cykly v něm.

[Lubosh]

Věřím, že pomalejší řešení už neexistuje...

[Kit]

Je fakt, že na mém notebooku to pro 10M záznamů (testovací soubor měl 230 MB) trvalo minutu. Určitě existuje rychlejší řešení.

[Lubosh]

Tak to máš patrně nějaký kouzelný notebook Při použití tvého kódu na železe s 2xCPU, 16GB RAM při zpracování 10000 položek se dostávám na čas 6,5minut...

[Kit]

Můj notebook má 2 GB RAM a procesor Core 2 Duo na 2 GHz. Jak vidíš, hrubou silou to asi nedělám.

[Lubosh]

A velikost mého souboru je jen 300kB

[Kit]

Musíš vypustit tu proměnnou $FOO. Ta to strašně brzdí.

[Lubosh]

Nedokážu vypustit proměnnou $FOO, přece potřebuji s tou položkou co jsem u ní ořezal mezery i nadále pracovat, patrně si nerozumíme, nebo nerozumím já tobě

[Kit]

$FOO je jen nějaký mezičlánek, který plníš daty. Odkud bereš data? Ze souboru nebo z výstupu nějakého procesu?

[Lubosh]

$FOO je jen nějaký mezičlánek, který plníš daty.

ano, přesně tak

Odkud bereš data? Ze souboru nebo z výstupu nějakého procesu?

Data beru z pole

[Kit]

Pole v Bash je jeden velký nesmysl. Jak se ta data do toho pole dostala? Odkud se tam tak náhle objevila? To pole vůbec nemělo vzniknout.

[Lubosh]

Pole se načítá ze souboru..

[Kit]

No vida! Takže místo načítání ze souboru do pole uděláš tohle:

sed -e 's/^\s*//' -e 's/\s*$//' <soubor.txt

Leze to z tebe jak z chlupaté deky. Bílé znaky na začátku a na konci řádku bychom měli vyřešeny, co s těmi daty budeš dál dělat? Pokud je jen budeš chtít uložit do dalšího souboru, stačí na konec uvedeného řádku ještě přidat přesměrování

>druhy_soubor.txt

Předpokládám však, že je asi budeš chtít nějak zpracovat. Co to bude?

[Lubosh]

A to je ten kámen úrazu ;) budu je ukládat zpět do jiného souboru, jenže důvod proč jsem takové řešení nikdy nerealizoval byl ten, že jsem nenašel způsob, jak získat z jednoho řádku dva řádky na výstupu.. Sice se nabízelo IFS ale to už je časově úplně špatně.. Jinak jsem se teď dostal s časem < 12sec. to je sakra rozdíl...

[Kit]

To je celý problém? Když popíšeš, co vlastně potřebuješ, napíšu ti řešení na jeden řádek. Takže jakým způsobem chceš ten jeden řádek ze vstupu rozepsat na dva řádky na výstupu?

[Lubosh]

Tak zkusím uvést příklad, mám soubor1 ve kterém je

  Text      /tmp/a     
        Nějaký text /tmp/b     
  Nějaký jiný text            /tmp/c            

a potřebuji dostat soubor2 ve kterém bude

"Text-a" "/tmp/a" "Nějaký složka-b" "/tmp/b" "Nějaký jiný text-c" "/tmp/c"

to je vše.. ;)

[Kit]

Aha, takže máš text na více řádcích, které potřebuješ sloučit do jednoho řádku. To nebude tak složité. Ještě kdybych tak věděl, podle čeho rozpoznám, zda je na vstupu první, druhý nebo třetí řádek, protože na výstupu podle toho budu určovat, na které pozici to bude.

Z mého pohledu máš na prvním řádku dvě slova, rozpoznám ho podle slova "Text". Druhý řádek rozpoznám podle slov "Nějaký text" a má tři slova. Třetí bych mohl rozpoznat podle slov "jiný text". S příchodem třetího řádku vyprodukuji na výstupu uvedený řetězec.

Asi na ten program budu potřebovat tři řádky, aby se neztratila přehlednost. Je to zadání OK? Ať to pak nemusím zbytečně předělávat.

[Lubosh]

No ten text je jen smyšlený, tudíž se podle něj nelze řídít čili jediný způsob bude vložit oddělovací znak?

[Kit]

Cokoli, co se dá detekovat. Ustálený řetězec, klíčové slovo, lomítko, rovnítko. Něco, podle čeho poznám, zda ten řádek bude první, druhý nebo třetí. Mohu také detekovat posloupnosti pořadových čísel řádek 1,4,7 - 2,5,8 - 3,6,9...

To vše je možné. Jenom potřebuji vědět, podle jakého pravidla rozpoznám kterou část textu. Například teď jsem si udělal funkční řešení

awk '!/jiný/ {printf($0)} /jiný/ {print($0)}' <data.txt

které však nebude správné, protože jsi problém specifikoval příliš vágně. Navíc jsem tam neořezal bílé znaky na začátku a na konci, ale to asi v tuto chvíli tolik nevadí.

[Lubosh]

Může to být takto?

Text   .   /tmp/a     
        Nějaký text ./tmp/b     
  Nějaký jiný text .           /tmp/c  

[Kit]

Může, ale tečka bývá nevýhodná, protože je speciální znak. Navíc mám obavu, zda se nevyskytne v textu. Mnohem lepší by byl třeba středník.

jak na to koukám, tak pořadí řádek budu asi muset rozpoznat podle stringů "/tmp/a", "/tmp/b" a "/tmp/c". Pokud to jsou fixní texty a jsou na konci řádku (plus pár nevýznamných bílých znaků), tečku ani jiný oddělovač potřebovat nebudeme.

[Lubosh]

Právě že ne, v tomto případě může být za tečkou cokoli co nemusí začínat vůbec znakem "/" tak se ani nemusí jednat o adresář "tmp". Zkusíme to ze středníkem ;)

[Kit]

Podle čeho tedy poznám, zda se jedná o první, druhý či třetí řádek?

[Lubosh]

To znát nepotřebuješ, vždy to bude takto

foo ; bar #ŘÁDEK 1
foo ; bar #ŘÁDEK 2
foo ; bar #ŘÁDEK 3
foo ; bar #ŘÁDEK 4

a výstup do uvozovek a vše na jeden řádek...

[Kit]

Ale na pátém řádku bude první řádek dalšího záznamu. Před chvílí jsi měl záznam ze tří řádek, teď ze čtyř. Psal jsi, že těch řádek máš 10000. Které chceš spojit a které ne?

[Lubosh]

Ale já nikdy o žádném spojení nepsal.. Zkusím to ještě jednou, s čísly

soubor1 (zdroj (5 000 000 řádků - tady je prvních 7)) místo každého čísla může být cokoliv mimo středníku...

   1 ; 5
88; 9
15       ; 1
87 ; 11
     2 ; 1
89                ; 55
1    ;88

soubor2 (výstup)

"1" "5" 
"88" "9" 
"15" "1" 
"87" "11" 
"2" "1" 
"89" "55" 
"1" "88"

nebo klidně i takto, je to fuk

"1" "5" "88" "9" "15" "1" "87" "11" "2" "1" "89" "55" "1" "88"

[potato]

Tohle se udělá triviálně:

sed 's/[ \t]*;[ \t]*/" "/g;s/^[ \t]*/"/;s/[ \t]*$/"/;'

Pokud už to je konečně skutečné zadání, tak proč jsi to proboha nemohl napsat o třicet příspěvků dřív?

[Kit]

Něco podobného dostal jako úplně první odpověď. Myslel si, že to bude pomalé.

[potato]

Jo, to už jsem nějak pozapomněl. Sed sice nemusí být nejrychlejší možné řešení, nicméně zpracovává v tomto případě jeden řádek asi 1 µs, s awk (RS nastaven rovnou na správný regexp) dostávám podobný čas. Od interpretovaných regulárních výrazů těžko čekat víc...

[Kit]

Pokud nechce psát vlastní aplikaci v C, tak sed či awk je pro něj asi nejdostupnější a nejelegantnější řešení. I rychlost je podle mne velice slušná a pro mnoho aplikací naprosto vyhovující. Jenom se ten sed nesmí volat v bashovém cyklu pro každý řádek...

[potato]

Pokud by to bylo něco, co se bude provádět fakt často s neměnným formátem dat a záleží na rychlosti, tak s běžnými postupy se v C lze pohodlně dostat pod 100 ns/řádek (zkoušel jsem). Pak už je to otázka, kolik času programátora má smysl obětovat na low-level optimalizace úlohy typu přepisování středníků na uvozovky. Nejspíš žádný, pokud to nebere jako intelektuální cvičení...

[Kit]

Uvozovky ... tak mě napadá, jestli z toho nechce dělat SQL inserty...

[potato]

To by snad mezi těmi řetězci chtěl jiné oddělovače než mezery. Ale třeba z něj po dalších deseti příspvěvcích vyleze, že ve skutečnosti chce...

Jinak tedy žádné z našich řešení neřeší escapování případných uvozovek ve vstupu, ale zda a jak je to zapotřebí ošetřit, to nikdo neví.

[Kit]

Vůbec netušíme, jaké obskurnosti z něho vylezou, ale vhledem k tajnůstkaření bych to tipoval na vykrádání ceníků konkurence z jejich webů a nalévání do vlastní databáze. V tom případě by to celé bylo úplně špatně.

Na escapování uvozovek na vstupu by mohl přijít možná po druhém až třetím injection.

[Kit]

Vlastně to skutečně znát nepotřebuji. Nic z toho znát nepotřebuji. Vlastně mě už ani nebaví z tebe tahat utajované zadání. A víš co? Dělej si to jak chceš.

[potato]

To není popis, čeho se má dosáhnout. To je popis, jak se to [pravděpodobně] nemá dělat.

Data jsou v nějakém souboru a v nějakém dalším souboru nebo souborech mají po zpracování data zase skončit. Otázka je, jak je efektivně dostat z prvního místa do druhého. Kde je v předchozích vetách pole v shellu? Nikde.

Z popisu není jasné, co se s daty má dít dál, ale pro smyslupnou radu musíš napsat požadovaný konečný výsledek. Je velmi pravděpodovné, že efektivní řešení data přes žádné pole v shellu nepožene.

[Kit]

Začínám tušit, že řešením problému bude jediný rychlý řádek s několika parametry. Je to však jak s číslem 42: Neznáme otázku.

[NN]

Kite obdivuji tvou trpelivost ;).

[Michal Kubeček]

Pominu-li, že (1) mezera i tabulátor jsou také znaky, takže před prvním znakem ani za posledním žádné mezery ani tabulátory být nemohou, a (2) pět nul je pořád jen nula, tak to, o co vám nejspíš jde, lze např. pomocí

  read FOO <<<"$FOO"

Pokud ty hodnoty ve skutečnosti čtete ze souboru, tak samozřejmě stačí rovnou

  while read line; do
      ...
  done <file