Dotaz: Tvorba shellového scriptu

[Jakubysko]

Dobrý den. Chtěl bych si napsat funkci pro terimnál a líbí se mi spouštění funkcí s přepínači, něco jako myfce --new "/dir" --user "Name". Zjistil jsem, že pak můžu pomocí $# zjistit počet parametrů ale nezjistil jsem jak zjistit počet přepínačů. Jde něco takového vůbec udělat? Díky moc.

Odpovědi

[Pavel Stárek]

Zde How do I parse command line arguments in bash? je několik případů jak to udělat.

[Jakubysko]

Díky a můžu pak z takové funkce volat tu stejnou funkci s jiným parametrem ?

[#Tom]

Určitě, jen je potřeba dát si pozor na obsah proměnných nastavených ve funkci, které jsou ve výchozím stavu považovány za globální. Lokální proměnné je třeba deklarovat s klíčovým slovem local, nebo toto použít při jejich přiřazení.

[Jakubysko]

Super, díky za info. Kdyby uměl bash class tak je to nejlepší program co znám

[Jardík]

Zjistíš, že to zas tak hezké není. Hodně programátorů zapomíná používat uvozovky a pak se jim skripty rozbíjejí při prvním výskytu mezery v názvu souboru (ahoj autotools!). Když né mezery, tak se to zas rozbije, pokud je v názvu souboru znak nového řádku (i když málo pravděpodobné, tak stejně, název souboru prostě je libovolná sekvence znaků/bytů (kódování vůbec kernel více méně nezajímá), kromě '/' a nulového byte. Bash na tom chcípá. A díky tomu, že bash (a jiné shelly) nepodporuje nulový byte v řetězci, nelze ho použít jako univerzální oddělovač, třeba k použití v cyklech jako $IFS. Pak existují příkazy, na které se nelze spoléhat, že udělají, co chcete. Třeba echo. Některé bere "-e" jako argument, jiné ne. Nemůžete tedy spolehlivě vypsat "-e". -- to neinterpretuje jako konec argumentů. Zbývá tedy použít print, echo je prostě nebezpečné. Můžou za to v podstatě GNU rozšíření přidávající různé argumenty. Pak taky demence, která uřezává znaky nových řádků z výstupu programu do proměnné. Musíte pak v podstatě řešit hacky typu použití print pro vypsání náhodného znaku za příkazem, a ten pak odříznout. Další programy přidávají newline úmyslně. takže musíte odříznout ten znak a jeden newline. Bash ale sám odřízne všechny newline znaky, co jsou nakonci.

[Jardík]

Potřebuju to vylepšit. Potřebuju dostat jméno každého adresáře v tom aktuálním do proměnné pro použití v cyklu. Jména adresáře mohou obsahovat všechny znaky kromě '/' a nulového byte. Mělo by to fungovat s busyboxem (jeho find nemá printf, printf0). Busybox nemá base64 applet, takže base64 použít nemůžu.

#!/bin/sh

for FILENAME_BASE64 in $(find . -type d -exec base64_fn.sh {} \;)
do
	FILENAME=$(printf '%s' "${FILENAME_BASE64}" | base64 -d; printf x)
	FILENAME="${FILENAME%?}"
	
	printf '%s\n' "${FILENAME}"
done

base64_fn.sh:

#!/bin/sh
printf '%s' "${1}" | base64

[RM]

Nojo busybox, tam už si musí každej poradit sám -- a využít k tomu veškerou svou kreativitu.

[#Tom]

Tak napsat si vlastní base64 kodér/dekodér není těžké, kromě céčka jsem to dělal i v javascriptu. :) Na druhou stranu není podle mě nutné používat nutně nejúspornější kódování: co třeba toto?

echo -e "$(echo -ne "ABCDEFGH" | hexdump -ve '1/1 " x%02x"' | tr ' ' '\\')"

Oba potřebné program busybox má. Navíc odpadá program na zpětný převod, (ba)sh ji udělá sám.

[RM]

a má busybox bash :)

[Jardík]

Hmm, místo vnořeného echo použiju printf, ale čím nahradím to echo -e? V busyboxu funguje, ale v dashi:

$ echo -e "\x41\x42\x43\x44\x45\x46\x47\x48\x0a"
-e \x41\x42\x43\x44\x45\x46\x47\x48\x0a

[Jardík]

Tak jsem hexdumpu dal formát x%03o pro oktal čísla. Sežere to pak

$ printf '%s' "ABCDEFGH" | hexdump -ve '1/1 " %03o"' | tr ' ' '\\'
\101\102\103\104\105\106\107\110
$ printf '%b' "\101\102\103\104\105\106\107\110"
ABCDEFGH

[RM]

proč ne jen?

printf "\x41\x42\x43\x44\x45\x46\x47\x48\x0a"

[Jardík]

Nefunguje to v dashi:

jardik@Jardik-PC:~/Downloads$ dash
$ printf "\x41\x42\x43\x44\x45\x46\x47\x48\x0a" 
\x41\x42\x43\x44\x45\x46\x47\x48\x0a 
$ type printf
printf is a shell builtin
$

[Jardík]

%b + hex to taky nesní. Pouze oktal :(

[Jardík]

Teď koukám, že to sní i bez %b v tom oktalu:

$ printf "\101\102\103\104\105\106\107\110"
ABCDEFGH

Ještě to pak zkusím ve FreeBSD sh.

[RM]

aha, v ashi to jde

[Jardík]

sh ve FreeBSD hexa taky nebere, octal vezme. Hexdump je tam taky. Takže se zdá, že máme řešení pro cykly na souborech i s newline v názvech. Děkuji

[RM]

Příloha:

• new_line_files.sh (1280 bytů)

Trochu jsem to zkoušel a shledal jsem to nepoužitelné! Použitelné je to možná pro pár souborů (adresářů), ale už ne pro stovky, kdy seznam za příkazem for je tak dlouhej, že to prostě nejde použít. Udělal jsem tedy své řešení, které je na tom lépe. Je to opravdu zajímavý problémek :).

[RM]

Příloha:

• new_line_files.sh (1305 bytů)

jak mívam ve zvyku, tak ještě jedna učesaná verze :). Myslím, že to funguje dobře. Propašovat plné názvy souborů se do smyčky zdařilo :). Teď už to brzdí jen ten exec programu find.

[Jardík]

Super! Určitě se to bude někdy hodit.

[RM]

Díky za zajímavé shrnutí možných problémů. Ale na druhou stranu, není to v reálu až zas tak kritické :). 1) Uvozovky není radno zapomínat 2)znak nového řádku v názvu souboru může použít jen nějaký šťoura 3) echo je dobré používat pouze bez parametrů a jinak pužívat šikovnější printf 4) odřezávání jsem moc nepochopil (načtení bez konce řádku mi spíš vyhovuje -- je to běžná praxe při načítání textu awk, sed, vi aj.)

[RM]

4) pokud jde o CRLF, pak je třeba CR nějak odseparovat -- stačí použít ${file%^M}

[Jardík]

Příloha:

• bash_autocomplete_bug.jpg (161806 bytů)

Bez řádku ... někde. Kdyby to alespoň ořízlo jen jeden, který programy opravdu často přidávají. Ale proč všechny poslední znaky nových řádků, to mi hlava nebere. Někde je takový znak opravdu nežádoucí. Třeba v již zmíněné potřebě jména souboru, které ho obsahovat může (i když to považujete za prasárnu). Nebo třeba k zjištění md5 součtu něčeho, kde znak nového řádku zapříčiní naprosto jiný výstup.

Koukněte, jak se podělá i bash autocomplete, když je tam newline. A jak to třeba zvládne pcmanfm při editaci názvu s takovým znakem (ukáže mi ho jako 00 0A.

[Jardík]

Příloha:

• newline_strip.jpg (73760 bytů)

Takhle třeba. Sežere to newline a máte adresář, co neexistuje. A tímhle trpí spousta skriptů, co s něčím takovým nepočítají.

Nebo podívejte třeba na spouštěcí skript pro FreeRapid Downloader, který jsem trošičku osekal a přidal printf:

# Handle symlinks
PROGRAM="$0"
while [ -L "$PROGRAM" ]; do
	PROGRAM=`readlink -f "$PROGRAM"`
	printf 'symlink to: %s\n' "\"${PROGRAM}\""
done
printf 'cd to: %s\n' \""`dirname \"$PROGRAM\"`"\"
cd "`dirname \"$PROGRAM\"`"

Autor se snažil být chytrý a počítal se symlinkama. Snaží se dostat adresář, kde se nachází spouštěný skript. A nepochodil. Můj se nachází v /home/jardik/Apps/FreeRapid-0.9u4<newline>, a on se snaží cd do /home/jardik/Apps/FreeRapid-0.9u4, který neexistuje.

[RM]

jé, někdo kdo používá pcmanfm. Taky jsem ho používal, ale protože potřeboval externí knihovny a nesedlo mi tam pár věcí, přešel jsem na spacefm. By mi zajímalo, jestli je spacefm taky tak chytrej (budu to muset zkusit, až budu mít čas).

[Jendа]

Podle mě je to věcí GTK, filemanager prostě udělá textbox a tohle do něj vyblije, GTK udělá čtvereček s hexakódem.

[Jardík]

Něco na tom bude. Ale GIO (které pcmanfm využívá) má taky 3 různý položky pro název souboru. Jeden "skutečný" název, pak jeden určený pro zobrazení (to ukazuje takový ty sračky jako "(invalid encoding)" v názvech souborů když to není platný utf8) a další určený pro "editaci názvu". Asi je potřeba je správně použít/rozlišovat, aby to klikátko správně fungovalo.

[Jardík]

tu reference.

[Jendа]

znak nového řádku v názvu souboru může použít jen nějaký šťoura

No právě - když hrozí, že zpracováváš soubory od náhodných útočníků ze sítě…

[RM]

A co tedy pro takové případy použít? Perl?

[RM]

jinak, to jardíkovo řešení není špatné. Až budu chtít bejt hodně akurátní, tak to použiju.

[Jendа]

Mně se dobře píše v Pythonu (bonusem je že je to asi tisíckrát rychlejší než Bash), ale můžeš si vybrat co chceš…

[RM]

Ale to už se nebavíme o busyboxu, a v takovém případě se dá mnohdy s úspěchem použít jen find a -print0 a k tomu nějakej ten xarg.

[Jendа]

Hodně programátorů zapomíná používat uvozovky a pak se jim skripty rozbíjejí při prvním výskytu mezery v názvu souboru (ahoj autotools!). Když né mezery, tak se to zas rozbije, pokud je v názvu souboru znak nového řádku

Ono napsat v bashi skript který přežije newlines v názvech souborů je dost komplikované.

Třeba echo. Některé bere "-e" jako argument, jiné ne.

-n je ještě lepší, to neprojde snad nikde.

[rastos]

Nemyslím, že by som sa stretol s tým, že by sa bash v tomto choval nejak na stroji X a inak na stroji Y. Pokiaľ ja viem, tak echo je built-in bash a pozná aj -e aj -n. Pred nejakým časom ubuntu začalo používať dash, ktorý (ako tak pozerám) nepozná -e, ale pozná -n. Ale každopádne tu máme ešte /bin/echo (z coreutils), ktoré pozná aj -n aj -e.

Tak kde to teda nefunguje? Mne to pripadá, že človek len musí mať jasné, aké echo (resp. shell) používa a potom sa to chová konzistentne.

[Jendа]

Tak kde to teda nefunguje?

Vždyť sis sám odpověděl přesně tím co jsem napsal - všude.

[RM]

Tak kde to teda nefunguje?

V POSIXu je echo pouze bez parametrů. Všechny shelly, které se drží POSIXu mají tedy echo bez parametru (dash, ash, aj.). Všechny ty věcy, které se nechají udělat v bashi s parametry -e nebo -n, se mají dělat -- v souladu s POSIXem -- pomocí příkazu printf. Jak echo tak printf jsou built-in. Není tedy problém používat printf. Naopak je problém používat externí echo, které bude pomalejší, Zvykněte si používat printf a echo pouze bez parametru a nebudete mít problém. Zkuste si echo "-e" a pak printf '%s' "-e".

[Jardík]

Pokud mám busybox, tak ho mám asi proto, že ve svém systému nechcu bash, coreutils apod.

[Jakubysko]

Koukám, že se to nějak zvrhlo

[RM]

jen trochu ;)