BASH - kostra většího skriptu

27.5.2008 13:09 | Přečteno: 2395× | Praxe | | poslední úprava: 27.5.2008 13:17

V průběhu používání *uxu jsem zjistil, že používám stále stejnou sadu užitečných postupů při tvoření BASH skriptů.

Vytvořil jsem si šablonu a protože jsou v ní věci které považuji za opravdu užitečné a nenašel jsem je nikde dané pěkně pohromadě, tak ji dávám v plen. Snad se bude někomu hodit.

#!/bin/bash

#set -x 
# Debug output ?
DBG=n
DBG=y

### Uitlity Variables #################
PRGNAME=`basename ${0}`

## needed for singleton scripts (see function make_pid_file() )
#PIDFILE="/var/run/${PRGNAME}.pid"       # system scope (need root access)
#PIDFILE="/tmp/${PRGNAME}.pid"           # system scope (user access) 
PIDFILE="/tmp/${PRGNAME}.${USER}.pid"   # user scope

# Try get CFG from /etc/$CFGNAME, ~/.$CFGNAME and
#    mandatory cfg from /etc/$CFGNAME.mandatory
# if $CFGNAME is empty do not use cfg files
CFGNAME="${PRGNAME}"                    # if empty do not use cfg files
#CFGNAME=""

### User Variables #####################


### Utility functions ##################
function dbg() {
    [ "s${DBG}" = "sy" ] && echo -e "DBG: ${@}" 1>&2
}

function err() {
    dbg "function err()"
    echo -e "${PRGNAME}: ${@}" 1>&2
}

function die() {
    dbg "function die()"
    se=${1}
    shift
    err ${@}
    exit "${se}"
}

function load_config() {
    dbg "function load_config()"

    [ -z ${CFGNAME} ] && dbg '  $CFGNAME not set, no cfg needed' && return

    # Try get CFG from /etc/$CFGNAME, ~/.$CFGNAME and
    #    mandatory cfg from /etc/$CFGNAME.mandatory
    CFGloaded=n

    for cfg in "/etc/${CFGNAME}" "~/.${CFGNAME}" "/etc/${CFGNAME}.mandatory"
    do
        if [ -r "${cfg}" ]
        then
            . ${cfg} || die 1 "Loading configuration from ${cfg} failed."
            dbg "  lodaing cfg. from ${cfg}"
            CFGloaded=y
        fi
    done

    [ "s${CFGloaded}" = "sn" ] && die 2 "No configuration file found in: " \
        "/etc/${CFGNAME}" "~/.${CFGNAME}" "/etc/${CFGNAME}.mandatory" 
}


function cleanup() {
    dbg "function cleanup()"

    # make a clean up think
    if [ -n "${PIDFILE}" -a -r "${PIDFILE}" ] 
    then
        rm -f "${PIDFILE}" \
            || err "${PRGNAME}# Can not delete PID file: ${PIDFILE}"
    fi
}

function make_pid_file() {
    dbg "function make_pid_file()"
    
    [ -z ${PIDFILE} ] && dbg '  $PIDFILE is not set, not using it' && return 

    # Single ton scope is set by PIDFILE value
    # PIDFILE="/var/run/${PRGNAME}.pid" is in system scope (need root access)
    # PIDFILE="/tmp/${PRGNAME}.pid" is in system scope (user access) 
    # PIDFILE="/tmp/${PRGNAME}.${USER}.pid" is in user scope 

    if [ -f ${PIDFILE} ]
    then
        ## Another instance is running
        OTHER_PID=`cat ${PIDFILE}`
        err "EXITING\n  Pid file found: ${PIDFILE}"
        err "  Probably another instance of ${PRGNAME} is running. (PID=${OTHER_PID})"
        die 127 "Check-it please ..." 
    else
        echo "${$}" > "${PIDFILE}" 2>/dev/null
        [ -f "${PIDFILE}" ] || \
            die 126 "${PRGNAME}# Can not create PID file: ${PIDFILE}"
        chmod 600 "${PIDFILE}"
    fi 
}

### Cfg. Loading ###################
load_config

### Pre Run Checks #################
dbg "### Additional Checks ###"
# if it has to be singleton (see make_pid_file() for info. about scope)
make_pid_file


#######################################
dbg "setting trap"
# in case of any exit run cleanup procedure
#         0 means normal exit so you can not do cleanup "by hand"
trap cleanup 0 2 3 4 9 11 15            # I know, I know at least 9 can not by catched

### Main Part##########################
dbg "### Main Part ###"


#######################################

       

Komentáře

[happy barney]

function dbg_init () {
    case "$1" in
        '-') exec 4>&1 ;;
        '') exec 4>/dev/null ;;
        *) exec 4>>"$1" ;;
    esac
}

# dbg_init
# dbg_init '-'
# dbg_init "/var/log/${PROGNAME}.log"

function dbg() {
    echo -e "DBG: ${@}" >&4
}

[pht]

takovych veci, a staci na to jeden radek v perlu. :)

[finc]

Šum na lince?

[Shadow]

Tak sem s ním.

[kain]

ak sa nemylim tak diskutujuci vyssie mal na mysli funkciu DBG ktora sa da riesit v perle prepinacom perl -w. Ale perlom prilis nevladnem a moja domnienka moze byt zla.

[pht]

funkce die - existuje primo

humbuk kolem dbg - viz smart comments

load_config - staci si vybrat ... bashoidni konfigy, klasicka inicka, yaml, ... pokazdy mate nacteni pomoci jedne funkce

prasovani command lajny (getopt) kouknete se na getopt::euclid

...

[Qaxi]

$ ll `which bash` -rwxr-xr-x 1 root root 702160 2008-05-12 20:33 /bin/bash

a to je komplet

$ ll `which perl` -rwxr-xr-x 1 root root 1080468 2007-11-27 12:08 /usr/bin/perl $ du -s /usr/lib/perl/5.8.8/ 11048 /usr/lib/perl/5.8.8/

tj. dohromady 12M ...

700K <> 12000K a tomu odpovídají i možnosti

Navíc perl opravdu není všude ...

[Alík]

Navíc perl opravdu není všude ...

To BASH taky ne

[Kyosuke]

Ale i do Windows se dá doinstalovat...

[Qaxi]

Ale i do Windows se dá doinstalovat...

To BASH taky ... (já ve Win používám ZSH, ale BASH jsem taky někde viděl) Vždyť Win mají POSIX layer neeeeee

[Kyosuke]

Já měl na mysli právě Bash.

[pht]

to ano, proti tomu se nebranim. treba kdyz to udelate v asm, tak pudete na 2kb. ale o to nejde. v bashi delejte utilitky na par radku, slozitejsi veci ve slozitejsim jazyce. reste kde die() pouzit a ne jak ho udelat.

[Qaxi]

Ale tohle JE na pár řádků ... navíc RW nikoliv RO

Pro ošetření toho, aby se nějaký program spustil v jednom čase jen jednou nepotřebuji složitější jazyk. Na to stačí BASH viz. tento spot.

V nadpisu spotu je BASH ... pokud Vás to irituje, prosím už ho nečtěte a ani diskuse pod ním.

[xkucf03]

Mně taky nejde moc dohromady BASH a "větší skript", akorát jsem nechtěl zbytečně rýpat. Každý máme nějaký svůj oblíbený jazyk. (ale obecně považuji skriptování spíš za nesystémovou záležitost, kterou se záplatuje chybějící funkcionalita softwaru)

[Kyosuke]

Typický windowsák? Aneb ukaž mi software, který dělá úplně všechno. Spousta malých nástrojů pohromadě sice taky neudělá úplně všecho, ale myslím, že udělají mnohem víc, než software, jehož tvůrci si bůhvíproč mysleli, že musí umět všechno včetně RFC 2324.

[xkucf03]

software, jehož tvůrci si bůhvíproč mysleli, že musí umět všechno

Spíš než takový monstrózní software považuji za ideální jednotlivé komponenty, které jsou integrované nějakým lepším způsobem, než jsou skripty v BASHi. Mám radši systém tažený událostmi, než takový, který musí být neustále popoháněn pomocí skriptů* aby vůbec fungoval (obvykle periodicky spouštěných cronem).

Ale je fakt, že svět není ideální a bez skriptů se člověk neobejde, alespoň bez těch init.d (pokud nepoužívá nejmenovaný úžasný OS se svcadm).

BTW: to RFC se mi líbí a patička je super

*) které navíc psal admin nikoli programátor a tester kolem nich neprošel ani cestou na oběd

[Kyosuke]

Spíš než takový monstrózní software považuji za ideální jednotlivé komponenty, které jsou integrované nějakým lepším způsobem, než jsou skripty v BASHi. Mám radši systém tažený událostmi, než takový, který musí být neustále popoháněn pomocí skriptů* aby vůbec fungoval (obvykle periodicky spouštěných cronem).

Teď mluvíš o Emacsu... (Aneb událostmi řízený systém s mnoha jednotlivými komponentami, integrovanými v jednoduchém, ale mocném dynamickém jazyku.)

[xkucf03]

Spíš o SOA. Ale s tím je problém, že polovina lidí ho odmítne, protože je příliš drahé a druhá polovina proto, že je to buzzword. A jen málokdo chápe, že to jsou v první řadě obecné principy a ne nějaký (ku*evsky drahý) software, a tak se denně na milionech počítačích stále pouštějí periodicky nějaké dávkové skripty a přelívají se terabajty dat.

[ʚĭɞ 🍉]

Aneb ukaž mi software, který dělá úplně všechno.

Bez váhání dávám Emacs. ^_^

[Kyosuke]

Říkám to nerad, ale Emacs RFC 2324 skutečně podporuje, takže i to kafe uvaří. Ale ten hardware si pro to budu muset asi udělat sám...

[Qaxi]

Jo Jo

Větší script je tak na čtyři terminály, pak už je to na něco kompilovaného ...

Třeba na javu

[Tomáš]

Ještě mi tam chybí nějaké parsování parametrů. Kdysi jsem něco našel. Je to taky jenom kostra, chce to dopsat, co to vlastně má dělat.

#!/bin/sh
help(){
echo Usage: $0 
}

if [ $# -lt 1 ]
then
  help
else
  echo OK
fi

while getopts h opt
do
  case $opt in
    h) help;;
    \?) help;;
  esac
done
shift $(($OPTIND - 1))

echo Running

[Chocolate Bear]

Jak jako kostra? Tohle by přece po úpravě menší než drobné by mohlo jít nainkůdovat tečkou, no ni?

[Qaxi]

No jasně ...

Kostra je to proto, abyses mohl rozhodnout jestli to budeš psát přímo nebo to natečkuješ.

U nekompilovaných věci se spíš kloním k nesdílení "knihoven", je tam riziko, že uděláš v knihovně změnu a "kompilátor bash" tě neupozorní na chybku ... Prostě mi skripty přijdou příliš křehký ...

[Marián Kyral]

[ "s${DBG}" = "sy" ] && echo -e "DBG: ${@}" 1>&2

Jaký je rozdíl oproti [ "${DBG}" = "y" ] && echo -e "DBG: ${@}" 1>&2 ?

[David Watzke]

Lepší je nastavit DBG na true/false, pak lze rovnou

$DBG && echo -e "DBG: $@" >&2

[Qaxi]

souhlas

Nedělám to ze dvou důvodů:

1) musíte DBG mít definovanou a nesmíte tam mít nic jiného než "true" nebo "false", jinak je výsledek těžko předvídatelný a nebo dokonce řachne script ...

$ DBG=true
$ $DBG && echo "OK"
OK
$ 
$ DBG=false
$ $DBG && echo "OK"
$ 
$ DBG=jabaduba
$ $DBG && echo "OK"
bash: jabaduba: command not found     
# šlo by ošetřit pomocí set -e - bash by po takovéto chybě nepokračovat 
$ 
$ unset DBG
$ $DBG && echo "OK"
OK
# je to opravdu chování které autor chtěl?
$ 

2) na shellech kde "true", "false" a "test" jsou uvnitř shellu je téměř jedno který z nich voláte a s "test" máte jistotu CO to udělá.

[pht]

rozdil je ze kdyz nemate DBG definovane vubec tak by "" = "y" udelalo b0rk...

[Chocolate Bear]

Minimálně v BASHi teda určitě ne.

[Marián Kyral]

Fakt? Já myslel, že se porovná prázdný řetězec s řetězcem "y". A to normálně funguje:

# set |grep DBG
# [ "${DBG}" = "y" ] && echo Yes || echo No
No
# DBG=y
# [ "${DBG}" = "y" ] && echo Yes || echo No
Yes
#

[GandY]

to sa dá vyriešiť aj substitúciou:
# [ "${DBG:-n}" = "y" ] && echo Yes || echo No
ak premenná DBG nie je nastavená, tak sa použije hodnota 'n'.

[Qaxi]

Jasně, ale pak je to totální BASHismus a na jiném shellu to nemá ani šanci chodit ...

Ten původní kód by s maličkýma úpravama mohl chodit skoro kdekoliv ...

[GandY]

no mne to funguje aj v korn shell a to aj pod AIX a HP-UX

[Kyosuke]

WTF? RTFM!

[Qaxi]

Fakt ... koukam jako trubka. :-< Děkuj za doplnění vzdělání.

Já to bral jako BASHismus a ono je to POSIXové.

Nejstarší normu na POSIX jsme našel IEEE Std 1003.1,2001 Edition a tam to je taky.

A všechny (/usr)/bin/sh co mám dostupné tak to nahradí správně

$ echo "${QQQ:-www}"
www
$

Nedostanete se někdo ke starším verzím? Jak je to tam?

[Kyosuke]

Fakt ... koukam jako trubka. :->

Zlomená? Pajpa přeci kouká takhle: :|

[Qaxi]

Opravuji

... koukám jako zlomená trubka. :->

[Qaxi]

žádný

Když tak o tom přemýšlím tak je to trik který jsem se naučil na nějakém opravdu starém U*xu. Mám pocit, že to souviselo se shellem v POSIX režimu, ale už opravdu nevím.

Vidíte jak se člověka drží staré a leckdy už dávno nepotřebné konstrukce.

$ DBG="y"
$ 
$ [ "s${DBG}" = "sy" ] && echo OK
OK
$ 
$ [ "${DBG}" = "y" ] && echo OK
OK
$ 
$ [ ${DBG} = "y" ] && echo OK
OK
$ 
$ [ $DBG = "y" ] && echo OK
OK
$ 
$
$
$ DBG="n"
$ 
$ [ "s${DBG}" = "sy" ] && echo OK
$ 
$ [ "${DBG}" = "y" ] && echo OK
$ 
$ [ ${DBG} = "y" ] && echo OK
$ 
$ [ $DBG = "y" ] && echo OK
$
$
$
$ 
$ unset DBG
$ 
$ [ "s${DBG}" = "sy" ] && echo OK
$ 
$ [ "${DBG}" = "y" ] && echo OK
$ 
$ [ ${DBG} = "y" ] && echo OK
bash: [: =: unary operator expected
$ 
$ [ $DBG = "y" ] && echo OK
bash: [: =: unary operator expected
$ 

[happy barney]

žádný

Když tak o tom přemýšlím tak je to trik který jsem se naučil na nějakém opravdu starém U*xu. Mám pocit, že to souviselo se shellem v POSIX režimu, ale už opravdu nevím.

ten "trik" je o imho viac o používaní uvodzoviek ako o starom U*x-e

[Michal Kubeček]

V bashi tam rozdíl není, ale na některých systémech existují verze příkazu test, které si neporadí s [ "$x" = "y" ], není-li proměnná x nastavena. Pokud je ale na začátku skriptu '#!/bin/bash', je zbytečné toto zaříkávání provádět.

[Qaxi]

Aha, odsud vítr fouká ... Díky za připomenutí.

Pokud je ale na začátku skriptu '#!/bin/bash', je zbytečné toto zaříkávání provádět.

Jasně, prostě se člověk snaží psát přenositelně, i když má rád BASH. Schválně to otestuji v POSIX režimu a potom na

/bin/sh

na HP/UX a solarisu ... dám vědět.

[Marián Kyral]

Testoval jsem to v práci na nějakém AIXu, /bin/ksh a /bin/sh - funguje bez problémů.