Dotaz: spustanie skriptu bez cronu

[jany2]

Mam (nie pre mna) jednoduchy skript, ktory by mal stiahnut nieco.htm. Grepom vyhlada v nieco.htm klucove slovo a ak ho najde, tak curlom stiahne nieco ine. Bez ohladu na to ci klucove slovo najde, alebo nie, tak znova to zopakuje o 10 sekund.

while :
        do
        sleep 10

curl -s -o "http://nieco.htm"

if grep -wE nieco > /dev/null 2>&1
then
  curl -s "http://nieco.ine" >> /dev/null
  echo "zapis_do" >> /path/abc.log
fi

Otazka je: niekto tvrdi, ze ten skript funguje aj bez cronu. Neviem ci to zabezpecuje podmienka while, alebo ako to presne funguje. A aj tak ten skript musi niekto spustit, alebo kde ho umiestnit aby sa spustil po starte systemu.

Odpovědi

[NN]

Nehlede na to, ze skript je syntakticky spatne mas nekolik moznosti. Cron, rc.local, nebo systemd. Cron umi poustet program v opakujicim se intervalu. Soubor rc.local se pouziva k jednorazovemu spousteni programu po startu. No a konecne pomoci systemd unit souboru muzes udelat oboji najednou.

[k3dAR]

ten skript je podivnej slepenec kde jak pise NN, mas plno divnosti...
- pouzivas znak : pro nekonecnou smycku ale netusis co to znamena a priste si nevzpomenes, misto abys pouzil true ktere je "citelnejsi"
- prvni curl taha to souboru ale tomu grepu nazev souboru nepredhodis
- u grepu mas parametr na regexp ktere nepouzivas, zbytecne presmrovavas vystup a error do /dev/null misto pouziti --silent volby
- druhe curl taha na "obrazovku" (takze se nic neulozi) ale presmerovavas do /dev/null (takze se ani nic nezobrazi)
(btw: >> presmerovani znamena pridat k existujicimu, coz v pripade "cerne diry" /dev/null take ztraci vyznam)
- schazi ti "done" pro ukonceni while smycky (coz si mozna jen nedooznacil pri kopirovani)

takze ani neni jasne co vlastne tim chces delat, popis lepe co a proc to ma delat, co se ma stat s tim druhym curl vystupem, atd...

[jany2]

Doriesene s k3dAR cez email, dakujem.

[xxxs]

tak to nejako zosumarizujte, poradna je verejna.

[jejda]

Mě by taky docela zajímalo jak to vyřešili. Bych na to šel třeba nějak takto:

#!/bin/sh
url1="http://abclinuxu.cz"
url2="http://microsoft.com"
log="/tmp/$(basename "$0" .sh).log"
keyword="Microsoft"

# toto zabrání vícenásobnému spuštění
if [ $(pgrep -fc "$") -gt 1 ]; then
	echo "$0 run0ning!"
	exit 1
fi

while sleep 10; do
t=$(date '+%Y-%m-%d %H:%M:%S')
if curl -sL "$url1" | grep -qs "$keyword"; then
echo -n "$t "$keyword" detected, God save us!" | tee -a "$log"
curl -sL "$url2" > /dev/null \
	&& echo " ... $url2 OK" | tee -a "$log" \
	|| echo " ... $url2 failed!" | tee -a "$log"
else
	echo "$t "$keyword" not found!" | tee -a "$log"
fi
done

Je to samá roura ale tee zajistí že se bude logovat i když se skript pustí samostatně bez systemd.

Potom bych vytvořil soubor systemd službu /etc/systemd/system/sluzba.service

[Unit]
After=network-online.target

[Install]
WantedBy=multi-user.target

[Service]
User=jejda
Type=simple
ExecStart=/bin/sh /home/jejda/ptakoviny/mujskript.sh
LogLevelMax=warning
StandardOutput=append:/tmp/mujskript.log

Potom spustit

systemctl daemon-reload
systemctl start sluzba.service

Pokud by se to mělo spouštět automaticky při startu systému tak ještě

systemctl enable sluzba.service

A mělo by to běžet. No v praxi se ale může objevit pár problémů. Některé servery (třeba seznam.cz) posílají data s kompresí, tak to nejde prohledávat grepem ale musí se to první prohnat přes zcat. Další věc je, jak ověřit data co se stáhnou v té druhé fázi. S přesměrováním http/https si curl poradí když má přepínač -L ale co když server v případě že soubor nemá tak místo aby vrátil chybu 404, tak nás přesměruje někam jinam? To se taky běžně stává. Curl tak stáhne něco jinačího než co po něm chceme. Tu v tomto konkrétním případě je to fuk když se to stahuje do /dev/null ale co když bysme stahovali něco důležitýho a chtěli mít jistotu že se místo našeho dokumentu nestáhla nějaká hovadina kterou nechcem? Toto netuším jak řešit.

[jejda]

Kurnikšopa, nějak se mi tam posunula nula v te první části skriptu nemá být

if [ $(pgrep -fc "$") -gt 1 ]; then
	echo "$0 run0ning!"
	exit 1
fi

ale mělo to být:

if [ $(pgrep -fc "$0") -gt 1 ]; then
	echo "$0 running!"
	exit 1
fi

[jany2]

Tak aby som nezabudol (bez premennych)

while true; do
    sleep ${INTERVALL}

    curl --silent --output ${OUTPUT} --digest --user "${USER}:${PASS}" "http://${IP}:${PORT}/nieco_zisti=status"

    if grep --silent -wE ${ERROR} ${OUTPUT}; then
        curl --silent --digest --user "${USER}:${PASS}" "http://${IP}:${PORT}/nieco_vykonaj=${LABEL}" > /dev/null
        TIMESTAMP=$(date +"%d.%m.%Y %H:%M:%S")
        echo "${TIMESTAMP}  Reader ${LABEL} sa_vykonal" >> ${LOGFILE}
    fi
done

Skript na zaklade nastaveneho casu v premennej INTERVAL stiahne pomocou curl obsah z isteho webu. Grep tento obsah webu prejde a vyhlada ci sa tam nachadza retazec, ktory je ulozeny v premennej ERROR. Ak sa najdeny retazec shoduje s retazcom ulozenym v premennej ERROR, tak znova cez curl prejde na http a vykona sa nejaka poziadavka (dajme tomu, ze sa niekde nieco odosle). Nasledne sa to zapise do logu s datumom a casom. A tento proces sa opakuje podla hodnoty ulozenej v premennej INTERVAL

[jejda]

Co se ale stane když to pustíš, párkrát ten cyklus úspěšně proběhne a potom ten server třeba spadne nebo nebude dostupný? nebo spadne síť? Zkus to pustit a odpojit kabel. Grep bude parsovat starý ${OUTPUT} a všecko se bude tvářit v pohodě. Podle logu nic nepoznáš, ten ti bude lhat, že se akce vykonala. Toto bys měl nějak ošetřit.

Nejjednodušší by asi bylo při tom prvním stahování přesměrovat výstup.

curl --silent --digest --user "${USER}:${PASS}" "http://${IP}:${PORT}/nieco_zisti=status" > ${OUTPUT}

To zajistí že se ${OUTPUT} přepíše aji když curl nic nestáhne.

[jany2]

Ono to je vsetko na tom istom stroji, takze to taha z 127.0.0.1. A este pred done sa pravdepodobne da

rm $OUTPUT