Blbinky (6) - Sťahujeme obrázky z googlu

3.6.2009 01:05 | Přečteno: 1029× | linux

#!/bin/bash
[ -z "$1" ] && exit 1
SLOVO=`echo $1 | sed 'y/ /+/'` # akoze urlencode
START=0
IMG=0
while true; do
  START=$((START+20))
  wget -q -O - --user-agent="Mozilla Firefox" "http://images.google.sk/images?um=1&hl=sk&q=$SLOVO&start=$START&sa=N" | \
    sed 's/<a/\n<a/g;s/<\/a>/<\/a>\n\n/g' | grep 'imgres' | \
    sed 's/imgurl=/\nimgurl=/g;s/&imgrefurl/\n/g' | grep '^imgurl' | sed 's/imgurl=//' | \
  while read i; do
    echo $i
    wget -q --timeout=60 --user-agent="Mozilla Firefox" "`echo $i | sed 's/%2520/ /g'`" || echo chyba
  done
  sleep 1
done

Nedávno ma mama požiadala aby som jej zohnal nejaké obrázky jesenných stromov, nahral ich na USB kľúč, že si ich na chate pozrie a nejaký vyberie ako predlohu pre maliara ktorý potom podla neho nakreslí obraz. Spustil som ten skript a po pár hodinách už som mal niekoľko sto mega obrázkov jesenných stromov.

$ googleimages "autumn tree"
http://www.studiolo.org/pix/Gallery/2005-11-06-16-54-39_b-shp-bg01-pix.jpg
http://www.why-not-art.com/autumn-tree-sm.jpg
http://www.lanimilbus.com/naturephotos19/Autumn_tree.jpeg
http://www.momorialcards.com/images/golden_autumn_tree.jpg
http://www.lucaschristopherross.net/Graphics/AutumnTree.gif
http://www.beresfords.org.uk/images/DSCN1150-3005.jpg
...

       

Anketa

Komentáře

[David Ježek]

dobré je zkusit i další kombinace jako forest, fall, také zabírají slova s přímými lokacemi jako maine, new england, british columbia atd atd atd, občas se tam člověk dobere daleko lepších výsledků. jinak díky za tenhle tip.

[12345]

Jak na takový „útok” Google reaguje? Kdysi jsem se seznámil (Goolag Scanner) s jejich ochranou proti automatizovaným dotazům a připadala mi docela citlivá…

[geon]

Jak předat parametr, když bych chtěl soubory někam hned přesouvat? Co napsat místo pomlčky u mv?:

 

 wget -q --timeout=60 --user-agent="Mozilla Firefox" "`echo $i | sed 's/%2520/ /g'`" | mv - /var/samba/neco || echo chyba

[hikikomori82]

Myslis toto:

wget -O - ..... > /var/samba/menosuboru

[geon]

nee, myslím toto:

TO=/var/samba/sdileni/pics
mkdir $TO
....
wget -q --timeout=60 --user-agent="Mozilla Firefox" "$NAME"  -P $TO || echo chyba