Užitečné skripty 6: stahujeme z rapidshare (diskuse)

Problém těhle skriptíků je v tom, že mají obvykle krátkou životnost - někde změněj název parametru a celej skript je rázem na nic. A pokud nejsi zrovna jeho autor, tak musíš složitě zjišťovat, kde ta chyba je.

Chtělo by to nějakej přiměřeně umělointeligentní nástroj, kterej by dokázal sám podle toho, jak uživatel kliká, sestrojit ten konečnej automat, kterej popisuje pohyb na tom serveru (to znamená umět určit stav ve kterym sem /např.: stav špatně zadaná captcha/ a odvodit si akce, které mě dostanou do jiných stavů /např.: akce počkej 10 minut a pak následuj odkaz/). A kterej by samozřejmě uměl obejít captchu.

Tady je kdyžtak něco podobného pro edisk

#!/bin/bash

countDown() {
	i=26
	while ((--i >= 0)); do
		echo -n "$i"
		sleep 1
		tput el1
		tput cub 3
	done
}

if [ $# != 1 ]; then
	echo -e "\nUsage:\n\t$0 URL\n"
	exit 1
fi

UA="Opera/9.12 (X11; Linux i686; U; en)"
OUTPUT=~/Desktop/"$(basename $1 | sed -r 's/_[^_]+$//' | sed -r 's/-([^-]+)$/\1/')"
DOWNLOAD="$(echo $1 | sed s/stahni/stahnout/)"

echo -n Getting SID...
SID="$(
	curl -I --user-agent "$UA" "$1" 2>/dev/null | grep -Po '(?<=SID=)[^;]+'
)"
if [ -z "$SID" ]; then
	echo " :("
	exit 1
fi
echo " done: $SID"

countDown


curl --user-agent "$UA" \
     --output "$OUTPUT" \
     --cookie SID="$SID" \
     --referer "$1" \ 
     "$DOWNLOAD"

Neuveritelna nahoda, akurat som si v utorok napisal nieco podobne. Par rozdielov. CAPTCHA sa netaha na rapidshare.com cez https ale iba cez http. Mirror sa tiez vybera az na stranke s CAPTCHA. Pre mna bolo prioritou tahat rychlejsie ako normalne a vyuzit pri tom viac dostupnych IP adries (kolko IP adries mas, tolkokrat si clovekom). Takze moj skript je stavany tak, aby dokazal vyuzivat ssh-tunnely na vzdialene stroje. Namiesto wgetu pouzivam netcat. Mozno by to bolo vhodnejsie rieseni na routre. netcat ma 44kB a tych par hlaviciek si vyrobis rucne.

A pred asi tyzdnom zrusili to kvazi encodovanie zoznamu mirrorov, takze uz sa netreba babrat s uudecode alebo podobne.

Moj skript ked zisti, ze treba cakat, tak si pocka zisteny pocet minut+1 a potom to skusi znova. Budem este musiet dorobit, aby dokazal kruhovou sykorkou rozhadzovat linky na niekolko dostupnych IP adries. Zatial je to v stadiu, ze to treba robit rucne a pustit proces niekolkokrat, kazdy s disjunktnym zoznamom suborov na stiahnutie.

If you hold a Unix shell up to your ear, you can you hear the C.

Nevím co máš za verzi olegova fw, ale v aktuální verzi wc v BusyBoxu je.

[maros@wl-500gp root]$ wc -h
wc: illegal option -- h
BusyBox v1.1.3 (2007.01.01-14:37+0000) multi-call binary

Usage: wc [OPTION]... [FILE]...

A nainstalovat plnohodnotný wget taky není žádný problém:

#ipkg install wget-ssl

Aktuální verze je 1.10.2-3. To je myslím dost nové ;-)

13.4.2007 10:07 Tomáš | skóre: 31 | blog: Tomik
Rozbalit Rozbalit vše Re: Užitečné skripty 6: stahujeme z rapidshare

Mam BusyBox v1.1.3 (2006.06.29-17:07+0000), to je trosku starsi. Myslim, ze verze firmwaru ma na konci 7f, v dobe, kdy jsem to instaloval, byla posledni stable.

Tu anabazi s wget tam mam proto, ze to bude fungovat i bez ipkg (staci jedna binarka). Je pravda, ze potom nemas ani screen a nemohl by ses jenom pripojit, pustit stahovani a zase se odpojit. Samozrejme, ze ipkg je mocny nastroj a uz se chystam zprovoznit nahravani z internetovych radii pomoci streamripper (skript mam, jenom vyzkousim, jestli funguje).

31.10.2008 20:44 Eddie
Rozbalit Rozbalit vše Re: Užitečné skripty 6: stahujeme z rapidshare

A nainstalovat plnohodnotný wget taky není žádný problém:

No pro me to problem docela je. Provedu instalaci ,ale i pres to se mi wget stale odkazuje na ten v busyboxu . Nevite,jak spustit ten WGET-SSL ?

1.11.2008 07:24 Marián Kyral | skóre: 29 | blog: Sem_Tam | Frýdek-Místek
Rozbalit Rozbalit vše Re: Užitečné skripty 6: stahujeme z rapidshare

Nic jsem nastavovat nemusel. Při instalaci byly odkazy na busybox automaticky odstraněny. Když tak zkus spustit /opt/bin/wget

[maros@wl-500gp root]$ type wget
wget is a tracked alias for /opt/bin/wget
[maros@wl-500gp root]$ ipkg files wget-ssl
Package wget-ssl (1.11.4-1) is installed on /opt/ and has the following files:
/opt/bin/wget
/opt/man/man1/wget.1
/opt/etc/wgetrc

Successfully terminated.
[maros@wl-500gp root]$ wget --version
GNU Wget 1.11.4

Copyright (C) 2008 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later
<http://www.gnu.org/licenses/gpl.html>.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

Originally written by Hrvoje Niksic .
Currently maintained by Micah Cowan .
[maros@wl-500gp root]$