Google nerado wget

Přihlášení | Registrace

napište » Zprávičky

dnes 19:11 | Nová verze

Po roce byla vydána nová stabilní verze 25.6.0 svobodného multiplatformního multimediálního přehrávače SMPlayer (Wikipedie).

Ladislav Hagara | Komentářů: 0

DNS4EU v testovacím režimu

dnes 12:55 | IT novinky

DNS4EU, tj. evropská infrastruktura služeb DNS založená na vysoce federovaném a distribuovaném ochranném ekosystému, byla spuštěna v testovacím režimu [𝕏]. Na výběr je 5 možností filtrování DNS.

Ladislav Hagara | Komentářů: 13

PHP dnes slaví 30 let

včera 22:44 | IT novinky

Skriptovací programovací jazyk PHP (PHP: Hypertext Preprocessor, původně Personal Home Page) dnes slaví 30 let. Přesně před třiceti lety, 8. června 1995, oznámil Rasmus Lerdorf vydání PHP Tools (Personal Home Page Tools) verze 1.0.

Ladislav Hagara | Komentářů: 7

17:00 Zablokován PornHub. 17:30 Nárůst počtu registrací Proton VPN o 1 000 %

7.6. 23:55 | Humor

Ve středu v 17:00 byl ve Francii zablokován přístup k PornHubu a dalším webům pro dospělé. K 17:30 došlo k nárůstu počtu registrací Proton VPN o 1 000 % [𝕏]. Dle nového francouzského zákona jsou provozovatelé těchto webů povinni ověřovat věk uživatelů prostřednictvím průkazu totožnosti nebo platební karty.

Ladislav Hagara | Komentářů: 38

Před 32 lety, 6. června 1993, byl spuštěn první český WWW server

6.6. 19:44 | Zajímavý článek

Před 32 lety, 6. června 1993, byl spuštěn první český WWW server (ještě pod TLD .cs), pro potřeby fyziků zabývajících se problematikou vysokých energií.

Ladislav Hagara | Komentářů: 7

Střílečka Borderlands 2 na Steamu zdarma napořád

6.6. 16:11 | Zajímavý software

Střílečku Borderlands 2 lze v rámci výprodeje série Borderlands na Steamu získat zdarma napořád, když aktivaci provedete do 8. června 19:00.

Ladislav Hagara | Komentářů: 11

Flowblade 2.22

6.6. 15:11 | Nová verze

Byla vydána nová verze 2.22 svobodného video editoru Flowblade (GitHub, Wikipedie). Přehled novinek v poznámkách k vydání. Videoukázky funkcí Flowblade na Vimeu. Instalovat lze také z Flathubu.

Ladislav Hagara | Komentářů: 0

Canonical Launchpad vypíná Bazaar

5.6. 15:00 | Komunita

Canonical Launchpad vypíná systém správy verzí Bazaar. Vývojáři mohou své repozitáře do 1. září přemigrovat na Git.

Ladislav Hagara | Komentářů: 9

SeaMonkey 2.53.21

5.6. 13:22 | Nová verze

Byla vydána nová verze 2.53.21 svobodného multiplatformního balíku internetových aplikací SeaMonkey (Wikipedie). Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 3

Petice za povinné zveřejnění zdrojových kódů softwaru použitých ve veřejné správě

5.6. 12:33 | Komunita

Petici za povinné zveřejnění zdrojových kódů softwaru použitých ve veřejné správě lze podepsat na ePetice.

Ladislav Hagara | Komentářů: 30

Centrum | Napsat | Starší

navrhněte » Anketa

Jaký je váš oblíbený skriptovací jazyk?

bash (54%)

python (32%)

perl (8%)

powershell (2%)

batch (0%)

vbscript (0%)

jiný, uvedu v diskusi (3%)

Celkem 234 hlasů

Komentářů: 16, poslední včera 21:05

Rozcestník

AbcLinuxu

HDmag.cz

Semo - Semo

Aktuální zápisy

? Archív

? Navigace

Nej blogů na AbcLinuxu

Nejčtenější za poslední měsíc

Nejkomentovanější za poslední měsíc

AbcLinuxu:/ Blogy / Semo / Zo sveta / Google nerado wget

Štítky: AbcLinuxu, blacklist, cURL, Google, Internet, stahování, wget

Google nerado wget

18.8.2009 16:13 | Přečteno: 1765× | Zo sveta

Google cache nejde tahat wget-om alebo curl-om. Staci ale zmenit user agent a uz nie je problem. Lubovolny nahodny user agent retazec je postacjuci.

Soudruzi z Google si pravdepodobne uzmysleli, ze ochrania svoju cache databazu pred hromadnym stahovanim. Tak filtruju pristup k nej podla toho ci polozka user-agent v HTTP hlavicke obsahuje retazec wget alebo curl. Ak neobsahuje, tak poslu obsah. Ak hej, tak vratia "403 Forbidden".

Cache sa da vyhladat zadanim do google vyhladavacieho policka "cache:<url>". Napr. cache:http://www.abclinuxu.cz. Presmeruje to na nejaky server z Google clustru a posle naspat stranku ako ju google-bot videl pri poslednej navsteve.

Whitelist browserov by som mozno este pochopil (aj ked je uplne rovnako na nic), ale blacklist nechapem uabsolutne. 90% ludi, ktori uz vedia spustit wget, vedia aj zmenit user-agent.

$ wget --user-agent wge 'http://209.85.129.132/search?client=opera&rls=en&hl=en&q=cache:http://www.abclinuxu.cz/&sourceid=opera&num=25&ie=utf-8&oe=utf-8'
--2009-08-18 16:00:46--  http://209.85.129.132/search?client=opera&rls=en&hl=en&q=cache:http://www.abclinuxu.cz/&sourceid=opera&num=25&ie=utf-8&oe=utf-8
Connecting to 209.85.129.132:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: `search?client=opera&rls=en&hl=en&q=cache:http:%2F%2Fwww.abclinuxu.cz%2F&sourceid=opera&num=25&ie=utf-8&oe=utf-8.1'

    [ <=>                                                                                              ] 91,817       526K/s   in 0.2s

2009-08-18 16:00:47 (526 KB/s) - `search?client=opera&rls=en&hl=en&q=cache:http:%2F%2Fwww.abclinuxu.cz%2F&sourceid=opera&num=25&ie=utf-8&oe=utf-8.1' saved [91817]

$ wget 'http://209.85.129.132/search?client=opera&rls=en&hl=en&q=cache:http://www.abclinuxu.cz/&sourceid=opera&num=25&ie=utf-8&oe=utf-8'
--2009-08-18 16:00:50--  http://209.85.129.132/search?client=opera&rls=en&hl=en&q=cache:http://www.abclinuxu.cz/&sourceid=opera&num=25&ie=utf-8&oe=utf-8
Connecting to 209.85.129.132:80... connected.
HTTP request sent, awaiting response... 403 Forbidden
2009-08-18 16:00:51 ERROR 403: Forbidden.

$ wget --user-agent curl 'http://209.85.129.132/search?client=opera&rls=en&hl=en&q=cache:http://www.abclinuxu.cz/&sourceid=opera&num=25&ie=utf-8&oe=utf-8'
--2009-08-18 16:03:44--  http://209.85.129.132/search?client=opera&rls=en&hl=en&q=cache:http://www.abclinuxu.cz/&sourceid=opera&num=25&ie=utf-8&oe=utf-8
Connecting to 209.85.129.132:80... connected.
HTTP request sent, awaiting response... 403 Forbidden
2009-08-18 16:03:45 ERROR 403: Forbidden.

$ wget --user-agent cur 'http://209.85.129.132/search?client=opera&rls=en&hl=en&q=cache:http://www.abclinuxu.cz/&sourceid=opera&num=25&ie=utf-8&oe=utf-8'
--2009-08-18 16:03:49--  http://209.85.129.132/search?client=opera&rls=en&hl=en&q=cache:http://www.abclinuxu.cz/&sourceid=opera&num=25&ie=utf-8&oe=utf-8
Connecting to 209.85.129.132:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: `search?client=opera&rls=en&hl=en&q=cache:http:%2F%2Fwww.abclinuxu.cz%2F&sourceid=opera&num=25&ie=utf-8&oe=utf-8.2'

    [ <=>                                                                                              ] 91,817       523K/s   in 0.2s

2009-08-18 16:03:49 (523 KB/s) - `search?client=opera&rls=en&hl=en&q=cache:http:%2F%2Fwww.abclinuxu.cz%2F&sourceid=opera&num=25&ie=utf-8&oe=utf-8.2' saved [91817]