Google vs. wget

12.12.2011 17:21 | Přečteno: 1927× | IT obecně | | poslední úprava: 12.12.2011 18:11

Kopírujete si někdy odkazy z prohlížeče a stahujete pak v konsoli wgetem? Já občas ano, třeba když chci stáhnout soubor na jiný počítač nebo když chci stahovat do adresáře, kde mám zrovna v nějakém okně otevřený shell, tak je to jednodušší, než se proklikávat skrze dialogy a hledat tu správnou cestu.

Jenže když si takhle chce člověk stáhnout soubor z výsledků vyhledávání Googlu, narazí na problém. Ve stavovém řádku prohlížeče se sice ukazuje něco jako:

http://libinst.cz/etexts/bastiat_co_je_videt.pdf

ale když si ten odkaz zkopírujete do schránky, je v ní takováhle sračka:

https://encrypted.google.com/url?sa=t&rct=j&q=pdf%20site%3Acz&source=web&cd=5&ved=0CFoQFjAE&url=http%3A%2F%2Flibinst.cz%2Fetexts%2Fbastiat_co_je_videt.pdf&ei=dSPmRsQzNMqe-Qe3oTnSBQ&usg=AFQjCMGFwer4Nlad7JYgPfV6di_WpZg_iw&cad=rpa

(stává se mi to ve Firefoxu a v Chromiu – naopak rekonq je proti Googlu imunní a zkopíruje do schránky skutečné URL)

A co je horší, tohle URL nefunguje jako normální HTTP přesměrování (pomocí standardní HTTP 3xx hlavičky), ale je to stránka (text/html) obsahující následující hnus:

<script>window.googleJavaScriptRedirect=1</script><script>var a=parent,b=parent.google,c=location;if(a!=window&&b){if(b.r){b.r=0;a.location.href="http://libinst.cz/etexts/bastiat_co_je_videt.pdf";c.replace("about:blank");}}else{c.replace("http://libinst.cz/etexts/bastiat_co_je_videt.pdf");};</script><noscript><META http-equiv="refresh" content="0;URL='http://libinst.cz/etexts/bastiat_co_je_videt.pdf'"></noscript>

Takže nejen že si nestáhnete, co chcete, ale ještě vám v adresáři vznikne soubor s bezcenným obsahem a šíleným názvem typu:

url?sa=t&rct=j&q=pdf site:cz&source=web&cd=5&ved=0CFoQFjAE&url=http:%2F%2Flibinst.cz%2Fetexts%2Fbastiat_co_je_videt.pdf&ei=dSPmRsQzNMqe-Qe3oTnSBQ&usg=AFQjCMGFwer4Nlad7JYgPfV6di_WpZg_iw&cad=rpa

Vytvořil jsem proto jednoduchý skript, kterým se dá stáhnout skutečný soubor:

#!/bin/bash

google=$1; # sračka
url=`curl --silent $google | grep -o "'http.*'" | sed s/\'//g`; # skutečné URL
wget $url;

Použití:

g-wget "…odkaz-zkopírovaný-z-googlu…"

Pozor na uvozovky – musí tam být, protože URL obsahuje znak & (wget by dostal jen začátek URL a zbytek by se spustil jako další příkaz).        

Komentáře

[Mrkva]

Jojo, Google chce vidět na co klikáte. Já to vyřešil greasemonkey scriptem.

[xkucf03]

Tak ono je to (aspoň teoreticky) pro naše dobro (lepší výsledky vyhledávání) a pokud chce být člověk anonymní, tak to stejně musí dělat jinak (hlavní únik informací spočívá už v tom, že Google ví, jaká slova hledám – vědět, na co pak kliknu je už jen třešnička na dortu). Ale proč to sakra musí dělat přes nějaký podělaný JavaScript a hnusné HTML?

[giuso]

i seznam :) ale ten to aspon resi lepe nez google

[Kvakor]

Pokud máte nefunkční/zakázaný Javascript, tak Google nahodí stránku tak, jak bývala.

[ehm ehm]

Jj, Noscript je základ.

[gtz]

Ano NoScript funguje, ale jen na FF. Na Chrome bylo něco podobného, ale nefungovalo to jak mělo. Prostě nás chtějí sledovat co a kde si stahujeme.

[R]

Presne tak. Bez JavaScriptu je Google podstatne pouzitelnejsi.

[Radovan Garabík]

Mal som vypnutý javascript pre google, ale nešli mi hľadať Images...

[Tom]

Tripple click na zeleny odkaz v googlu a pak copy & paste. U mad?

[xkucf03]

To bohužel funguje jen u dostatečně krátkých odkazů – často tam jsou ale … takže si takhle nic nezkopíruješ.

[Tom]

a tak to potom jo

[vencour]

Přidal jsem do digestu.

[Josef Kufner]

Jo, docela pěkně přečůrali web browsery. Ale stačí na ten odkaz neklikat – to přepsání adresy je na onmousedown

Vlastně by se to dalo klasifikovat jako bezpečnostní chyba v prohlížeči.

[David Jaša]

Google Analytics Opt-out Browser Add-on (BETA)

[xkucf03]

Což o to, já jim klidně tu informaci, na co jsem kliknul, pošlu – výsledky vyhledávání by pak mohly být lepší a lépe odpovídat tomu, co lidé hledají. Ale rád bych, aby mi fungovalo např. i to stahování přes wget.

A na druhou stranu: když jim žádné informace posílat nechci, tak je zablokuji nějakým nezávislým nástrojem a nebudu si instalovat software od nich. Navíc v takové situaci potřebuji ošetřit i to, aby nevěděli ani to, jaká klíčová slova hledám, resp. nedokázali si to hledání spojit s mojí identitou a IP adresou.

Nicméně věci typu Google Analytics Opt-out Browser Add-on jsou důvodem, proč Google beru jako menší zlo než jiné velké firmy. Podobně se mi líbí, že když od nich odcházíš, můžeš si zazálohovat data ze všech jejich služeb.