Jak generovat náhledy stránek na serveru

17.5.2008 13:58 | Přečteno: 3548× | Ruzne | poslední úprava: 17.5.2008 21:01

Možná už jste někdy dumali nad tím, jak si na serveru zprovoznit službu, která vytváří náhledy webových stránek. V poradně je několik dotazů na toto téma, ale žádná kloudná odpověď. S radostí vám tedy můžu oznámit, že jsem na to konečně přišel.

Problém je ten, že potřebujete nějakou paměť, do které se ta stránka bude vykreslovat. Tuto paměť obvykle zprostředkovává X server, ale provozovat na serveru třeba Xorg je trochu zbytečné. Naštěstí existuje X server Xvfb, který je velice jednoduchý a všechno si vykresluje pouze do paměti. Minimálně v distribucích založených na Debianu je jako balíček, takže instalace je v pohodě.

Jak pustit Xvfb? Nejlépe pomocí startx:

startx -- /usr/bin/Xvfb :10 -screen 0 1600x1200x24

Tato řádka pustí Xvfb jako display 10 v rozlišení 1600x1200x24.

Hned si to vyzkoušíme a pustíme si v našem virtuálním framebufferu Firefox s ABCLinuxu.cz:

DISPLAY=:10 firefox www.abclinuxu.cz

Nikde nic bohužel nejde vidět, tak si budeme muset udělat screenshot:

DISPLAY=:10 import -window root obrazovka.png

A výsledný screenshot vypadá takto:

Jak vidíte Firefox se pustil do správné obrazovky, ale nebude asi vhodným prohlížečem pro dělání náhledů stránek, přinášelo by to jen samé problémy. Napíšeme si tedy prohlížeč vlastní! Bude jednoduchý a bude dělat přesně to co chceme. Použijeme jazyk Python a komponentu gtkmozembed. Prohlížeč se také sám postará o vygenerování náhledu. Bude možné jich spustit více najednou a urychlit tak generování většího počtu náhledů. Tady je kód, jak vidíte, je to velmi jednoduché:

#!/usr/bin/env python

import sys
import gtk
import gobject
import gtkmozembed

if len(sys.argv) == 2:
	print "Bad count of arguments."
if len(sys.argv) < 3:
	print "Usage: webshot.py URL output_file.png"
	sys.exit()

def on_net_stop(caller_widget):
        gobject.timeout_add(10000, take_shot)

def take_shot():
	(width, height) = window.get_size()

	pixbuf = gtk.gdk.Pixbuf(gtk.gdk.COLORSPACE_RGB, False, 8, width - 16, height - 15)
	pixbuf.get_from_drawable(browser.window, browser.get_colormap(), 0, 0, 0, 0, width - 16, height - 15)
	pixbuf.save(sys.argv[2], "png")

	gtk.main_quit()

	return False;


gtkmozembed.set_profile_path("/tmp", "webshot") 

browser = gtkmozembed.MozEmbed()
browser.connect("net_stop", on_net_stop)
browser.set_size_request(1024, 768)
browser.show()
browser.load_url(sys.argv[1]) 

window = gtk.Window()
window.add(browser)
window.show()

gtk.main()

Jak program funguje? Na vstupu má dva parametry - webovou adresu a jméno výstupního souboru náhledu. Prohlížeč je okno pouze s jedním widgetem zobrazujícím stránku. Po načtení stránky se chvilku počká a obraz widgetu uloží do souboru. Velikost okna a čas na vykreslení je v programu natvrdo, ale není problém je parametrizovat.

A to je vše! Není to jednoduché? Ještě malá ukázka použití:

DISPLAY=:10 ./webshot.py abclinuxu.cz abclinuxu.png

Výstup:

       

Obrázky

Komentáře

[Chocolate Bear]

Mně by se líbilo, kdyby se ten obrázek podepsal spolu s údajem o čase, kdy byl vytvořen. A to by pak za předpokladu, že bys byl důvěryhodný poskytovatel téhle webshotovací služby, byl důkaz, že daná stránka v danou dobu nějak vypadala (typické použití - obrázek Hulánova vyhrožování).

[KS]

Napadlo mě udělat archiv takových webshotů, kde by si člověk mohl prohlížet jak se které stránka měnila s časem. Něco jako www.archive.org, ale na obrázky.

[Chocolate Bear]

Pak bys ale musel odpovídat za ten obsah. A těžko říct, jestli je to vždycky legální si vyfotit stránku a vystavit ji u sebe. To bych jako pochyboval. A zrovna u toho Hulána by byla jistota tretního oznámení

[Milan Vít]

Huh?

[KS]

No někdy se to sere . Kde je chyba nevím.

[stativ]

Zkuste tam vložit http://www.webstandards.org/files/acid2/test.html#top

[KS]

No jo, je tam gecko z Debiana stable .

[xkucf03]

Škoda, že to nejde nějak snadně, třeba:

firefox -screenshot http://abclinuxu.cz/ > obrazovka.png

a musí kvůli tomu člověk dělat takové ptákoviny jako spouštět speciální X server. Pro Konqueror něco takového bylo, ale nepodařilo se mi to tehdy zkompilovat.

[KS]

To s tím Konquerorem jsem zkoušel. Samozřejmě potřebuješ X server nebo něco podobného, protože jinak nemáš do čeho tu stránku vykreslovat.

[qiRzT]

Možná by to taky šlo s Qt a webkitem, ale je to jen hypotéza...

[petr_p]

Existuje rozšíření X11 zvané XPrint, které umožňuje „snadný“ tisk obsahu okna. Mozilla jej podporuje.

[mrzout]

Zájemce o problematiku odkazuji též na browsershots.org

[KS]

Jo to je velmi zajímavé stránka.

[Pavel K.]

Chlape chce to myslet trosku na zabezpeceni :) http://webshot.snadne.cz/shot.php?site=file:///etc/passwd&w=600

[KS]

Kujva

[xkucf03]

njn, dost ošklivá díra do systému. Ale šlechtí ho, že to stáhl téměř okamžitě. Stihnul jsem kouknout jen na fstab

[Filip Jirsák]

Pokud ten prohlížeč neběží pod rootem, tak má jen stejná práva, jako kterýkoli uživatel toho počítače. K čemu bude soubor /etc/passwd někomu dobrý?

[xkucf03]

Není to tak dávno, co jsme tu měli exploit 27704 (takové su, které se neptá na heslo) a v souvislosti s tím znamená být i obyčejným uživatelem riziko. Sice by se ty dvě chyby musely sejít naráz (a taky to vzdáleně zavání serurity by obscurity), ale asi se tu nenajde nikdo, kdo by takhle dobrovolně riskoval*. Soubor passwd je celkem na nic, ale že bych ho chtěl jen tak vystavovat na Internetu, to zrovna ne.

*) pokud mi chcete někdo dát lokální účet na svoje servery, tak hesla mi pište mailem nebo na Jabber

[Filip Jirsák]

Ten exploit byl ale zneužitelný v případě, že uživatel měl právo na lokálním stroji spustit nějaký kód. Tak dobře na tom uživatel vzdáleného screenshotovače webů není – přesněji jsem tedy měl napsat, že má nejvýše stejné možnosti, jako lokální uživatel. Spíš jsem chtěl ale upozornit na to, že zpřístupnění /etc/passwd není žádná katastrofa – třeba na různých školních unixových nebo linuxových strojích mohou mít účet stovky nebo tisíce studentů, všichni vidí /etc/passwd, a žádný problém v tom není. Samozřejmě pokud máte server, klientům tam povolíte přístup jenom přes scp a předpokládáte tak, že nikdo kromě vás nemůže lokálně nic spustit, a pak necháte v systému takovouhle díru, je to problém – minimálně proto, že je to zjevně místo, které je zabezpečené viditelně míň, než zbytek systému, pravděpodobně tedy uniklo pozornosti správce a je vhodné pátrat tímto směrem po dalších slabinách.

[xkucf03]

všichni vidí /etc/passwd, a žádný problém v tom není.

V tom máš pravdu, to bychom se museli pohybovat někde na poli špionáže, aby měla nějakou hodnotu informace, že uživatel xabcd123 má účet na daném stroji. Je to taky výhoda unixových systémů, účet může dostat širší okruh lidí, než třeba u Windows. (ale přesto, podle principu minimálních práv, není dobré vystavovat veřejně nějaká data, pokud to není potřeba)

[KS]

Dík moc! Raději jsem to zrušil, než se mi bude chtít to opravit.

[Ilfirin]

A nešlo by ověřovat:

if URL[:5] == "file:" :
    print "Ani ..cu!"
    return 1

[Ilfirin]

aha, koukám, že používáš rovnou parametr, tak
if sys.argv[1][:5] ...

[KS]

Máš recht, ale mám strach, že můžou existovat rizika o kterých nevím. Uvažuju o té virtualizaci.

[Ilfirin]

Si říkám, že jediný způsob, jak čumět k sobě na disk je přes file:// (opravte mě prosím někdo, ale nic jiného mě nenapadá).
Hmm, teď koukám, že si file dosadí za jakoukoli adresou začínající "/". Tak (URL[:5] == "file:") or (URL[0] == "/")

Tohle si myslím, že bude dostatečně funkční i bez virtuálního stroje.

[KS]

Ale když si dáš do stránky nějaký frame a nastavíš mu adresu na file://něco/zajímavého, tak žádné filtrování url nepomůže.

[Ilfirin]

To jde? (přemýšlím, kde mám nějaký webhosting, musím zkusit).

[KS]

No záleží na nastavení práv.

[Filip Jirsák]

Tomu by se měl bránit rovnou prohlížeč. Ale co třeba takové javascript:window.open("file://…")?

[KS]

Jo, máte pravdu. Jde mi to jenom na lokále a pokud si chci z toho framu vybrat data javascriptem, tak mam v errorlogu firefoxu access denied.

[Filip Jirsák]

Ten výběr data JS je blokován ještě jinak – JS nesmí přistupovat k dokumentu, který je nahrán z jiné domény. Tj. i kdyby v tom framu byl jiná adresa s http z nějaké jiné domény, stejně to nepůjde číst.

Ale ono je problém i to obyčejné http. Když si tam někdo nechá zobrazit stránku s nějakým Flashem, přesměrováním sem tam nebo dlouhotrvajícím javascriptem, jenom to vytíží počítač a tu službu třeba nebude moci využít někdo jiný. Ale pokud máte nějaké limity na přenesená data a někdo si tam nechá stáhnout pár obrazů DVD, může s tím být už skutečný problém.

[KS]

Ten výběr data JS je blokován ještě jinak – JS nesmí přistupovat k dokumentu, který je nahrán z jiné domény. Tj. i kdyby v tom framu byl jiná adresa s http z nějaké jiné domény, stejně to nepůjde číst.

To jsem nevěděl. Dobrá informace.

Ale ono je problém i to obyčejné http. Když si tam někdo nechá zobrazit stránku s nějakým Flashem, přesměrováním sem tam nebo dlouhotrvajícím javascriptem, jenom to vytíží počítač a tu službu třeba nebude moci využít někdo jiný. Ale pokud máte nějaké limity na přenesená data a někdo si tam nechá stáhnout pár obrazů DVD, může s tím být už skutečný problém.

Je to složitější než jsem si myslel. Pokud si člověk bude dělat obrázky jenom pro sebe, tak to není takový problém, ale jako veřejná služba je to hodně náročné na zabezpečení. Zajímalo by mě, jak jsou chráněny podobné existující služby, třeba český http://www.thumbnails.cz/.

[KS]

Tam na tom http://www.thumbnails.cz/ je ale dovoleno generovat jenom adresy, které už mají v databázi, takže asi tím způsobem řeší bezpečnostní problémy.

[xkucf03]

Spíš bych na to šel z toho druhého konce: URL[:5] != "http:" když už teda takhle. Stejně bych ale přidal ještě tu virtualizaci, AppArmor a hodně přísně nastavený firewall (povolit jen 80 a zakázat připojení na všechny vnitrofiremní servery).

[Messa]

Nevím přesně proč, ale měl bych strach si tohle pouštět na serveru. Přeci jenom, browser je dost komplexní aplikace, ve stránce může být cokoliv, sám ani nevím co přesně to může udělat... Už jenom to file:///etc/passwd člověka ne vždy napadne jako možné riziko. Raději bych to pouštěl v nějaké virtualizaci a po načtení stránky hned virtuální stroj zlikvidoval Místo Xvfb by se použilo třeba vnc.

[KS]

Hele ten virtuální stroj mě napadl. Bylo by to zřejmě nejbezpečnější. A ani by nebylo třeba vnc, prostě by se tomu virtuálnímu stroji dal http dotaz s adresou webu a on by vrátil obrázek stránky.

[marbu]

A nestačilo by spouštět ten skript ve chrootu?

[KS]

To je dobrý, to mě nenapadlo.

[Josef Kufner]

Ale /etc/passwd tam dej taky... s nejakym hezkym pozdravem ;)

[Bohumír Zámečník]

Na toto téma existuje matfyzácký ročníkový projekt WebShot Tomáše Benháka. Jedná se o úpravu Firefoxu a knihovny GTK tak, že není třeba vykreslovat přes X server a celé to lze plně zautomatizovat. Je k tomu i klient pro ovládání.

[xkucf03]

wow

[x]

Ahoj, zajímavý článek..

Mam však problém, že mi první varianta s firefoxem funguje, ale pythoní skriptík už dělá problémy. Obrázek se udělá, ale ten je zdeformovaný. Pruh vpravu a dole je jakoby posunutý kus odněkud jinud.

Zkouším to v ubuntu s naběhnutým systémem.. ale to by snad vliv mít nemělo ne... ?

Nějaké nápady? změna velikosti nebo rozlišení nepomohla..

[x]

A teď mě tak napadlo, na serveru nemusí být grafická karta, že?

Bude to fungovat i bez ní ?