Cablegate, Webserver a podíl Linuxu na desktopech

4.10.2011 02:25 | Přečteno: 1407× | Linux | poslední úprava: 4.10.2011 02:26

Takové menší ublognutí, pokus shrnout Cablegate, nadávání na uživatele a Apache a pozastavení se nad podílem Linuxu na desktopech.

Lehké shrnutí Cablegate

Když před rokem začala organizace Wikileaks zveřejňovat americké diplomatické depeše, asi netušili jak to nakonec dopadne. Na webu v neveřejném adresáři xyz měli umístěných několik souborů (x.gpg, y.gpg, z.gpg). To by ještě nebyl problém. Během zveřejňování se Wikileaks dostali do problémů a tak vypustili torrent s kompletní kopií jejich webu, a to včetně těch šifrovaných souborů. Ale to by stále ještě nebyl problém, přece jen AES ještě nikdo nezlomil. Zhruba v té době (zima 2010/11) jsem ten archiv stáhl i já, ale těm šifrovaným souborům jsem nevěnoval zvláštní pozornost.

Problém nastal až v únoru 2011, kdy David Leigh, redaktor britského Guardianu zveřejnil svou knihu Wikileaks: Inside Julian Assange's War on Secrecy - a heslo ( CollectionOfDiplomaticHistorySince_1966_ToThe_PresentDay# ) k těmto souborům v ní. A v té chvíli byl problém na světě (angilačné mají hezkou frázi "shit has hit the fan"): soubor se zašifrovanými depešemi byl venku na stovkách mirrorů, sdílený přes torrent, zkrátka nezastavitelný. A teď bylo venku i heslo. Bylo jen otázkou času, kdy to někdo dá dohromady. To se povedlo (veřejně) překvapivě až 25.8.2011 německému deníku Der Freitag. Zda to zvládli sami, nebo je postrčil bývalý člen a kritik Wikileaks Daniel Domscheit-Berg se stáhle spekuluje. Že to je skutečně venku potvrdil Der Spiegel o pět dní později. 31.8. ráno jsem náhodou narazil na ono heslo, soubor z.gpg (x.gpg a y.gpg jsou pravděpodobně dokumenty z války v Afghánistánu a Iráku) dešifroval, rozbalil a dostal jsem nešifrovaný neredigovaný soubor cables.csv s kompletní sadou ~250k depeší. Na Twitteru jsem zveřejnil SHA1 checksum souboru (trololo). O půlnoci první člověk nahrál a zveřejnil odkaz na nešifrovaný soubor.

Samozřejmě jsem si chtěl ty depeše (zvlášť z Prahy) pročíst, ale otázka 'jak?' se ukázala být lehce problematičtější než se na první pohled zdálo. První pokus byl LibreOffice Calc. Spadl na překročení maximálního počtu řádků. Chvíli jsem to prohlížel přes less, ale komfort žádný, sekvenční vyhledávání je asi tak rychlé jako Jižní Spojka v pondělí ráno a přece jen, furt je to CSV. Rozhodl jsem se to importovat do databáze a naprasit k tomu jednoduchý prohlížeč/vyhledávač. A tak vznikl web cables.mrkva.eu, můj první trochu víc navštěvovanější web, se kterým jsem si nakonec užil docela dost srandy.

Lidi jsou blbí

Tohle byl první problém, na který jsem narazil. z.7z 450MB, cables.csv 1.7GB, rekurzivně stažené vygenerované stránky ~20GB. Tipněte si, co lidi začnou stahovat :) Při limitu 50GB/měsíc se tohle ukázalo jako problém. No co, napsal jsem na titulku vysvětlení a začal jsem pro těch pár UserAgentů vracet 403.

Lidi jsou fakt extrémně blbí

Jenže to samozřejmě nepomohlo, za chvíli se objevily downloadery maskované jako běžné webové prohlížeče a fakt, že jim to najednou na všechny požadavky vrací 403 je taky nezajímalo. Zadal jsem REJECT do firewallu. A samozřejmě to zase nepomohlo - našel se nějaký šílenec co se ten ban snažil všelijak obcházet, měnil UA (podle jednoho klíče, takže jsem si skoro 100% jistý že to byl jedeni člověk) i IP (z jednoho rozsahu). Napsal jsem si skript na blokování rekurzivních downloaderů - víc jak 20 požadavků/2s a REJECT. Problem solved.

Výchozí konfigurace Apache smrdí.

Jojo, Apache v Debianu mě ve výchozí konfiguraci nepříjemně překvapil. Jako problémová se nakonec ukázala tahle řádka:

Timeout 300

Když jsem ten konfigurák procházel, nevěnoval jsem tomu větší pozornost, přece jen jsem si říkal, že to ušetří trochu práce s navazováním dalšího spojení, pokud si klient o další stránku zažádá dostatečně rychle. Samozřejmě to dopadlo dost špatně, kolem 1 v noci pár dní po spuštění koukám na Twitter a tam nějaký jeseter píše "cables.mrkva.eu - tango down". Kouknu na web - a samozřejmě nejede. Padají první nadávky. Loguju se na VPS, ukládám ps, netstat a shazuji Apache. Kouknu na netstat a mám první podezření - slowloris. No, ukázalo se, že tahle mrška dokáže Apache poslat pod kytičky i dva roky po zveřejnění. Ach jo, jeden by čekal, že výchozí konfigurace bude bezpečná. Tak nic, no. A teď co s tím. První myšlenka - omezit počet spojení na IP se ukázala jako nefunkční:

iptables -A INPUT -p tcp --syn --dport 80 -m connlimit --connlimit-above 10 -j REJECT
iptables: No chain/target/match by that name.

Nojo, openvz... Ale co s tím? Jako provizorní řešení se nakonec ukázalo snížení timeoutu na nějakých 5s. A po pár týdnech migrace na nginx :)

A něco k podílu Linuxu na desktopech

Na závěr jsem si schoval statistiku přístupů tak, jak to vidí Awstats (moje návštěvy jsem samozřejmě vyfiltroval):

OS	%
Windows	48.5 %
Unknown	34.5 %
Macintosh	12 %
Linux	3.9 %

A prozatím za říjen:

OS	%
Windows	75.7 %
Macintosh	13.3 %
Linux	5.4 %
Unknown	4 %

Tak kde je sakra to jedno procento!?

       

Komentáře

[Rover623]

Nikde, to jedno procento je oblíbená mantra Windows "adminů" kteří jsou frustrovaní z toho, že nikdy nedokázali znalosti systému Windows (tedy hlavně kam kliknout) přetavit v něco k ovládnutí Linuxu a pak je to samozřejmě z toho plynoucí strach, že pokud se Linux rozšíří, přijdou o práci.

Jsou jen 2 druhy programátorů, ti co problémy řeší a ti co jen nadávají, že tohle JDK se jim nelíbí

[TM]

Vcelku přesné. Znám takové lidi.

[pavlix]

Nemám pocit, že by skuteční windows admini chodili trollovat na linuxová fóra.

[a]

mal by som zaujem o vygenerovane stranky spolu s cables v archivovanom formate 7z. vdaka!

[a]

sorrac, mam to.. vdaka!

[pools]

Prohlizece:
Firefox a odvozene: 80,79%
ostatni: 15,32% (96% je webkit)
IE: 3,89%

Systemy:
Win XP: 56,87%
neznamy: 26,63%
7/Vista: 12,10%
Linux: 4,24%

Dodám že se jedná o stránku nabízející ubytování - většina přístupů je zadáním adresy (vizitky, reklamy), následuje Seznam a pak Google...

[Thorby]

Prehliadače
Internet Explorer: 42.93%
Firefox: 33.84%
Chrome: 13.76%

OS
Windows: 95.90%
Macintosh: 1.36%
Linux: 0.74%

Dodám, že sa ide o podobne netechnický obsah, azda len s tým rozdielom, že ani zďaleka nie taký zábavný a k životu "nepotrebný". Väčšina prístupov je z Google.

[pools]

Většina přístupů z Googlu? To asi nebude Český web co?

[Thorby]

Nie :)

Inak je to pekná nástrel na flamewar. Je väčším prejavom zaostalosti používanie určitého vyhľadávača alebo určitého OS? ;)

[Vskutečnosti Saýc]

Jsem ti zrovna chtel rict "mas pouziva nginx" a pak jsem se k tomu docetl

[Michal Kubeček]

přece jen jsem si říkal, že to ušetří trochu práce s navazováním dalšího spojení, pokud si klient o další stránku zažádá dostatečně rychle.

To je HTTP KeepAlive, který se nastavuje pomocí KeepAlive, KeepAliveTimeout a MaxKeepAliveRequests.

[Mrkva]

Moje chyba, máte samozřejmě pravdu. V tom případě ale už vůbec nechápu tak vysokou hodnotu.

[anton]

osobne odporucam Lighttpd namiesto Apache...

[Bystroushaak]

Pěkný zápisek. Vzpomínám si, že jsem stahoval insurance.aes256, v něm jsou taky kabelogramy? Má 1.4GB.

[Mrkva]

Pravděpodobně, ale heslo k tomu souboru zatím nikdo krom WL nezná (pokud vím).

[A]

Skusal si to heslo z knihy toho novinara z Guardianu? :D

[Mrkva]

Snad nejsou tak blbi, ne?

[anton]

[belisarivs]

Sakra. A ja doufal, ze prave od toho to heslo je.

[pc2005]

Aby nebylo podobně triviální .

[pc2005]

Na Twitteru jsem zveřejnil SHA1 checksum souboru (trololo).

Takhle se prokecnout .

takže jsem si skoro 100% jistý že to byl jedeni člověk) i IP (z jednoho rozsahu).

CIA?

[Mrkva]

Takhle se prokecnout

Jak prokecnout? Zatroloval jsem si Wikileaks a v té době už bylo jasné že se to dostane ven. :)

[pc2005]

Jestli to neni editovaný, tak imho vlastníš citlivá data ne? I když je fakt, že šance, že po tobě půjde CIA/FBI/NID/SGC je minimální. BTW nebylo držení uniklých výsledků státních maturit teoreticky trestáno možnou pokutou i když bylo jasný, že je venku tisíc kopií?

[Mrkva]

Já a několik stovek/tisíc dalších lidí. Fakt je, že je i dávám veřejně k dispozici, což by mohl být větší problém.

[Visgean Skeloru]

Hodně lidí na to zapomíná, nicméně faktem zůstává že jsme v České Republice, zde nemá žádná US agentura legislativní pravomoci.

[pc2005]

To je relativní. Docela by mě zajímalo, zda by Australani poslali Assange do USA.