Portál AbcLinuxu, 11. května 2024 09:08
Takové menší ublognutí, pokus shrnout Cablegate, nadávání na uživatele a Apache a pozastavení se nad podílem Linuxu na desktopech.
Když před rokem začala organizace Wikileaks zveřejňovat americké diplomatické depeše, asi netušili jak to nakonec dopadne. Na webu v neveřejném adresáři xyz měli umístěných několik souborů (x.gpg, y.gpg, z.gpg). To by ještě nebyl problém. Během zveřejňování se Wikileaks dostali do problémů a tak vypustili torrent s kompletní kopií jejich webu, a to včetně těch šifrovaných souborů. Ale to by stále ještě nebyl problém, přece jen AES ještě nikdo nezlomil. Zhruba v té době (zima 2010/11) jsem ten archiv stáhl i já, ale těm šifrovaným souborům jsem nevěnoval zvláštní pozornost.
Problém nastal až v únoru 2011, kdy David Leigh, redaktor britského Guardianu zveřejnil svou knihu Wikileaks: Inside Julian Assange's War on Secrecy - a heslo ( CollectionOfDiplomaticHistorySince_1966_ToThe_PresentDay# ) k těmto souborům v ní. A v té chvíli byl problém na světě (angilačné mají hezkou frázi "shit has hit the fan"): soubor se zašifrovanými depešemi byl venku na stovkách mirrorů, sdílený přes torrent, zkrátka nezastavitelný. A teď bylo venku i heslo. Bylo jen otázkou času, kdy to někdo dá dohromady. To se povedlo (veřejně) překvapivě až 25.8.2011 německému deníku Der Freitag. Zda to zvládli sami, nebo je postrčil bývalý člen a kritik Wikileaks Daniel Domscheit-Berg se stáhle spekuluje. Že to je skutečně venku potvrdil Der Spiegel o pět dní později. 31.8. ráno jsem náhodou narazil na ono heslo, soubor z.gpg (x.gpg a y.gpg jsou pravděpodobně dokumenty z války v Afghánistánu a Iráku) dešifroval, rozbalil a dostal jsem nešifrovaný neredigovaný soubor cables.csv s kompletní sadou ~250k depeší. Na Twitteru jsem zveřejnil SHA1 checksum souboru (trololo). O půlnoci první člověk nahrál a zveřejnil odkaz na nešifrovaný soubor.
Samozřejmě jsem si chtěl ty depeše (zvlášť z Prahy) pročíst, ale otázka 'jak?' se ukázala být lehce problematičtější než se na první pohled zdálo. První pokus byl LibreOffice Calc. Spadl na překročení maximálního počtu řádků. Chvíli jsem to prohlížel přes less, ale komfort žádný, sekvenční vyhledávání je asi tak rychlé jako Jižní Spojka v pondělí ráno a přece jen, furt je to CSV. Rozhodl jsem se to importovat do databáze a naprasit k tomu jednoduchý prohlížeč/vyhledávač. A tak vznikl web cables.mrkva.eu, můj první trochu víc navštěvovanější web, se kterým jsem si nakonec užil docela dost srandy.
Tohle byl první problém, na který jsem narazil. z.7z 450MB, cables.csv 1.7GB, rekurzivně stažené vygenerované stránky ~20GB. Tipněte si, co lidi začnou stahovat :) Při limitu 50GB/měsíc se tohle ukázalo jako problém. No co, napsal jsem na titulku vysvětlení a začal jsem pro těch pár UserAgentů vracet 403.
Jenže to samozřejmě nepomohlo, za chvíli se objevily downloadery maskované jako běžné webové prohlížeče a fakt, že jim to najednou na všechny požadavky vrací 403 je taky nezajímalo. Zadal jsem REJECT do firewallu. A samozřejmě to zase nepomohlo - našel se nějaký šílenec co se ten ban snažil všelijak obcházet, měnil UA (podle jednoho klíče, takže jsem si skoro 100% jistý že to byl jedeni člověk) i IP (z jednoho rozsahu). Napsal jsem si skript na blokování rekurzivních downloaderů - víc jak 20 požadavků/2s a REJECT. Problem solved.
Jojo, Apache v Debianu mě ve výchozí konfiguraci nepříjemně překvapil. Jako problémová se nakonec ukázala tahle řádka:
Timeout 300
Když jsem ten konfigurák procházel, nevěnoval jsem tomu větší pozornost, přece jen jsem si říkal, že to ušetří trochu práce s navazováním dalšího spojení, pokud si klient o další stránku zažádá dostatečně rychle. Samozřejmě to dopadlo dost špatně, kolem 1 v noci pár dní po spuštění koukám na Twitter a tam nějaký jeseter píše "cables.mrkva.eu - tango down". Kouknu na web - a samozřejmě nejede. Padají první nadávky. Loguju se na VPS, ukládám ps, netstat a shazuji Apache. Kouknu na netstat a mám první podezření - slowloris. No, ukázalo se, že tahle mrška dokáže Apache poslat pod kytičky i dva roky po zveřejnění. Ach jo, jeden by čekal, že výchozí konfigurace bude bezpečná. Tak nic, no. A teď co s tím. První myšlenka - omezit počet spojení na IP se ukázala jako nefunkční:
iptables -A INPUT -p tcp --syn --dport 80 -m connlimit --connlimit-above 10 -j REJECT iptables: No chain/target/match by that name.Nojo, openvz... Ale co s tím? Jako provizorní řešení se nakonec ukázalo snížení timeoutu na nějakých 5s. A po pár týdnech migrace na nginx :)
Na závěr jsem si schoval statistiku přístupů tak, jak to vidí Awstats (moje návštěvy jsem samozřejmě vyfiltroval):
| OS | % |
|---|---|
| Windows | 48.5 % |
| Unknown | 34.5 % |
| Macintosh | 12 % |
| Linux | 3.9 % |
A prozatím za říjen:
| OS | % |
|---|---|
| Windows | 75.7 % |
| Macintosh | 13.3 % |
| Linux | 5.4 % |
| Unknown | 4 % |
Tak kde je sakra to jedno procento!?
Tiskni
Sdílej:
4.10.2011 16:03
pavlix | skóre: 54
| blog: pavlix
4.10.2011 11:27
pools | skóre: 19
| blog: Svědek Damdogův
| Opava/Praha
Dodám, že sa ide o podobne netechnický obsah, azda len s tým rozdielom, že ani zďaleka nie taký zábavný a k životu "nepotrebný". Väčšina prístupov je z Google.
4.10.2011 21:45
pools | skóre: 19
| blog: Svědek Damdogův
| Opava/Praha
Nie :)
Inak je to pekná nástrel na flamewar. Je väčším prejavom zaostalosti používanie určitého vyhľadávača alebo určitého OS? ;)
přece jen jsem si říkal, že to ušetří trochu práce s navazováním dalšího spojení, pokud si klient o další stránku zažádá dostatečně rychle.
To je HTTP KeepAlive, který se nastavuje pomocí KeepAlive, KeepAliveTimeout a MaxKeepAliveRequests.
4.10.2011 14:04
Bystroushaak | skóre: 36
| blog: Bystroushaakův blog
| Praha
4.10.2011 16:08
belisarivs | skóre: 22
| blog: Psychobláboly
Na Twitteru jsem zveřejnil SHA1 checksum souboru (trololo).Takhle se prokecnout
.
takže jsem si skoro 100% jistý že to byl jedeni člověk) i IP (z jednoho rozsahu).CIA?
Takhle se prokecnoutJak prokecnout? Zatroloval jsem si Wikileaks a v té době už bylo jasné že se to dostane ven. :)
je minimální. BTW nebylo držení uniklých výsledků státních maturit teoreticky trestáno možnou pokutou i když bylo jasný, že je venku tisíc kopií?
ISSN 1214-1267, (c) 1999-2007 Stickfish s.r.o.