Globální scan otevřených .git repozitářů

Scan velkého množství webových stránek odhalil téměř 400 tisíc webových stránek s přístupným adresářem .git, ze kterého lze stáhnout část jejich zdrojových kódů.

31.8.2018 23:48 | smíťa | Zajímavý článek

Komentáře

[smazáno]

kudos

[mica]

IDOS

[mankind_boost]

MS-DOS

[Bystroushaak]

GLadOS

[xkucf03]

Uživatel má mít přístup ke zdrojákům, to je přece normální.

Stejně tak je normální nedávat do zdrojáků tajné údaje jako hesla, klíče atd. Takže v čem je vlastně problém?

[Peter Golis]

Ja v tom žiaden problém nevidím. Pán Vladimír Smitka zadefinoval virtuálny problém, pohľadal výskyt a napísal o tom článok. A o tomto je táto správička.

Človek odchovaný korporátnou sférou sa potreboval zviditeľniť, tak vyfabuloval článok. A k rozšíreniu povedomia o tom článku použil techniku známu ako virálny marketing. Mohol radšej napísať prejav premiérovi.

[smíťa]

Proč myslíš, že bych měl být odchovaný korporátní sférou? To, že ty v tom problém nevidíš pro ty stovky tisíc webů nic moc neznamená.

[Peter Golis]

Pretože sa potreboval zviditeľniť, a tak nafúkol zbytočný článok. Tie stovky tisíc webov to nezaujímalo pred tým článkom, a nebude ich to zaujímať ani po tom článku.

[k3dAR]

pripada to jen me, ze potrebu zviditelnit, bohuzel casto tema nejtrapnejsima kecama, tu mas hlavne ty?

[Peter Golis]

Skús si prečítať autora správičky odkazujúcej na článok ktorého autor je zhodný s autorom správičky. A k tomu sa skús zamyslieť sa aký je problém mať dostupné zdrojáky stránky. Možno potom pochopíš prečo je to len virálny marketing.

[Heron]

ktorého autor je zhodný s autorom správičky

To už se tady stalo vícekrát. Ať si každý udělá vlastní názor, zda je to dobře či špatně. Stejně jako třeba reklama na Microsoft vypadající jako běžný článek.

K tématu. Ano, podobných scanů jsou desítky, pokud se to prezentuje jako zajímavost, tak proč ne. Ale nesouhlasím s tím, že někdo nějaký jev prezentuje jako problém a je potřeba tomu zabránit apod.

[smíťa]

@Peter: Pořád nechápu, s čím máš problém. Věnoval jsem spousty práce výzkumu samotnému, kontaktování velkého množství dotčených stran, vytvořením statistik a publikaci článku. O článku jsem následně informoval na serveru, kde se pohybují lidé, kteří jsou za řešení podobných problémů často zodpovědní. V tom osobně žádný problém nevidím, navíc když článek nemá ani žádný komerční podtext. Pravděpodobně o virálním marketingu moc nevíš, jinak bys za něj nemohl označovat článek, o kterém jsem informoval na 2 místech - na svých osobních sociálních sítích a zde ve zprávičce + ho následně převzal zdroják.

Proč je problém mít dostupné zdrojáky stránky? Ve tvém utopickém světě to samozřejmě problém není - všechno je opensource, nad projektem máš kompletní kontrolu, nikdo se nikdy neodvážil do repozitáře přidat jakékoliv citlivé informace (třeba klíče k AWS), nikdo nikdy neupravoval soubor přímo na produkčním serveru, je dokonalý patch management proces, kdy se všechny knihovny okamžitě automaticky aktualizují i s testy, které samozřejmě vždy projdou, a všechny webové servery jsou bezchybně nakonfigurované. A samozřejmě se nenajde nikdo, kdo by případných problémů chtěl zneužít. Reálný svět vypadá ale dost jinak...

@Heron Nemyslím si, že podobných scanů, které by problém prozkoumaly v takové šíři (většinou se používá Alexa TM) a snažily se o kontakt s postiženými stranami, jsou desítky. To že jsem na ně nenarazil, ale moc neznamená. Podrobnější prověření kontrolního vzorku právě ukázalo, že to problém opravdu je a právě proto jsem se rozhodl udělat scan v globálním kontextu. Jak je v článku uvedeno, tak problém je i v tom, že v repozitáři jsou i minulé soubory a v nich bohužel často jsou informace, které později byly odstraněné. Scanu ukazuje i na velké množství špatně nakonfigurovaných serverů, které servírují libovolné soubory - takže i když v repu třeba není soubor s konfigurací databáze a třeba údaji k SMTP, tak se dozvím, kde by mohl být a stáhnu ho přímo. Statisticky vztaženo ke kontrolnímu vzorku, bude takových serverů tisíce. Za mě tečkové soubory a složky nemají být veřejně přístupné - stejně jako nedávám třeba veřejně .htpasswd, by to mělo platit pro všechny tyto soubory. Obecně je potřeba dávat pozor na to, co na webserver nahrávám a i když jsem třeba jen vývojář, tak se zajímat o to, zda je server dobře nastaven - administrátor serveru nemusí mít ponětí, v jaké části aplikace jsou citlivé informace.

[Heron]

Nemyslím si, že podobných scanů, které by problém prozkoumaly v takové šíři (většinou se používá Alexa TM) a snažily se o kontakt s postiženými stranami, jsou desítky.

No nám chodí jednotky mailů ročně (za celou dobu života firmy už určitě desítky) o tom, že někde je otevřený nějaký port a že bychom to měli zavřít apod. To se dá brát jako "díky za info". Horší jsou ovšem dopisy od NCKB a CSIRT, které rozesílají na různé úřady a kde jim říkají, jak mají mít zabepečenou síť a ty úřady to často vezmou jako příkaz a vyžadují to, i když je to zcela nesmyslné a v jejich síti neaplikovatelné.

Naposledy minulý týden někdo poslal výsledek jakéhosi obskurdního scanu webu a dožadoval se "nápravy". Nástroje jsou to užitečné, ale je potřeba s nimi umět pracovat.

Jinak ono to spíš ukazuje na jiný problém. A to, že ti lidé neumí zacházet s verzovacím systémem. Podle mě není příliš řešení ve stylu "zakážeme přístup do tečkových adr a souborů", protože všechny tyto ochrany potom v praxi vedou k "ok, a teď za tou zdí můžeme prasit". Viděl jsem to několikrát.

Prostě .git adresář do DocumentRootu nepatří. Nemá tam co dělat. Pokud to tam někdo má, je to špatně. Existují nástroje na deploy. Dokonce i git lze využít na deploy a vůbec to neznamená, že tam bude celé repo.

Takže dík za scan, určitě je užitečné lidem připomenout, že možná dělají něco, nad čím by se měli zamyslet, ale celkem bych byl nerad, kdyby si to někdo nastavil tak, že tečky jsou nepřístupné a prasili dál.

[smíťa]

Naprostý souhlas Také proto v upozornění jako nejlepší řešení problému uvádím změnu deployment workflow a doporučuji prozkoumat třeba Fabric, Capistrano nebo alespoň změnu worktree.

[k3dAR]

Petera bez s nekolikanasobnou reservou, staci se podivat na jeho dalsi prispevky a uvidis ze 97.5% z nich jsou trapne narazky, je to takovej specifickej trolling kterej mu dela dobre

[xkucf03]

Skús si prečítať autora správičky odkazujúcej na článok ktorého autor je zhodný s autorom správičky.

Taky už jsem párkrát psal zprávičky o vlastních článcích/projektech. Jasně, že by bylo lepší, když to napsal někdo jiný, ale zprávičkářů je málo a ne všechno sledují. Nakonec je to stejně na tom, kdo zprávičky schvaluje, aby posoudil, jestli je to dostatečně zajímavý obsah i pro čtenáře.

[xkucf03]

+1

Já jsem ten svůj komentář napsal napůl ze srandy a taky se smajlíkem. Peter se toho bohužel nějak chytl a začal se zle navážet do autora.

[Peter Golis]

Do virálu. Keby ten autor nevytvoril imaginárny problém na ktorý si musel zapnúť clickbait, tak mi je to jedno. Ale smejem sa na tom ako mu to vyšlo.

[smíťa]

Však to také beru Diskuze o tom, co by mělo být veřejné, co ne a jaké jsou vhodné postupy rozhodně dává velký smysl. Většina z nás to ví a ví to často i postižené strany. Desítky z nich se mnou podělilo o to, jak k problému došlo, nejčastěji změnou migrace serveru/případně netušením, kde projekt v produkci poběží, někdy to bylo omylem člena týmu, změně v nějaké dockerové vrstvě, někdo naopak neměl tušení, že z .git lze zdrojový kód zpětně sestavit.

[smíťa]

To je samozřejmě normální, ale bohužel to z globálního pohledu není tak moc dodržováno. Problém je v tom, že nejde jen o současné soubory, ale i minulé. A ty mohou občas prozradit zajímavé informace. Nalezl jsem například ve starším commitu info o python skriptu na zálohování s hesly, ke kterému přístup samozřejmě nebyl, ale už to nebylo ošetřené pro kompilovaný pyc... A také nejde jen o ty tajné informace, ale třeba o zjištění, jaké knihovny se používají, což otvírá opět vrátka k dalšímu hledání chyb.

[smíťa]

Zkoumal jsem, jak se přístup k .git objevil třeba u Python a Ruby aplikací. V naprosté většině případů je to z důvodu, že je chybně nakonfigurovaný webserver. Ve snaze na něj přenést práci se statickými soubory jsou exponované úplně všechny soubory, když člověk zná jejich jméno (a to zná z .git). Takže lze získat konfiguraci i když v repu není... Problém se tak týká i aplikací, které mají zdrojové kódy veřejné.

[Petr Tomášek]

A kolik z nich je pod GPL a kolik pod BSD?

[smíťa]

To je bohužel dost těžké určit bez vytažení samotných souborů . Každopádně zhruba 24 000 z nich mělo definovaný remote origin na GitHubu, což ale ještě neznamená, že některé z nich nejsou privátní repo, nebo že nemají lokální "privátní" commity.

[debian]

Trapná reklama

[smíťa]

Trapná reklama na co přesně?

[debian]

Na tvoji tlamu

[smíťa]

Není trochu povrchní hodnotit lidi jen podle tlamy?

[debian]

je, já je hodnotím podle toho kde spamují s reklamou