Někteří lidé jsou nepoučitelní. Právě náš

Někteří lidé jsou nepoučitelní. Právě náš admin Kolísko zablokoval další IP adresu, ze které se někdo pokoušel mirrorovat abclinuxu.

21.4.2004 13:27 | Leoš Literák | Upozornění

Komentáře

[Honza Houštěk]

Jedna se pouze o mirror, nebo o pokus o DoS? Pokud se vam nelibi ciste mirroring, tak to taky nekde koukejte verejne oznamit (nejen ve zpravicce), protoze IMHO to za implicitne nelegalni cinnost (narozdil od DoS) povazovat nelze. (Zda to je ci neni eticke je jina vec.)

Pokud vam vadi jen to, ze nestiha server, tak byste to meli resit nejak systemove (mod_bandwith, filter v netfilteru se saturaci apod.).

[Jáchym Čepický]

Ono se to tady řešilo už mockrát... Měl jsem za to, že "se to prostě ví". Bylo by asi fajn, dát to někam na hodně dobře viditelné místo.. ale nemyslím si, že první stránka zrovna zeje prázdnotou...

Jáchym

[Honza Houštěk]

Pristup "se proste vi" miluju. Na mirroru stranek implicitne neni nic spatneho. Neserim ted, co s tim pak bude clovek delat (predpokladejme, ze se na to rok nepodiva a pak to smaze, to je fuk).

Pokud si to neprejete, tak to nekde viditelne napiste. Pokud na to jen nestaci vase technicke prostredky (limit, server, ...), upresnete podminky, jak takovy mirror delat, nebo pozadejte dotycne, aby vas pred takovou akci kontaktovali.

Me se proste nelibi, ze cloveka, ktery to patrne bez zlych umyslu zkusil, rovnou povazujete za zlocince a podnikate exekutivni kroky.

[Yeti]

Já jsem si to tedy náhodou přečetl ve zprávičce, jinak bych to asi nevěděl. Navíc jsem to od té doby víceméně zapomněl. Takže pochybuji, že ,,se to prostě ví``.

Na stahování obsahu pro off-line nebo jiné lokální použití navíc není IMNSHO nic neetického, jen to nesmím dále šířit, pokud se jedná o copyrightovaný materiál, takže si to pak každý musí zmirrorovat sám a zatěžovat pěkně server, když nenabízí obsah k downloadu.

Pokud se to ,zakáže`, tak to akorát musím dělat chytře.

Stahovat nějakým robotem drsně celý dynamický web je samozřejmě hloupost a takového tydýta bych taky odstřihl, ale to není o etičnosti stahování obsahu per se, to je o metodě.

[Leoš Literák]

Souhlasim, ze bude treba nejaky takovy dokument sepsat. Tech dokumentu chybi mnohem vice, treba o privacy, terms of use atd. Holt se do toho musime pustit.

Prvne se mirroring resil pred dvema roky, kdy jsem mel limit 4 GB mesicne a jeden zacykleny mirrorovaci tool pres noc stahl 1 GB, nez jsme jej odstrihli. Predstava, kolik tisic kc bych za nej musel platit (za prenosy nad limit), me celkem zdesila a jsem na tyto aktivity alergicky.

Proto mam v kodu abicka pevnou stranku, ktera se zobrazi uzivatelum nastroju pouzivanych pro tyto ucely. Ted mam dalsi dva, ktere musim pridat.

Jinak jde prave o pripady z tveho posledniho odstavce. Jenom cista databaze zkomprimovana bzip2 ma pres 10 MB. Schvalne si doma (na lokalni stanici) zmerim, kolik takovy mirror stranek celkem zabira. Jedna se o nekolik desitek tisic stranek, takze tipuju, ze pujde o stovky mega ci gigabajty.

Ve chvili, kdy nekdo zacne na rychle lince stahovat rekurzivne cely server, brutalne vzroste zatez pocitace, coz samozrejme zaregistrujeme a co jineho udelat, nez zakazat jeho IP adresu?

Pod vyrazem mirroring chapu tyto pripady, rozhodne nemam problem s tim, kdyz si nekdo v mozille da Save as. Chapete ten rozdil? Na mandrake.cz asi spousta lidi ne.

[pilgrim]

Dobry den, asi opravdu ten rozdil nechapu. Dobre, 1 x save as v Mozille je opravdu rozdil oproti skriptu s 10 000 x wgetem. Co ale nechapu je, jaky je rozdil mezi onim zminovanym Save As a skriptem, ktery mezi temi wget ma treba wait (rekneme 3s ). Pak by pri rekneme 5000 strankach (nevim kolik jich na ABC je) mirror trval pri rychle lince neco okolo 4-5 hodin, coz je snad rozumne jak pro Vas jako spravce, tak pro toho kdo mirroruje - proste necha masinu bezet pres noc (jednak je mensi provoz a jednak se aspon vyspi .

Rikam to proto, ze uz se na neco podobneho taky chystam (pardon, ale kvuli shaneni ABC na CDcku se mi nechce obchazet obchody, pokud mam ve skole nebo jinde pevnou linku na net, ktera to udela misto me).

Chapu, ze je pro Vas z marketingoveho hlediska nevyhodne nechat uzivatele neco stahovat, kdyz si to muze od Vas koupit. Nezlobte se ale na me (pripadne na ostatni ctenare) kdyz mi tento pristup tak trosku pripomina odklon od free-sw k trosku komercnejsi vetvi. Samozrejme i onen "free" pristup ma sva pravidla - a pokus o mirror z rychle linky opravdu muze zavanet DoS, takze zakaz je urcite na miste, ale nemyslite, ze by byl rozumnejsi treba jen docasny "banlist" jako varovani? Nebo zdurazneni pravidel pro stahovani (treba ta 1 connection per sec)? Nebo onen zde jiz zminovany limit bandwidthu na uzivatele? Nebo kombinace vyse uvedenych? Pripada mi to jako podstatne prijatelnejsi reseni, nez okamzity a permanentni zakaz pristupu.

S pozdravem a pranim pekneho zbytku dne

David Hnilica

[Yeti]

Je vidět, že máme úplně jinou úroveň paranoie ;) Mirrorovat Ábíčko se sice nechystám, ale když jsem naposledy dělal něco podobného (a nebyl to řádově větší objem stránek), beželo to distribuovaně na N pokud možno nesouvisejících počítačích, posílalo smysluplné User-Agenty, Referery, etc., střídalo normální a velmi dlouhé prodlevy mezi requesty a vůbec se snažilo simulovat tlupu uživatelů dělajících Save As... a běželo několik dnů.

Ale jednou (už je to nějaký pátek) jsem potřeboval seznam základních škol v našem kraji, a na webu MŠMT sice tu databázi měli, ale nešlo k ní přistupovat jinak, než přes vyhledávání a přes ID školy -- jenže vztah mezi ID a typem a umístěním školy jsem taky nějak nezjistil. Tak jsem zkusil stáhnout celý rozsah pár set tisíc ID, a na co to nevrátilo chybu, to uložil (posílalo to requesty v kuse dva dny ;) Dodnes nechápu, jak to mohlo jen tak projít...

Tím jsem chtěl jen demonstrovat, kam až může člověka dovést zoufalství, když informace sice na webu jsou, ale nejsou stáhnutelné nějak rozumně.

[pilgrim]

No, s tou paranoiou mate asi pravdu. Ale preci jenom mi pripada trosku prehnany postup, kdy kvuli jednomu mirroru musim psat distribuovany engine a poustet ho na strojich nejlepe z ruznych domen (nehlede k tomu, ze k tolika strojum na ruznych domenach zase pristup nemam).

Ale o to mi v me reakci neslo, chtel jsem jenom upozornit, ze pokud spravci nemaji zajem o mirrorovani, tak je asi nejjednodussi zpusob udelat jednou za cas nejaky oficialni archiv a dat ho volne k dispozici. Jinak holt nekterym lidem nezbude, nez si ten archiv udelat sami. A pokud pro tuto cinnost nejsou ani stanovena jasnejsi pravidla, tak proste hrozi, ze to nekdo opravdu zkusi stylem

for i in `seq 1 10000` do

wget .....$i

done;

[Leoš Literák]

Ahoj,

pokud si spustite mirrorring s rozumnou prodlevou mezi dvema stahovani, tak to ani nezjistime a pak ani nemame silny duvod zakrocovat. Stahnuti kompletniho abicka je sice stejne prasarna, zvlaste s ohledem na prenosy, ale pokud to nekdo dela rozumne, tak to netrestame.

Ze nas nekdo mirrorruje nerozumne, zjistime celkem snadno. Monitorovaci system posle sms, ze load serveru je moc vysoko. A co jineho, nez zablokovat IP adresu, mame podle vas udelat, kdyz z jedne IP adresy je 15 spojeni a load vzroste nad 10? Mame cekat, az server spadne na out of memory?

Uvedomte si, ze ten jeden clovek v tu chvili vyrazne snizuje kvalitu abclinuxu pro stovky ostatnich uzivatelu. A jelikoz to byva bud hlupak nebo sobec, vybere si proto spicku, kdy je nejvetsi provoz.

A abicko nema 5000 stranek, ale ted uz nejmene 57 tisic stranek. Kdyz se k tomu vezmou varianty, napriklad verze pro tisk a ja nevim co jeste, klidne se muzeme dostat na statisice stranek. A to uz jsou nejake prenosy.

Jinak do budoucna planuju, ze clenove pripravovaneho klubu si budou moci stahnout kompletni offline obsah automaticky generovany jednou mesicne ci tydne.

[polov]

Ne, ze by se me tato diskuze nejak moc tykala, ale jen tak ze zajimavosti jsem si precetl zpravicku od spravce a slovni spojeni:

...útoky či mirrorování portálu budou vést k zablokování...

me trochu zarazilo. Ne ze bych nejak baziroval na cestine, ale....

[Sofr]

a to umisteni slova "prave" v "Někteří lidé jsou nepoučitelní. Právě náš admin Kolísko..." by u cloveka, ktery netusi, jestli je spatne mirrorovat ci mirrorovani branit (coz je navic zrejme sporne), mohlo vyvolat dojem, ze Kolisko je nepoucitelny. Ale nevim, jestli ma takovehle off-topic rypani smysl.

[Petr]

Mohl by mě někdo říct jak bude vyhodnocen pokus o mirror webu? Běžně si něco nechám na pozadí stahovat při práci a pak si to šoupnu na laptop a když mám čas tak čtu a studuju. Co je vlastně ZAKÁZANÝ MIRROR??? Jak se mu vyhnout? Čtu o tom že se blokují IP na ABC i na Mandrake možná i někde jinde. Nejde mi o kritiku postupu (podle mě kdo dává rozhoduje ), prostě bych rád zachoval svoje pohodlí a využití času a při tom se nenechal zablokovat kvůli stáhnutí pár stránek pro offline prohlížení?

[Leoš Literák]

Jak jsem psal vyse, kvuli par strankam nikdo nic blokovat nebude. Zakrocime tehdy, kdyz je mirrorring agresivni a zacne nam pretezovat server.

[Frank J. Tomes]

Nesouhlasím s přístupem, že za mirroring odříznete IP.

[Robert Krátký]

My zase nesouhlasíme s tím, když někdo spustí mirroring bez upozornění a našeho předchozího souhlasu. Leoš Literák popsal ve výše uvedeném příspěvku problémy, které to způsobuje, a kvůli kterým se musíme nějak bránit.

V naprosté většině případů totiž podobně bezohledný způsob získávání dat není vůbec potřeba. Chce-li někdo sérii článků nebo nějakou diskuzi, může si buď stáhnout Abíčko nebo využít Save As v prohlížeči.

Spustí-li někdo mirrorování kompletního obsahu stránek, je to nejen krajně neslušné (i vůči ostatním návštěvníkům), ale především téměř jistě získá spoustu materiálu, který vůbec nevyužije - a tudíž i zbytečné.

[Zdeněk Burda]

co udelate v pripade koleji? mame tu za proxy serverem par tisic lidi a kdyz se z nich nekdo rozhodne udelat mirror abicka, tak odriznete cele koleje?

[mittar]

Vytvori si voodoo panenky a budou provadet temne obrady, aby jim nikdo nevytezoval traffic, nebo rozumejsi, nekoho si najmou, pokud to neumi at jim server spravne nastavi.

[Leoš Literák]

Ne, kontaktujeme spravce site a s nim najdeme reseni. Nicmene ani ta blokace neni navzdy, je to hlavne jednoduchy zpusob ochrany a adresneho varovani. Idealni by bylo, kdyby se zobrazila nejaka www stranka s vysvetlenim, ale to nevim, jak udelat.

A hlavne - za celou dobu nasi existence doslo teprve ke treti blokaci. Nastesti se nejedna o zadny masovy jev.

Jen pro zajimavost. Na sve lokalni masine jsem si nasimuloval agresivni mirror, ktery ignoruje robots.txt. Prestoze to bezelo na localhostu, takze sit vubec nezdrzovala, trvalo to skoro dve hodiny a stahlo 1,8 GB dat. Minimalne dve tretiny byly uplne zbytecne stranky, casto duplikatni. Treba nekolik desitek tisic stranek, ze se musite prihlasit, pokud chcete neco editovat. Stranky byly skoro nepouzitelne kvuli nefunkcnim odkazum. Kdyz si odmyslim sablonu, tak skutecneho obsahu tam bylo mozna 100 MB. To je dost mizerny pomer, ne?

[Honza]

Mohl byste kdyžtak zveřejnit nějaký skriptík s wgetem nebo jiným nástrojem, který by stáhnul aktuální články a diskuse a který by neomezoval provoz? Prostě něco, co člověk spustí po připojení svého notebooku, aby si pak mohl abclinuxu.cz přečíst cestou domů ve vlaku nebo jinde.

[Leoš Literák]

no, skript by sel asi delat tezko. Ale muzu zkusit naprogramovat rozsireni abclinuxu, ze se to bude generovat automaticky do nejakeho tgz ci zipu. Co presne by to melo obsahovat? Potrebuju presne zadani

[Antonín Kolísek]

Myslím, že by to bylo docela dobré. Něco jako bylo dřív na linux@linux.cz. Tam se dalo stáhnout myslím týdení diskusní fórum. Stačilo by to dát do prostého *.txt (nebo html). Ke každému dotazu jeden soubor a v něm odpovědi.

[Marián André]

Myslim, ze by bolo skvele, keby sa dal v samostatnom baliku stiahnut kazdy serial, ktory vychadza na abclinuxu.cz. Mozno by bolo vhodne, aby sa po vyjdeni kazdej casti serialu vygeneroval zip|tgz so vsetkymi doterajsimi castami. Po skonceni serialu by tak vznikol balik s kompletnym serialom.

Mozno by stalo za to pribalovat k jednotlivym castiam aj diskusiu, aj ked tam by zrejme vznikal problem s uplnostou...

Predokladam, ze pridanie jednoduchej html navigacie (a la docbook) nie je ziadnym problemom.

[Honza]

No, myslím, že by bylo dobré mít denní změny pro ty, co čtou denně a pak týdenní pro "nepravidelňáky".

Seriály k sobě taky není špatný nápad. Hlavní rozdělení bych viděl na články, diskuse a zprávičky, ale mohlo by to být i vcelku zasazené přímo do té hlavní stránky abclinuxu (včetně reklamy - ta zas tolik nezabere).

Diskuse k článkům budou sice u těch týdenních ustřižené a u těch denních asi nijaké, ale někde se to ustřihnout musí. Koho zaujme off-line článek a touží po diskusi, ten se pak online zapojí do diskuse.

[met]

A neresi uz to nejhlavnejsi vydavani Abicka?

[Honza]

To sice ano, ale je to mesíčník. Kdo chce číst články častěji a má málo času při tom být on-line, potřebuje nějaké takové řešení pomocí denních zipů.

[met]

Pokud to ma by denne - tak co skritik, co nacte RSS a stahne posledni clanky? Ty by bylo jen par reguestu a nikdo by proti tomu asi nic nemel (a nikdo by si toho ani nevsiml).

[Leoš Literák]

wow, to je dost dobry napad. a ja bych nemusel nic programovat

[Honza]

Whow! aneb hezky česky Jejda!

To je přesně ono. Díky.

[Leoš Literák]

Pokud by ten perl/awk/bash (ci jiny) skript nekdo napsal, rad jej umistim na abicku pro ostatni ..

[samgfg aliyu]

nice. novels365.com subway-game.com winmilliongame.com