abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 19:22 | Nová verze

Byla vydána verze 11.3 open source alternativy GitHubu, tj. softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech, GitLab (Wikipedie). Představení nových vlastností i s náhledy v příspěvku na blogu.

Ladislav Hagara | Komentářů: 0
22.9. 13:00 | Komunita

Do 30. října se lze přihlásit do dalšího kola programu Outreachy (Wikipedie), jehož cílem je přitáhnout do světa svobodného a otevřeného softwaru lidi ze skupin, jež jsou ve světě svobodného a otevřeného softwaru málo zastoupeny. Za 3 měsíce práce, od 4. prosince 2018 do 4. března 2019, v participujících organizacích lze vydělat 5 500 USD.

Ladislav Hagara | Komentářů: 91
21.9. 22:22 | Komunita

Společnost Purism představila kryptografický token Librem Key. Koupit jej lze za 59 dolarů. Token byl vyvinut ve spolupráci se společností Nitrokey a poskytuje jak OpenPGP čipovou kartu, tak zabezpečení bootování notebooků Librem a také dalších notebooků s open source firmwarem Heads.

Ladislav Hagara | Komentářů: 8
21.9. 20:33 | Nová verze

Společnost NVIDIA oficiálně vydala verzi 10.0 toolkitu CUDA (Wikipedie) umožňujícího vývoj aplikací běžících na jejich grafických kartách. Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
21.9. 20:00 | Upozornění

Příspěvek Jak přežít plánovanou údržbu DNS na blogu zaměstnanců CZ.NIC upozorňuje na historicky poprvé podepsání DNS root zóny novým klíčem dne 11. října 2018 v 18:00. Software, který nebude po tomto okamžiku obsahovat nový DNSSEC root klíč, nebude schopen resolvovat žádná data. Druhým důležitým datem je 1. února 2019, kdy významní výrobci DNS softwaru, také historicky poprvé, přestanou podporovat servery, které porušují DNS standard

… více »
Ladislav Hagara | Komentářů: 11
21.9. 15:55 | Pozvánky

Spolek OpenAlt zve příznivce otevřených řešení a přístupu na 156. brněnský sraz, který proběhne v pátek 21. září od 18:00 v restauraci Na Purkyňce na adrese Purkyňova 80.

Ladislav Hagara | Komentářů: 0
21.9. 13:22 | Nová verze

Alan Griffiths z Canonicalu oznámil vydání verze 1.0.0 display serveru Mir (GitHub, Wikipedie). Mir byl představen v březnu 2013 jako náhrada X serveru a alternativa k Waylandu. Dnes Mir běží nad Waylandem a cílen je na internet věcí (IoT).

Ladislav Hagara | Komentářů: 0
20.9. 22:00 | Nasazení Linuxu
Stabilní aktualizace Chrome OS 69 (resp. Chromium OS), konkrétně 69.0.3497.95, přináší mj. podporu linuxových aplikací. Implementována je pomocí virtualizace, a proto je tato funkce také omezena na zařízení s dostatkem paměti a podporou hardwarové akcelerace, tudíž nejsou podporovány chromebooky s 32bitovými architekturami ARM, či Intel Bay Trail (tzn. bez Intel VT-x).
Fluttershy, yay! | Komentářů: 6
20.9. 21:32 | Zajímavý projekt

Došlo k uvolnění linuxové distribuce CLIP OS, vyvíjené francouzským úřadem pro kybernetickou bezpečnost ANSSI, jako open source. Vznikla za účelem nasazení v úřadech, kde je potřeba omezit přístup k důvěrným datům. Je založená na Gentoo.

Fluttershy, yay! | Komentářů: 2
20.9. 16:00 | Komerce

Zjistěte více o bezpečné a flexibilní architektuře v cloudu! IBM Cloud poskytuje bezpečné úložiště pro Vaše obchodní data s možností škálovatelnosti a flexibilitou ukládání dat. Zároveň nabízí prostředky pro jejich analýzu, vizualizaci, reporting a podporu rozhodování.

… více »
Fluttershy, yay! | Komentářů: 12
Na optické médium (CD, DVD, BD aj.) jsem naposledy vypaloval(a) data před méně než
 (13%)
 (14%)
 (21%)
 (23%)
 (24%)
 (3%)
 (0%)
Celkem 402 hlasů
 Komentářů: 34, poslední dnes 12:54
Rozcestník

Jigdo a Bittorrent

26. 5. 2003 | Robert Krátký | Recenze | 17349×

Jigdo: Jak chytře stahovat a aktualizovat (nejen) ISO image. Bittorrent: P2P sdílení souborů dovedené k dokonalosti.

JIGsaw DOwnload

JIGsaw DOwnload by se volně mohlo přeložit jako skládankové stahování. Tento systém má svůj původ ve snaze usnadnit a zefektivnit způsob získávání nových nebo aktualizovaných ISO image souborů s distribucí Debian. Ačkoliv i jiné linuxové distribuce (nebo operační systémy) využívají možnosti distribuce svého produktu pomocí internetu a ISO souborů, situace u Debianu je v několika ohledech specifická. Především Debian nemá žádné komerční zázemí, a proto je zaopatření byť i jediného serveru, který by byl ochoten hostit tuto distribuci, zcela závislé na libovůli jiných subjektů. K tomu se přidává skutečnost, že Debian je nejen největší linuxovou distribucí, ale zároveň podporuje bezkonkurenčně nejvyšší počet hardwarových platforem.

Počítejte se mnou: 11 podporovanych procesorových architektur + 1 x zdrojové kódy, vynásobíme 7 (počet CD - ISO image pro většinu platforem). Tedy 12*7*650 = 54,6 GB. Bez uzardění můžeme zaokrouhlit na 55 GB, protože některé platformy (včetně IA32 - i386) obsahují osmé doplňkové CD. Těchto úctyhodných 55 GB vynásobíme nejprve dvěma a dostaneme prostor potřebný k uložení jednotlivých balíčků spolu s ISO obrazy. A nakonec ještě jeden násobek, chceme-li připočíst DVD image. Skončili jsme na 165 GB dat, což je opravdu velikost, pro kterou se vysokorychlostní mirrory shánějí velmi těžko.

Podobná matematika vedla Richarda Atterera k práci na systému jigdo. Co tedy jigdo umí?

Jak to funguje?

Jigdo umožňuje uživateli získat ISO (a jakékoliv jiné) soubory ze sítě, aniž by je bylo třeba stahovat - a tedy mít na serveru - jako jeden soubor. V praxi to znamená, že ačkoliv uživatel stahuje jednotlivé soubory, výsledkem bude plnohodnotný ISO soubor, který je připraven k vypálení. To samo o sobě ještě není nijak výjimečné, protože nástroje schopné rozdělení jednoho velkého souboru na více menších a následného poskládání částí zpět dohromady, již existují dlouho. Jedinečnost jigdo spočívá ve schopnosti sestavit definovaný obsáhlý datový soubor z libovolných dostupných souborů, přičemž jedinou podmínkou je korektní kontrolní výpočet md5sum. Z toho vyplývá, že přestože je možné využít jigdo ke stahování čehokoliv, nejlépe se uplatní právě v případě ISO souborů nebo archívů, které v sobě obsahují množství i jinde přístupných souborů.

Serverům, které hostí danou distribuci, tedy stačí poskytovat ke stažení pouze jednotlivé balíčky a speciální definiční jigdo soubory. Odpadá tím zbytečné plýtvání místem a konektivitou, které jinde padá na hlavu právě obrovských ISO obrazů.

Princip funkce

Na počátku celého procesu je klasický ISO image, který necháme zpracovat programem ze sady jigdo (jigdo-file). Tento nástroj nejprve vytvoří seznam všech souborů, které ISO obsahuje, a pak tento seznam porovná s dostupnými soubory nacházejícími se v zadané cestě. Mohou nastat tři situace:

  • Soubor se nachází jak v ISO, tak v zadané cestě. Jeho název a md5sum budou tedy zaneseny do definičního souboru jigdo a při sestavování ISO obrazu pak bude využit tento soubor.
  • Soubor se nachází pouze v ISO a pro pozdější sestavování by neexistoval vhodný kandidát. Jigdo tedy tento soubor zkomprimuje do speciálního template souboru a spolu se vším ostatním, co nelze jinde nalézt (např. adresářová struktura), jej uloží pro pozdější sestavování.
  • V zadané cestě je soubor, který není součástí ISO, jigdo jej tedy ignoruje.

Z pohledu uživatele

Jedinou podmínkou pro úspěšné stažení požadovaného (ISO) souboru je (kromě funkční instalace programu jigdo) nalezení vhodného .jigdo souboru. Ideální je samozřejmě využít takový, který není fyzicky příliš vzdálen. Nicméně není třeba se obávat, že by v opačném případě jigdo stahovalo z velkých dálek. Po spuštění si program řekne o zadání mirroru, takže si můžete určit, odkud až budou data putovat (na Debianu vám jigdo rovnou nabídne zdroj, který si přečte v /etc/apt/sources.list)

Pokud používáte Debian, nainstalujte si jigdo z unstable, protože vzhledem k rychlému vývoji programu by mohly mít starší verze problémy se stahováním některých .jigdo souborů (především z distribucí Sarge a Sid).

V případě jiných linuxových distribucí bude nejoptimálnější zkompilovat program z čerstvého zdrojáku. K dispozici je však i verze pro Windows a Solaris.

Takže po spuštění jigdo-lite bez jakýchkoliv parametrů budete nejprve dotázání na adresu .jigdo souboru a pak také, zda-li nemáte nějakou starší verzi stahovaného ISO souboru (vypálenou na CD nebo namountovanou jako loopback zařízení). Pokud máte, jigdo-lite ji použije jako základ nového souboru a nebudete muset stahovat nezměněná data dvakrát. Počítejte však s tím, že v případě aktualizace nebude chtít jigdo-lite automaticky přepsat vaše staré ISO, máte-li jej ve stejném adresáři, odkud jigdo-lite spouštíte. Musíte tedy původní soubor buď přejmenovat nebo přesunout - případně předat při spuštění parametr --force.

A je to. Zbývá už jen počkat, až jigdo/lite skončí. Stažené soubory budou umísťovány v nově vytvořeném podadresáři /tmp a pouze čas od času je program přesune do nově vznikajícího .tmp souboru.

Bittorrent

Druhý stahovací program, který vám chci přiblížit, se snaží řešit více méně podobný problém, avšak úplně jinou cestou. Určitě všichni znáte peer-to-peer sdílecí systémy, které uživatelům umožňují zpřístupnit ostatním připojeným zvolený obsah svého harddisku a na oplátku zase od zbytku světa stahovat. Profláknutý Napster, Gnutellu nebo třeba Direct Connect není třeba představovat. Bittorrent by se dal s troškou nadsázky k těmto programům připodobnit - jeho účel a zaměření jsou však dost odlišné.

Bittorrent je především určen pro nárazový nápor zájemců o aktuálně populární soubor. Narozdíl od jiných filesharingových služeb totiž jeho výkonnost roste úměrně s počtem aktivních stahovačů. Princip je následující:

Distributor velkého souboru, který díky své žádanosti zcela jistě na nějaký ten den způsobí zahlcení běžných cest (http, ftp) získávání (například dlouho očekávaná a oblíbená linuxová distribuce - z poslední doby budiž příkladem RedHat 9, Mandrake 9.1 a Slackware 9), vytvoří pomocí speciálního nástroje tzv. torrent. Torrent je poměrně malý soubor (s příponou .torrent), který obsahuje informace o stahovaných datech.

Uživatel zadá programu cestu k .torrent souboru, který nese informace o požadovaném souboru. Bittorrent stáhne .torrent soubor a na základě jeho obsahu kontaktuje "tracker" server. Tento stroj slouží jako koordinátor všech klientů. Tracker klientovi poskytne informaci o dalších klientech, od kterých může stahovat jednotlivé kusy dat. Klient na oplátku periodicky informuje tracker o tom, co již stihnul stáhnout. Tím nejen pomůže trackeru aktualizovat okruh klientů, kteří mají právě ty části dat, které stahující klient ještě postrádá, ale zároveň umožní trackeru zařadit svá stažená data do seznamu klientů, od kterých je možno tyto části stahovat.

Jakmile tedy získáte jakoukoliv část dat, stáváte se platným článkem spolupracujícího společenství, protože začínáte okamžitě poskytovat svá stažená data jiným klientů, kteří je ještě nemají.

Může se samozřejmě stát, že žádný z dostupných klientů neobsahuje žádné části dat, které by ostatní ještě neměli. V takovou chvíli vstupuje na scénu (opět - stejně jako na počátku) stroj, který se názývá "seed" - neboli klient, který má k dispozici kompletní soubor (ze začátku je pouze jeden - distributor; později jich přibývá, když klienti dokončí stahování, ale ponechají program běžet). Seed každému z klientů poskytne jinou část dalších dat a ti si je mezi sebou pak nasdílejí.

U starších a méně populárních torrentů může nastat i situace, kdy není v případě potřeby k dispozici žádný seed. Pak je nutné na chvíli přemluvit někoho, kdo disponuje celým souborem, aby spustil klienta a fungoval nějakou dobu jako dobrosrdečný seed. Tento problém však nastává opravdu zřídka, protože u všech aktuálních torrentů je k mání nespočet strojů, které prostě běží pořád (tj. nejsou to žádné domácí počítače).

Další problém, se kterým se můžete teoreticky setkat, je nefunkční tracker. To má za následek, že již připojení klienti mohou sice (trošku méně pružně) stahovat jeden od druhého dále, ale žádný další klient se nemůže do sdílení (a tedy i stahování) zapojit.

Z předchozího vyplývá, že Bittorrent funguje nejlépe, když se stahování/sdílení účastní co největší počet klientů. Takové řešení je proto perfektní odpovědí na velké množství bandwidth problémů. Například na Slashdotu se již stalo zvykem poskytovat k větším souborů (filmové trailery, zajímavé distribuce, apod.), které jsou velmi náchylné k tomu, aby byly (dočasně) vymazány z povrchu zemského - totiž internetového - tzv. "Slashdot effectem", .torrentové odkazy. Díky Bittorrentu pak nechvalně proslulé "slashdotting" začíná sloužit dobrému účelu.

Po instalaci ve Windows (prý) a na Linuxu, kde je také nainstalovaná Mozilla, by měla fungovat jednoduchá integrace (díky přidání nového MIME-Type (application/x-bittorrent)). Po kliknutí na link odkazující na .torrent soubor se automaticky spustí Bittorrent klient. Samozřejmě lze použít i příkazovou řádku. Pak je třeba programu předat adresu .torrent souboru jako parametr:

btdownloadgui --url cesta_k_.torrent_souboru

Takový příkaz spustí Bittorrent klienta s GTK+ GUI. Kromě samozřejmých GTK+ knihoven je třeba mít nainstalovaný Python ve verzi alespoň 2.2 (Bittorrent je komplet napsán v Pythonu). Pro GUI bude také potřeba wxPython (v Debianu balíček libwxgtk2.4-python).

Bittorrent GUI

Ještě zmíním, že o neporušenost stažených souborů se není třeba bát. Bittorrent využívá kontinuální kryptografické "hašování" (jakpak se to řekne česky?), takže integrita dat je zaručena.

Závěr

Jigdo i Bittorrent každý svým originálním způsobem ulehčují již tak dost zkoušené internetové konektivitě. Jejich používáním nejen ušetříte čas a námahu sobě, ale můžete mít i dobrý pocit z toho, že pomáháte těm, kteří obyčejně nejsou tak majetní, aby si mohli dovolit drahé a kvalitní hostování, ale přesto pouští do světa produkty, které jsou hodné vašeho zájmu.

Odkazy a zdroje

jigdo
Debian Jigdo mini-HOWTO
Bittorrent
Brian's BitTorrent FAQ and Guide
Smiler's BitTorrent links page (spousta odkazů na informace a také soubory, které lze stahovat pomocí Bittorrent)
       

Hodnocení: 50 %

        špatnédobré        

Nástroje: Tisk bez diskuse

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

26.5.2003 14:25 jan molic
Rozbalit Rozbalit vše wget + prozilla
Zajimava by byla kombinace wgetu a prozilly. (nebo je to mozne a nevim o tom?) wget se umi chovat jako spider (proleza a stahuje vsechny odkazy, ktere najde). Problem je, ze je stahuje standardnim, kontinualnim, zpusobem. prozilla naopak stahuje soubor z ruznych mist, ale neumi se chovat jako pavouk. Osobne bych uvital, kdyby sel wget pouzit pouze jako pavouk a externe by vyuzival prozillu. Takovych "turbodownloaderu" je pro windows plno.
29.5.2003 07:31 Lukas
Rozbalit Rozbalit vše wget + prozilla
Neco z toho umi PUF (Paraller URL Fetcher). Jen je dobre nastavit max.pocet konexi, abys neudusil tu linku do netu :-)
29.5.2003 11:18 sweter
Rozbalit Rozbalit vše wget + prozilla
a vsetko stoho + omnoho viac umi eDonkey :)
10.12.2003 09:44 mike
Rozbalit Rozbalit vše :-( mam mrkvosoft windows 2000
Lze nějak uživatelsky "normalne" stahovat soubory torrent v w2k ? Pouzivam bezne FlasGet. Diky, moc by mi to bodlo. Mike
26.12.2003 09:41 Robert Krátký | skóre: 94 | blog: Robertův bloček
Rozbalit Rozbalit vše :-( mam mrkvosoft windows 2000
primo na strankach bittorrent najdes verzi pro windows... nevim, o co ti jde.
20.4.2007 00:35 mmrolert
Rozbalit Rozbalit vše Re: :-( mam mrkvosoft windows 2000
Doporučuju BitSpirit jde na většinu systémů.
18.11.2005 23:35 Martin01
Rozbalit Rozbalit vše Re: Jigdo a Bittorrent
Nejde mi stáhnout žádný torrent spustím nějaký torrent ale biotorrent nic nestahuje pořád na něco čeká. Co s tím?

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.