InterPlanetary File System... Budoucnost?

11.1.2018 18:10 | Přečteno: 2655× | Všechno možný | | poslední úprava: 18.1.2018 04:16

Zdravim ve spolek.
Pred nejakym casem jsem zacal zkoumat technologii InterPlanetary File System ktera mne zaujala pro svoje kladne vlastnosti a jednoduchost nasazeni. Nejake info i na Wikipedii Zda se, ze s p2p se v dnesni dobe roztrhl pytel viz kryptomeny. Nasazeni IPFS je opravdu jednoduche a obnasi stazeni archivu pro prislusnou architekturu zde, rozbaleni a nakopirovani souboru ipfs nekam do PATH, nastaveni executable.
Prvni spusteni je treba provest s parametrem init:

ipfs init

Nasledne spustit s parametrem daemon:

ipfs daemon

Nyni jiz lze nahrat libovolny soubor prikazem:

ipfs add tux.png

Prikaz provede pridani souboru tux.png do IPFS a vypise nasledujici info (hash):

added Qmf1Vpfc1Z6P8zet8U813CFxFijV7HqcT5EX2gDJXp2F12 tux.png

Soubor je mozne nasledne ziskat pomoci prikazu:

ipfs get Qmf1Vpfc1Z6P8zet8U813CFxFijV7HqcT5EX2gDJXp2F12

A to u libovolneho uzivatele IPFS.

Soubor lze zobrazit (stahnout) i ve webovem prohlizeci na adrese: http://localhost:8080/ipfs/Qmf1Vpfc1Z6P8zet8U813CFxFijV7HqcT5EX2gDJXp2F12 Pokud chcete vyzkouset tak lze i pomoci globalne dostupnych bran napr. teto: https://ipfs.io/ipfs/Qmf1Vpfc1Z6P8zet8U813CFxFijV7HqcT5EX2gDJXp2F12 A nebo tejhle: https://siderus.io/ipfs/Qmf1Vpfc1Z6P8zet8U813CFxFijV7HqcT5EX2gDJXp2F12 Program ipfs ma konfiguracni soubor .ipfs/config

Toliko kratke predstaveni a nyni uvaha o moznem vyuziti v budoucnu. Projekt slibuje permanentni ulozeni souboru na "vecnost" bez centralnich ulozist a chce zabranit vzniku mrtvych odkazu kterych je na webu plno. Ma byt novym webem, nahradou HTTP. Urcite neni jedinym projektem v teto oblasti viz treba Freenet. Osobne je mi sympaticky pristup pres CLI. Otazkou zustava jak se rozsiri a pokud uzivatele daji prostor 10 GB jak je preddefinovano v konfigu tak kam se az dostanem pokud sem lidi budou nalejvat gigabajty dat. Popravde receno jsem zvedav na trvanlivost linku obrazku Tuxe co jsem nahral ja sam viz odkazy a hash vyse. Soubor tux.png budete jako prvni zvedavci tahat ode me ale i kdyz IPFS odstavim tak uz bude navecnost "vytesany" na mnoha discich uzivatelu IPFS. To je skvela myslenka jak zvecnit uzitecne dokumenty ktere ale jiz nepujdou odstranit, zmenit, zfalsovat.
Toz co vy tady na to? Je to budoucnost nebo jen dalsi zoufaly pokus k zachrane uzitecnych informaci pro budouci generace, alternativa k archive.org
Za me osobne je to projekt s uzitecnym cilem.

UPDATE (17.1.2018)

IPFS je i zamyslenou soucasti projektu Filecoinktery ma byt kryptomenou a decentralizovanym ulozistem zaroven. Mineri tu nebudou provadet slozite matematicke operace ale budou poskytovat svuj diskovy prostor a konektivitu za coz budou odmenovani mincemi Filecoin. Tohle mi prijde smysluplnejsi nez resit matematicky operace bez uzitku a v podstate akorat spotrebovavat elektrinu. Projekt Filecoin aktualne neni jeste v provozu a uz se nahrnulo mnoho investoru s miliony dolaru. Uvidime jak se toto bude vyvijet. Budu sledovat stav.        

Komentáře

[xkucf03]

Koukám, že jsi mne s článkem předběhl :-) Taky jsem se chystal o IPFS něco napsat. A když půjdu o krok dál… technologie, která nahradí nejen současný web¹, ale i webové aplikace² a celé to bude decentralizované, distribuované a anonymní. A potom (nebo předtím?) svobodný nástupce současných IP sítí…

_{[1] na což stačí ten IPFS nebo KBFS
[2] tzn. půjde tomu posílat data, nejen z toho data stahovat, aniž bys věděl, komu je posíláš – třeba přes Bitmessage, kde příjemce ani nemusí být online v době odeslání zprávy (na rozdíl od např. Toru) a přesto mu můžeš odeslat třeba komentář pod článek nebo svoji objednávku.}

[Vorel]

Takže revenge porn a další prisernosti na věčné časy? To je super věc. Se mi pokaždé vybaví ten jursky park: vy jste strávili zbytečně moc casu premyslenim o tom, jak to udělat a zbytečně málo času premyslenim o to, jestli byste to měli udělat. A kecy o tom, že je to jen technologie a morální či nemorální je jen její využití prostě neberu, uz jsme (měli bysme být) o něco dál než před sto lety.

[Xerces]

V tomhle jsem konzerva sry. Ale je fajn, že taková technologie je, spíše je otázka, aby se to nezahltilo nesmyslným obsahem (například moje komenty

[vencour]

(přidal jsem do výběru)

[Gilhad]

Spíš bych viděl problém v indexování toho obsahu - dokud si někde nepřečtu/nenajdu odkaz na to, že tux.jpg má zmíněný hash, tak si tux.jpg nestáhnu. Takže bude potřeba mít i rozcestníky na ty soubory a ty rozcestníky sdílet (ať už ve formě site_index.html nebo vzájemně provázaných stránek, nebo tématických sborníků)

A pokud každý node (uživatel) bude mít relativně omezený prostor na skladování dat (tedy řekněme většinou notebook, nikoli serverovou farmu) tak se mu ten prostor po čase zahltí a bude muset (automaticky) odmazávat. Pokud se do tohoto systému dostanou "populární media", nejen "faktografie" tak se 10GB vyčerpá značně rychle (to jsou tak 3 DVD filmy) a ačkoli se aktuální novinky budou šířit značně rychle, tak dohledat něco staršího řekněme 5-10 let bude takřka nemožné, protože u většiny uživatelů to bude překryto novějším obsahem a pocitem "to si přece stáhnu z netu kdykoli si zamanu, ale teď potřebuju místo pro tento trhák"

Ono i když to bude jen prostor pro tu DHT tabulku, tak díky tomuto přirozenému úklidu budou disky většiny uživatelů obsahovat pouze věci celkem aktuální a starší články pak stejně dohledat nepůjdou.

Taky bude potřeba nějak pořešit všechny ty copyrighty a DRM a podobně, protože ačkoli u nás třeba není trestné stahovat a mít, tak je postižitelné sdílet - čili po pár zátazích na ty, co skladujou "všechno" a nějak se jim tam namotá i něco chráněného začnou lidi dost omezovat to, co jsou ochotni sdílet a jak dlouho, a zase se nejspíš s vaničkou vylije i dítě. Problém dnešního torrentu, kdy sehnat aktuální trhák je celkem snadné, ale cokoli staršího už DHT většinou nenajde ani za pár měsíců hledání, a pokud snad ano, tak to má jeden seeder na druhém konci světa s připojením (teda spíš sdílením) v řádu byte/min a po 10% stahování to spadne a hledá se další měsíce šance na pár procent.

Idea je to hezká, ale obávám se (a rád bych se mýlil), že představa o "historii národa" se nenaplní a sklouzne to k současnému modelu Pirate Bay.

[Vorel]

Je čas přiznat si, že masa nikdy nevyprodukuje nic trvalejší hodnoty. Masa umí jenom řvát, ničit, krást a zranovat. Geocities jsou pryč a lidstvo není ochuzene o nic důležitého. Ta snaha konzervovat všechno co lidstvo vybleje na internetu je naprosto absurdní a přijdeme to spíše jako nějaký fetiš nebo úchylka.

[Vorel]

Btw, děje se to (to archivovani) v zasade jen kvůli tomu, že he to levné. Archivovat komunální odpad, výkaly a moč dneska nikoho nenapadne (a místo pro archiv je jedním z aspektů, proč se to nedělá). Přitom jsou to věci podobného historického významu jako většina obsahu internetu.

[Gilhad]

Problem je v tom, ze v tech tunach hnoje se prece jen skryvaji obcas perly, ktere by stalo za to zachovat. Protoze obsah geocities negenerovala anonymni zprumerovana masa, ale ohromna spousta jedincu, z nich vetsina sice tvorila veci rekneme mezi docasnymi a odpadem, ale par veci z te doby postradam (jo, je to par kusu z milionu).

A stejny problem asi maji pred ocima i autori obdobnych projektu - zachovat ty perly co se jim ztratily v hlubinach casu, jenze uz moc neberou v potaz to mnozstvi bahna, mezi kterym se ty perly skryvaly, protoze si to bahno sami ucinne odfiltrovali vyberem navstevovanych stranek. Jenze presne tohle technika neudela, ta zindexuje bud vsechno, nebo nic. A nasadit na ten problem AI je IMHO jeste horsi napad, ktery v lepsim pripade skonci "uzavrenim do informacnich bublin" dle ciziho vyberu, v horsim rizenou manipulaci historie a Ministersvem Pravdy.

Navic se ted kvalitnejsi obsah vyskytuje spis na neverejnych forech, protoze kam se nahrne neregulovana verejnost, tam to skonci utopenim perel v bahne prumeru (jehel v kupce sena ...) a ti, kdo chteji vic se presunou zase jinam, kde jim do toho nebudou rusive vstupovat nejen vynalezci perpetua (ti jsou jeste celkem neskodni) ale hlavne obecna zvanirna, kde clovek fakt nema naladu cist denne 10.000 novych prispevku, aby zjistil, jestli tam nahodou neni 10 zajimavych.

[petr]

Alternativa k archive to nebude. Rozhodnu se nasdilet sbirku svych 5000 porno disku, celkove 18TB dat. 10gb na uzivatele - 1800 uzivatelu bude mit jenom muj bordel? Jak v tom budou vyhledavat? Jak je resena retence dat? Jak je reseno ulozeni porna ve statech kde tohle je treba trestne? Dopadne to jako jakakoliv podobna peer to peer sit ktera je plna bordelu a najit to co cloveka zajima je temer nemozne.

[Bystroushaak]

Zkoušel jsem, mám taky spíš negativní pocity, než co jiného. Když už nic jiného, tak není jasně zřejmé, jak to funguje, viz to co tu píšou ostatní.

Když to pustím, tak automaticky zabordeluji systém daty ostatních uživatelů? Proč bych měl něco takového vůbec chtít? A co ty hashe? Vždyť ty to dělají prakticky nepoužitelnými, nejsem stroj, abych si pamatoval místo url hashe. Od toho tu už existuje systém urn a jejich resolverů.

Taky je to pomalé. Kamarád mi přes to sdílěl ebook a tahal jsem to asi tři hodiny.

A taky tu byl už skoro s tím samým už Freenet už někdy od roku 2000.

Asi to může mít nějaké použití, například v zemích kde se uplatňuje silná cenzura, nebo na sdílení souborů mezi dvěma kamarády, ale budoucnost internetu? Nenech se vysmát.

[KS]

Souhlas. Snad se nedostaneme do situace, kdy budeme muset používat takové technologie pro svobodnou výměnu informací.

[otasomil]

Kdyz ve svem pc do IPFS nahrajete soubor tak tam zustane a nikam se svevolne "nerozlejva" Pokud nekomu date hash a on si soubor stahne tak uz jej budete mit u sebe oba dva nasledne tri, ctyri.... zalezi jak se bude hash sirit. Co se tyce rychlosti tak i me by zajimalo otestovat. Pokud sem date nekdo hash na nejaky volne siritelny soubor nahrany ve vasem IPFS tak rad testnu. Na oplatku predem davam hash na soubor: debian-9.3.0-amd64-netinst.iso (290 MB)

QmcY1ek1ZbifvqbqhRpefm9So28FXRc82BzyBRyf9tLpYS

Muj upload max 8 Mbit/s
Freenet jsem pred casem taky zkousel ale nijak mne nenadchnul, jakysi klient v Jave, vse velmi pomale a tezkopadne i v pripade jednoduchych stranek takrka bez obrazku... natoz nejaky videa...
S budoucnosti Internetu... no tak jak jsem psal to vidi tvurci, propagatori ipfs, ja jsem si to jen procetl a jak jsem koupil tak prodavam. Nejak se porad nemohu rozloucit s myslenkou prenosu souboru mezi jednotlivyma pc a kdo chce neco nabidnout tak to sdili pres vhodny protokol treba http s ostatnima tak jak to bylo v pocatcich Internetu. Dnes by to slo s IPv6 pekne jen kdyby IPv6 uz bylo standardem vsude. Nechci do sveta digitalnich baronu a konglomeratu jako Google, Facebook.... Prijde mi takovy prijemny nabidnout znamym nejaky fotky v zipu pres busybox httpd, pockat jak si httpd "zabrepta" ze je preneseno... takova zvlastni romantika... Holt jsem uz proste takovy...

[Bystroushaak]

Kdyz ve svem pc do IPFS nahrajete soubor tak tam zustane a nikam se svevolne "nerozlejva" Pokud nekomu date hash a on si soubor stahne tak uz jej budete mit u sebe oba dva nasledne tri, ctyri.... zalezi jak se bude hash sirit. Co se tyce rychlosti tak i me by zajimalo otestovat. Pokud sem date nekdo hash na nejaky volne siritelny soubor nahrany ve vasem IPFS tak rad testnu. Na oplatku predem davam hash na soubor: debian-9.3.0-amd64-netinst.iso (290 MB)

QmcY1ek1ZbifvqbqhRpefm9So28FXRc82BzyBRyf9tLpYS

Muj upload max 8 Mbit/s

Zamrzne to na přenesených 20MB, kde jsem to po asi 3/4 hodině vypnul:

$ time ipfs get QmcY1ek1ZbifvqbqhRpefm9So28FXRc82BzyBRyf9tLpYS
Saving file(s) to QmcY1ek1ZbifvqbqhRpefm9So28FXRc82BzyBRyf9tLpYS
 20.00 MB / 290.07 MB [======>---------------------------------------------------------------------------------------------]   6.89% 22m34s^C
Error: net/http: request canceled

real    43m55.232s
user    0m0.708s
sys     0m0.676s

Konzole démona je zablitá errorama:

18:12:53.409 ERROR    bitswap: couldnt open sender again after SendMsg(<peer.ID PRB9SN>) failed: dial attempt failed: <peer.ID W3jHKS> --> <peer.ID PRB9SN> dial attempt failed: dial tcp4 79.184.255.81:36441: i/o timeout wantmanager.go:237
18:14:59.785 ERROR    bitswap: couldnt open sender again after SendMsg(<peer.ID U6jwZ4>) failed: dial attempt failed: <peer.ID W3jHKS> --> <peer.ID U6jwZ4> dial attempt failed: i/o timeout wantmanager.go:237
18:14:59.854 ERROR    bitswap: couldnt open sender again after SendMsg(<peer.ID VCXEKm>) failed: dial attempt failed: <peer.ID W3jHKS> --> <peer.ID VCXEKm> dial attempt failed: connection refused wantmanager.go:237
18:15:01.754 ERROR    bitswap: couldnt open sender again after SendMsg(<peer.ID PbZ3SD>) failed: dial attempt failed: <peer.ID W3jHKS> --> <peer.ID PbZ3SD> dial attempt failed: i/o timeout wantmanager.go:237
18:15:47.682 ERROR    bitswap: couldnt open sender again after SendMsg(<peer.ID P8HLrD>) failed: dial attempt failed: context deadline exceeded wantmanager.go:237
18:16:07.865 ERROR    bitswap: couldnt open sender again after SendMsg(<peer.ID Z3VKwn>) failed: dial attempt failed: <peer.ID W3jHKS> --> <peer.ID Z3VKwn> dial attempt failed: i/o timeout wantmanager.go:237
18:16:10.767 ERROR    bitswap: couldnt open sender again after SendMsg(<peer.ID dAB13h>) failed: dial attempt failed: <peer.ID W3jHKS> --> <peer.ID dAB13h> dial attempt failed: i/o timeout wantmanager.go:237
18:16:36.735 ERROR    bitswap: couldnt open sender again after SendMsg(<peer.ID VtDRXc>) failed: dial attempt failed: <peer.ID W3jHKS> --> <peer.ID VtDRXc> dial attempt failed: i/o timeout wantmanager.go:237
18:55:16.317 ERROR commands/h: err: context canceled handler.go:285

[otasomil]

Zkusil jsem nahodit IPFS na VPS a prenos probehl. Teda pomaleji nez pres http:

ipfs get QmcY1ek1ZbifvqbqhRpefm9So28FXRc82BzyBRyf9tLpYS -o /dev/null
Saving file(s) to /dev/null
 290.07 MB / 290.07 MB [========================================] 100.00% 12m38s

[Heron]

Proč bych měl něco takového vůbec chtít?

Tohle považuji za jednu z nejdůležitějších vlastností podobných sítí a je to nejlepší věc na FreeNetu. Každý uživatel poskytuje síti nějaký prostor a nenahrává svá data k sobě, ale prostě do sítě (u FreeNetu dokonce tak, že nikdo nemá k disposici celý soubor naráz, ale pouze jeho část).

Pokud je IPFS udělán tak, jak píše Otasomil, tak je to docela problém, protože pokud nějaký soubor nahraji (tj na svůj node) a je zreplikován až potom, co pošlu konkrétní hash nějakému známému (a je opět zreplikován u něj), tak je docela snadné tyto kámoše odpojit od sítě a ta data prostě ztratit. Toto by u FreeNetu nemělo být možné.

[Bystroushaak]

Tohle považuji za jednu z nejdůležitějších vlastností podobných sítí a je to nejlepší věc na FreeNetu. Každý uživatel poskytuje síti nějaký prostor a nenahrává svá data k sobě, ale prostě do sítě (u FreeNetu dokonce tak, že nikdo nemá k disposici celý soubor naráz, ale pouze jeho část).

No, to zní hrozně hustě, ale stejně jako nechci hostovat bitcoin blockchain, tak nechci hostovat ani nějaká náhodná hovna ostatních uživatelů. Navíc je to celé náchylné na útoky, pokud do toho není zapojená nějaká kryptoměna, která limituje dobu uložení cenou za čas.

[Josef Kufner]

Naopak. Ukládání jen žádaných dat je klíčová věc. Pokud se blížím k Marsu, tak se někoho poblíž zeptám na cestu, on odpoví hashem mapy s pozicí přistávací plochy a od všech v okolí můžu začít aktuální mapu stahovat. Pak už se stačí jen zeptat na hash aktuálních dopravních informací. Proč plácat výkonem na nějké blbosti, které mne nezajímají?

[Heron]

Proč plácat výkonem na nějké blbosti, které mne nezajímají?

Tak to je potom o tom, v čem vidíš podstatu takové sítě. Pokud je to síť, kde všichni poskytují nějaký relativně malý prostor (v počátku TB disků jsem na FreeNet poskytoval 100GB, to je nic) na svém disku a vytvářejí tak "nekonečně velký" sdílený prostor dostupný všem, tak by tě asi nemělo zajímat, co je zrovna na tvém poskytnutém prostoru (nehledě na to, že ve Freenetu to ani nezjistíš).

Ale pokud to (i s Bystroušákem) berete tak, že tam jsou blbosti / hovna, tak tam možná ta hovna sami dáváte.

Jinak, to co píšeš se nijak nevylučuje s tím konceptem. Pokud je určité síťově blízké okolí, které se zajímá o mapy na cestu Mars, síť může tato data replikovat blíž k těmto uzlům (pochopitelně s tím, že někde jinde bude ještě další replika). Takže obsah, který tě zajímá bude pro tebe snadněji dostupný.

[otasomil]

Takže obsah, který tě zajímá bude pro tebe snadněji dostupný.

Taktez IPFS by melo zastat roli CDN

[lizbee]

this is awesome! eugene laser hair removal