Osobní cloud

2.9.2013 01:30 | Přečteno: 2189× | prd | poslední úprava: 2.9.2013 09:55

Jenom krátká utopická úvaha, jak si představuji budoucnost.

Jako uživatel budu mít osobní cloud. Což není nic jiného než veřejně přístupná složka alá Dropbox s jednodychým API. Můžu to mít na vlastním serveru nebo u nějakého poskytovatele jako je Dropbox nebo Google.

Bude to centrální místo pro moje data. Něco jako osobní API. Bude to místo pro kontakty, maily, poznámky, kalendářní události, historie prohlížeče, blogy, atd. Pro tyto typy dat budou standardizované formáty. Např. v podadresářích calendar, mails, blogs budou v human-readable formátu události (json), maily (json) a blogy (markdown).

Příklad – chci si založit blog na tumblru. Při registraci jenom zadám url osobního cloudu, a tumblr si vyžádá oprávnění na avatar, jméno, pohlaví, hlavní emailová adresu a moje blogy. Když se rozhodnu změnit avatara nebo hlavní mail, nemusím měnit nastavení ve všech 20 službách kde mám účet, ale stačí to udělat jednou v tumblru a ostatní služby se automaticky sesynchronizují.

Pokud napíšu blog, tumblr si ho uloží k sobě do databáze, ale zároveň ho převede do standardizovaného formátu a uloží do osobního cloudu. Když ten blog otevřu jednoduchém textovém editoru a upravím, tumblr dostane notifikaci a blog v databázi si aktualizuje.

Druhý příklad – zkouším nové Ubuntu. Při instalaci jenom zadám url osobního cloudu a instalátor si stáhne hesla k wifi, pozadí plochy atd. Na mobilu mi ale ještě předtím vyskočí dialog, kde to budu muset povolit.        

Anketa

Komentáře

[Josef Kufner]

Aktuální stav:

• CardDAV: Kontakty
• CalDAV: Kalendář a úkoly
• IMAP: Maily
• Na poznámky, záložky a historii o ničem nevím

Ty tři protokoly lze celkem rozumně použí pro synchronizaci mezi mnoha zařízeními. Na serveru si člověk vystačí s Dovecot + Davical, přičemž Davical může používat IMAP pro ověřování loginu oproti Dovecotu, aby nebyl bordel v uživatelských účtech.

Zbývá tedy dodělat pár dalších protokolů a pak jeden zapouzdřující protokol pro hromadnou konfiguraci účtů.

[Luk]

Na poznámky, záložky a historii o ničem nevím

Ale ono existuje:

• poznámky: např. Markdown, Org-mode
• záložky: např. XBEL
• historie: např. HEML

[R]

Lenze to su formaty suborov a nie protokoly. Subory by museli byt na nejakom serveri, napr. WebDAV a musel by byt nejaky standard, ktory by hovoril, ako ma vyzerat adresarova struktura.

[xvasek]

Ještě je Mozilla sync server - to je protokol.

[Luk]

Adresářovou strukturu bych nedefinoval natvrdo, zrovna v tomto případě by to ani nemělo logiku (každý si to zorganizuje sám podle svého). Tím protokolem pak může být zrovna zmíněný WebDAV.

[b4aa9]

Predstavoval bych si to jako dropbox slozku, kde budou podadredare calendar, mails, blogs atd. A uvnitr v human-readable formatu treba udalosti (json) nebo blogy (markdown) jako soubory.

API bude jenom zapis / cteni, autorizace a notifikace o zmenach.

[Josef Kufner]

To nebude fungovat. Například CalDAV umí vyhledávání relevantních událostí podle vybraného časového intervalu. Server má eventy indexované a klientovi vrátí jen to, co ho zajímá. IMAP umí virtuální složky a také server-side vyhledávání. Těžko se ti budou se složkou na serveru například posílat maily (SMTP).

Pokud něco takového chceš stavět, musíš to stavět jako integrovanou skupinu víceméně nezávislých služeb. Tedy mít zapouzdřující službu, která ví vše o těch ostatních, kde jsou skutečná data. A jednotlivé aplikace se připojí k těmto službám, přičemž konfigurace aplikací se vytáhne z té zapouzdřující služby.

Když pak chceš mít webové rozhraní, nainstaluješ na webserver klienta např. v PHP, který se připojí na dané služby prostřednictvím protokolů IMAP, CardDAV a SMTP. Tím získáš webmail s adresářem kontaktů. Reálně to můžeš nyní implementovat použitím právě Davical+Dovecot+Postfix a jako webového klienta např. Roundcube s CalDAV pluginem.

Když chceš připojit do takového cloudu Androidí telefon, tak jen aplikacím v něm dodáš konfiguraci (a doinstaluješ CardDAV-Sync).

[b4aa9]

Nevim jestli te chapu spravne – narazis na to, ze pokud to bude tak ze kazda udalost bude ve vlastnim souboru, tak bude neefektivni napr. filtrovani? S tim souhlasim, resenim by bylo, ze by nektery typy dat byly v databazi se standardizovanym schematem. Vlastne misto slozek by mohly byt SQLite databaze. Vnejsi API by bylo pouze CRUD operace na databazi, zabezpeceni a notifikace o CRUD operacich provedenych nekym jinym.

Server side vyhledavani mailu by to nezvladlo, bylo by to jenom "hloupe" skladiste standardizovanych dat, nic vic.

Stavet to neplanuji, resp. ne v blizke budoucnosti, hlavni problem by byl presvedcit treti strany aby se na to napojily, jinak by to bylo k nicemu. Proto jsem ten zapisek uvedl tim, ze to je utopie :) Zacalo by to byt uzitecny pokud by se z toho stal standard.

[Josef Kufner]

Jakýkoliv předpis statického úložiště je na nic. Potřebuješ standardizované rozhraní ke službě – protokol. Pak to zvládne všechno a pokud použiješ existující standardy (viz moje předchozí příspěvky), nemusíš nikoho přemlouvat, prostě to jen použiješ (už nyní a téměř bez práce).

Tedy nahraď složky za protokoly a centrální server za metaslužbu.

[b4aa9]

Asi jsem uplne nepochopil ten koncept. Cim by to pro uzivatele bylo prinosny?

[Josef Kufner]

Přínos by byl, že by nemusel konfigurovat každou službu zvlášť, neboť by zadal přihlašovací údaje k metaslužbě a odtamtud by se stáhla/aktualizovala konfigurace všeho ostatního.

Například když si koupíš nový telefon, tak v něm chceš stejné kontakty jako v tom staré a přístup ke svému kalendáři. Takže až nový telefon vybalíš, tak naskenuješ z displeje svého PC jeden QR kód s URL k metaslužbě, zadáš heslo a chvíli počkáš. Všecko, co používáš se nakonfiguruje samo podle údajů získaných z metaslužby, bez ohledu na to, zda se jedná o tvůj vlastní cloud nebo e-mail na Seznamu.

Druhá polovina je o posbírání vhodných démonů (už hotových, např. Davical) a předkonfigurování serveru, který by se dal pohodlně používat a zahrnoval všecko možné.

[b4aa9]

Aha, uz chapu. Celkem odlisny koncept nez co jsem mel na mysli. Uprimne receno, ja bych radsi utopictejsi budoucnost :)

[xvasek]

V podstatě souhlasím s tím, že by něco takového mělo vzniknout na základě existujících standardů. Já osobně jsem teď ve stavu, že se snažím hledat takové softwary, které mi můj vlastní cloud podpoří. Na fotky mám trovebox, který dokonce umožňuje mít dostribuovanou storage (Dropbox, Box, Amazon S3...), na maily se těším na Mailpile (líbí se mi screenshoty a tím to zatím hasne), soubory a kalendáře taky slibují do MailPile. Blogy nevím, ale tam nevidím problém. Spíš mi ve tvém výpisu chybí nějaké "sociálno", ale to bych obecně řešil přes RSS a openID nebo Mozilla Persona (v sociální síti nasdílím obsah jenom někomu s autentizací, což by OpenID / Persona IMHO mohla řešit).

[b4aa9]

Co se tyce socialna, asi by mel smysl profil a mozna prispevky. Me v podstate nejde ani tak o to mit moje data u sebe, hlavni prinos by byl v pohodli uzivatele. Misto toho, aby si N sluzeb ktery pouzivam predavalo data nejak slozite mezi sebou popr. bych to delal ja, delo by se to automaticky pres jedno centralni misto. Kdyz si kupuju neco na alze, staci zadat url moji moji slozky, povolit pristup k adrese a hotovo. Uplne to samy kdyz chci vyzkouset email klienta, blogovaci sluzbu nebo RSS ctecku.

Na MailPile se taky tesim :)

[qqqq]

mozno owncloud ? ma dost podobne funkcie az na maily

[b4aa9]

Ty maily a dalsi veci byly jenom priklady. Maily nejsou funkce - to je jenom standard, ktery rika ze maily jsou ve slozce /mails v takovym a takovym formatu. V podstate to je jenom slozka s jednoduchym API.

[xvasek]

Já ho zkouším a v podstatě jsem přišel k rozhodnutí jej dát pryč. Sync nefunguje (upravím soubory v počítači a nesyncnou se na server), neumí se ani vymáčknout, kde je chyba, rozhraní má bugy typu že když kliknu na plugin, tak se mi na počítač nenabídne možnost nastavení (jenom bílá obrazovka), z mobilu to funguje, teď jsem zakládal uživatele a po přihlášení mu to hodí prázdnou stránku (bez chyby), když dám prohledat multimedia a najít MP3ky, tak tam běhá ten progress bar nekonečně dlouho, někdy kliknu na adresář a prázdná stránka apod.

Bugy tam jsou i nahlášené, ale jsou ve stavu "neumíme reprodukovat". Já to taky neumím často reprodukovat ani napsat, co musím udělat, aby se bug objevil, ale je to furt nějaký problém.

Naposledy mě dostalo, že sync u každého souboru vytváří PHP session, takže mi za cca měsíc došly na serveru volné inody...

(Taky to spoustu věcí neumí, ale to bych i odpustil nebo doprogramoval, ale spíš furt hledám, jak co opravit, než abych přidával nové věci.)

[frdrx]

Owncloud má jedno šílené, nelogické a pravděpodobně do budoucna dlouho přítomné omezení: chybí synchronizace mezi servery, takže je to vlastně není cloud.

[Gilhad]

Nevim, jak tam hodlas mit osetrenou bezpecnost. Napriklad zmenis ikonku, zmeni se ti vsude, i na FB. Zmenis heslo na domaci wifi, zmeni se ti vsude, i na FB? A mailove adresy taky budes sdilet s cimkoli? Urcite spousta sluzeb (FB a spol) si budou prat znat co nejvic tvych udaju, i tech, ktere ke sve praci nezbytne nepotrebuji.

[b4aa9]

FB by nejdriv musel pozadat o povoleni menit avatara, bud jednorazovy nebo casove neomezeny. Na mobilu bych mel specialni app a vyskocil by na me dotaz, jestli to chci povolit.

[gsnak]

Na co by som liezol na tumblr ked budem mat osobny cloud na mojom servri? Imho by to malo byt takto: Napisem blog na mojom cloude a znami a ludia ktory sa o to zaujimaju si to precitaju z mojho cloudu (ale mozu pritom pouzit nejaky agregator, cez agregatory si ma najdu aj iny ludia s podobnymi zaujmami, napr. abclinuxu.cz by bol len agregator).

Podobne by to malo byt s komentarmi. Imho by sa tu dal pouzit nejaky domyselny hashovaci system na jednoznacnu identifikaciu vlakna diskusie/komentaru. Napr. sha256($hash_predku+komentar). Potom taka vec ako "zamknuta diskusia" nepripada do uvahy, proste by som po celom intrnete len nasiel odkazy na tento hash.

[Jendа]

Asi máme úplně jinou definici slova cloud. Já za to považuji systém pro dynamické alokování prostředků. To se na jednom serveru provozuje blbě.

[gsnak]

Pod pojmom "moj server" som myslel lubovolny pocet VPS instancii kdekade po svete (plus nejaka synchronizacia), nemyslel som 1 PC v mojom obyvaku. V tvojom pripade je problem otazka aka je URL tvojho cloudu ked je to decentralizovane? Co ked jeden nod vypadne, staci zadat url druheho nodu?

[Jendа]

DNS Round-Robin?

[b4aa9]

Myslel jsem to takhle: http://www.abclinuxu.cz/blog/blogoblogoblogoblog/2013/9/osobni-cloud/diskuse#23

[frdrx]

Všechno beru, akorát nevidím důvod pro to aby mi do cloudu lezly služby třetích stran. Můj osobní cloud přece všechny tuhle věci nahradí.

[b4aa9]

Osobni cloud nebylo uplne stastny pojmenovani... V podstate by to bylo hloupe skladiste standardizovanych dat + autorizacni API. Predstav si situaci - objednavas jidlo na internetu, a chce to po tobe adresu. Ty tam das jenom tvoji url, a ten web si vyzada jednorazovy povoleni precist tvuj profil, konkretne adresu. Na mobilu ti vyskoci zadost o povoleni, potvrdis, a je to.

[frdrx]

Aha. Spíš ale vidím užitek v tom osobním cloudu...

[gsnak]

Mna hlavne trapi problem aplikacii. Napr. Google Reader, Search, Email beziaci na mojom "cloude". A hlavne tak aby som sa nemusel starat o zalohovanie.

[b4aa9]

Aplikace by tohle mohli vyuzivat jako uloziste, v API by byla moznost vytvorit si privatni podslozku a tam si ukladat cokoliv.

Google Reader – v te sdilene slozce by byla standardizovana slozka /rss pro vsechny RSS ctecky. A nejaka konkretni RSS ctecka by se s tim synchronizovala a plus si ukladala dalsi data do privatni slozky (napr. /google-reader) anebo k sobe na server.

Search – pokud myslis internetovy vyhledavac, tak si to moc nedokazu predstavit na vlastnim cloudu.

[b4aa9]

Jinak myslim ze model "webova sluzba na vlastnim serveru" nema budoucnost. Realnejsi mi prijde lokalni app, ktera se synchronizuje s necim jako dropbox.

[Jendа]

Osobně bych nic takového nepoužil, nemám víc svých zařízení a u cizích se bojím, že mi to vysaje soukromá data.

Hodilo by se ale nějaké nastavení, že si sednu k cizímu počítači a co nejjednodušeji se nastaví základní parametry desktopového prostředí (např. keymapa, key repeat rate), abych s tím dokázal pracovat :).

[frdrx]

Desktop, notebook nebo dva, mobil, tablet, čtečku, to nemáš?

[Jendа]

Mám jeden notebook, který používám i jako desktop. Pak mám ještě starý notebook, který mám připravený jako náhradní pro případ odejití hlavního notebooku před deadline a zálohuju na něj stylem rsync / root@stary-notebook:/. Mobil mám dumbphone, na který je problém i syncnout kontakty, vysílačka umí nastavit kanály. Tablet ani čtečku nemám.

[frdrx]

Obdivuhodná skromnost, ale asi hodně zjednodušuje život.

[Jendа]

Spíš pro ta zařízení prostě nemám use-case. Nemám kdy a co dělat na tabletu nebo smartphone. (nápady?)

(k notebooku si samozřejmě vždy připojuji klávesnici, myš a externí monitor)

[frdrx]

Smartphone je prostě počítač do kapsy připojený k internetu. Používám ho mimo jiné pro maily, kalendář, při nákupech, pro offline mapy a jízdní řády, počasí a jako přenosné AP pro nouzový přístup k netu; občas taky jako foťák, diktafon, baterku aj. Nemusím tolik vytahovat počítač nebo k němu sedat. Tablet nemám a do budoucna počítám spíš s nějakým větším telefonem.

[Josef Kufner]

Smartphone je můj první telefon, u kterého mi funguje synchronizace kontaktů a hlavně kalendáře se serverem/PC. Docela často používám foťák jako zápisník (na focení to není). A ještě častěji používám blesk od foťáku (bílá LED) jako svítilnu. Dvě nejdůležitější aplikace jsou pak offline mapy a offline jízdní řády MHD. Jak tak nad tím přemýšlím... jako telefon to používám celkem málo.

[Jendа]

Hm, tak z uvedených by se mi hodil tak ten zápisník a lepší foťák (ten na mém dumbphone neumí čitelně vyfotit stránku textu). Na mapy mám navigaci, svítilnu mám ve vysílačce a MHD tu nejezdí.

[Obama]

Jendo, ty už nebydlíš v Praze nebo to s tím MHD má být jen rýpnutí do dopravního podniku? Telefon se zápisníkem si určitě pořiď, papírové sešity sice s naší satelitní sítí přečíst dokážeme, ale zpracování stojí spoustu výpočetního výkonu, který by se dal použít na falšování důkazů o použití sarinu v Sýrii...

[Jendа]

Jendo, ty už nebydlíš v Praze

Bydlím, ostatně v profilu mám napsaný lokátor.

nebo to s tím MHD má být jen rýpnutí do dopravního podniku?

Do kterého? ;)

Telefon se zápisníkem si určitě pořiď, papírové sešity sice s naší satelitní sítí přečíst dokážeme, ale zpracování stojí spoustu výpočetního výkonu, který by se dal použít na falšování důkazů o použití sarinu v Sýrii...

LOL

[b4aa9]

A co sync mezi web. službami na jednom PC? ;) Např.:

Predstav si situaci - objednavas jidlo na internetu, a chce to po tobe adresu. Ty tam das jenom tvoji url, a ten web si vyzada jednorazovy povoleni precist tvuj profil, konkretne adresu. Na mobilu ti vyskoci zadost o povoleni, potvrdis, a je to.

Co se tyce nastaveni na cizim PC, tam by to bylo vyuzitelny taky. Freedesktop.org by udelal nejaky standard pro nastaveni desktopu (keymap, wallpaper). Ten standard by definoval nazev slozky (freedosktop), vnistrni strukturu a pripadne opravneni. Kdyz by sis nainstaloval Gnome, zadal bys jenom url tveho cloudu, a Gnome by tam zacalo zapisovat nastaveni.

[Jendа]

A co sync mezi web. službami na jednom PC? ;) Např.:

OpenID

Co se tyce nastaveni na cizim PC, tam by to bylo vyuzitelny taky. Freedesktop.org by udelal nejaky standard pro nastaveni desktopu (keymap, wallpaper). Ten standard by definoval nazev slozky (freedosktop), vnistrni strukturu a pripadne opravneni. Kdyz by sis nainstaloval Gnome, zadal bys jenom url tveho cloudu, a Gnome by tam zacalo zapisovat nastaveni.

Myslel jsem mnohem víc jednorázové, ten systém už má nějaké prostředí [které s největší pravděpodobností nepoužívám]. Vlastně by mi stačil skript, který by mi nastavil tu keymapu a keypress-repeat, možná se ještě zeptal, jestli přidat klíč do authorized_keys :). Vlastně bych si to mohl napsat.

[b4aa9]

OpenID je dost omezeny, mozna to umi jmeno, prijmeni a pohlavi, ale RSS feedy co sleduju si tam neulozim. Takze kdyz jsem prechazel z Readeru jinam, musel jsem si stahnout XML a to uploadnout do vsech ctecek ktery jsem zkousel.

[manasekp]

Centralni misto pro moje data je muj pocitac pripadne server ktery ktery je kompletne pod moji kontrolou. Ukladat cokoliv nekam "do cloudu" odmitam, prestoze je to dneska moderni. Vyjimka je Gmail, k tomu bohuzel nemam alternativu, nedavno se to tu resilo.

[b4aa9]

Tenhle "cloud", teda spis jenom verejne pristupna slozka + autorizacni API by mohla byt pod tvoji kontrolou taky, klidne by sis mohl napsat vlastni implementaci.

[Jendа]

Ale provozovat vlastní cloudovou infrastrukturu, na to má podle mě peníze a čas málokdo. Ale byla by zajímavá výzva implementovat to kryptograficky tak, aby bylo bezpečné mít to i u někoho jiného.

Proč sakra tomu, o čem je zápisek, říkáte cloud, když to s cloudem nemá vůbec nic společného?!

[b4aa9]

Bud by to clovek mohl mit u nejakeho poskytovatele kteremu by veril, anebo by si mohl na vlastni server nainstalovat referencni implementaci.

Proč sakra tomu, o čem je zápisek, říkáte cloud, když to s cloudem nemá vůbec nic společného?!

Proc se sakra rozcilujete kvuli takovy blbosti :) Jak jsem psal, osobni cloud je trochu zavadejici titulek, ale s cloudem to ma spolecnyho to, ze vetsina uzivatelu by mela ty data u nejakyho poskytovatele v cloudu.

[Jendа]

Bud by to clovek mohl mit u nejakeho poskytovatele kteremu by veril, anebo by si mohl na vlastni server nainstalovat referencni implementaci.

Já jsem myslel něco jako že by to člověk měl u někoho, komu nevěří, ale nevadilo by to, protože by se tam ukládaly jenom bloky šifrovaných dat. Něco jako to má Tahoe-LAFS: do clusteru (moderně by se asi řeklo „do cloudu“ ) můžeš zapojit i nedůvěryhodné nody a je tam nejen ochrana, že node nemůže ke tvým datům (jsou šifrovaná), ale dokonce i že když několik nodů data ztratí nebo schválně změní, původní soubor se stále dopočítá (takový decentralizovaný RAID :).

Proč to chci mít u někoho, komu „nevěřím“? Osobně je pro mě docela problém (resp. je to drahé) natáhnout domů přípojku se slušným uploadem, nechat běžet počítač a ještě se o to starat - když mám VPS a shoří disk nebo zdroj, nejspíš nic nepoznám, protože poskytovatel můj stroj přemigruje na jiný fyzický server, nebo tam alespoň má týpka, který to vymění. Ale co když to je můj počítač doma a já jsem zrovna pryč?

[Josef Kufner]

Pokud definuješ "cloud == domácí server", tak je to v pohodě.

[manasekp]

ok tak to potom mam doma cloud, cool

[nikdo]

BTS: http://labs.bittorrent.com/experiments/sync.html (mimochodem, přes sync adresář mě napadlo, že by se dali i spravovat/monitorovat vzdálené počítače, proleze to NATem...)

[Dreit]

Pokud se služba (tumblr) nebrání zveřejnit svoje API, tak mi to zní jako fajn koncept. Osobně se mi víc líbí představa, že by všechny moje stroje byly rsync+ssh servery a mohly se synchronizovat přes tunel (n2n), od výměny fotek po synchronizaci bookmarků, WiFi hesel a podobně

[b4aa9]

Tumblr by zadne API mit nemusel, ale musel by se umet napojit na ten osobni "cloud" :)

[Josef Kufner]

Tak na to zapomeň. Veřejné API má spousta aplikací, ale integrovat to tvoje nebudou.

[b4aa9]

Jak jsem psal, je to jenom utopicka predstava. Nebylo by to zadne moje API, ale otevreny standard jako OpenID.

[Josef Kufner]

V té podobě jaké to máš to opravdu utopie je. Ale pokud bys to trošku překroutil, je to celkem realizovatelné a bylo by to i užitečné a hlavně funkční.

[b4aa9]

Pokud prekrucovat, tak tim zpusobem, ze ten koncept ktery jsem posal by se vubec nezmenil, ale postavily by se nad tim ruzny rozsireni. Napriklad CalDav rozsireni by poskytovalo CalDav API. Architektura by vypadala takhle:

[Osobni cloud / datove uloziste] <–> [CalDav rozsireni] <–> [CalDav klient]

[b4aa9]

Cili takovy docasny compatibility mode.

[Josef Kufner]

Úložiště neřeš. To ať si pořeší každá služba sama. Podstatné je mít metadata o tom, kde ta služba běží, co to je za službu (jaké klienty má připojující se zařízení použít) a jaké je k tomu heslo/OpenID/cokoliv. Ono pak ty služby nemusí být na jednom serveru, ani nemusí být od jednoho poskytovatele.

Na straně klienta to pak může být jedna aplikace, která se připojí k několika službám – například webmail, který potřebuje přístup ke schránce, ke kontaktům a k disku na ukládání příloh. A nebo to může být několik spolupracujících aplikací – například androidí telefon, kde kontakty a maily jsou samostatné aplikace.

[kolcon]

spoustu z toho umi egroupware...

[Bystroushaak]

Mě se to docela líbí. Taky s dropboxem srůstám víc, než je zdrávo :)

[b4aa9]

Diky ;)

[Ondra]

FreedomBox

[frdrx]

Měl někdo z vás někdy něco do činění s platformou Webinos?