Archivační souborový systém ScoutFS

Společnost ​Versity Software otevřela svůj archivační souborový systém ScoutFS. Zdrojové kódy jsou k dispozici na GitHubu (kernel space, user space) pod licencí GPLv2.

18.9.2018 02:22 | Ladislav Hagara | Zajímavý software

Komentáře

[debian+]

Je navrhovany pre velke mnozstvo ukladania suborov ...

[Peter Golis]

Pre malé objemy dát by nemalo význam vytvoriť niečo tak robustné.

Ale je pozitívne že to vie používať aj pásky na ukladanie dát, aspoň podľa popisu. Len by ma zaujímalo či to má v sebe management offloadu a verifikácie pások, poprípade aj s refreshom médií na modernejšie generácie. Objemová hustota a plánovaná životnosť sú bežné kritériá pre plánovanie archivačných technológií. Predsa len, v dnešnej dobe už môže byť problém udržiavať pri živote napríklad LTO1 ktoré bolo bežné pred približne 15 rokmi. A niektoré dáta majú zo zákona retenciu aj 20 rokov.

[Max]

Která data? Napadají mně jen smlouvy a ty je lepší uchovávat v papírové podobě.
Zdar Max

[citanus]

Smlouvy k obchodnim pripadum, ktere trvaji +20 let? Hypoteky, prodeje bytu apod

[Max]

To jsou všechno smlouvy, to už jsem psal.
Zdar Max

[citanus]

Ja myslel treba ucto k tem obchodnim pripadum, leasingum a tak. To se musi vsechno drzet..

[Käyttäjä 11133]

Medicínská data, mají mnohem delší retenci než 20 let Pokud teda zrovna není pacient těsně před smrtí.

[Max]

Pravdu díš, to by šlo.
Jinak já se ptal ze zajímavosti, né že bych byl nějakým odpůrcem.
Zdar Max

[Peter Golis]

Ani ten papier nevydrží toľko. Bielenie chlórom oslabuje celulózové vlákna. Bielenie kriedou zabezpečí že sa toner z lejzrovky odlepuje.

A chcel by som vidieť napríklad pozemkový úrad ako dáva výzvu každých pár rokov polovici národa lebo sa mu tie vytlačené a podpísané papiere rozpadajú.

[Max]

A jaká je životnost? My totiž většinu papírů archivujeme, tlačíme to na obyčejných tiskárnách a zatím to nevypadá, že by někam chtěly odejít. Schválně se zkusím někoho zeptat, zda by mi neukázal nějaký nejstarší kontejner, kam archivujeme dokumenty, abych zkouknul, v jakém jsou stavu.
Vzhledem k tomu, že naše firma dejchá už asi 26 let, tak nějaké vzorky staré 15 let by se našly.
Zdar Max

[Peter Golis]

Životnosť čoho? Mal som výpisy z účtu tlačené na traktorovom papieri, a tie držali.

[todul]

Konstrukční data. Jestli tam dokonce není zákonná lhůta ještě delší.

[Käyttäjä 11133]

Len by ma zaujímalo či to má v sebe management offloadu a verifikácie pások, poprípade aj s refreshom médií na modernejšie generácie.

To se dělá na aplikační úrovni, ne na úrovni souborového systému.

[Peter Golis]

Čiže to do toho FS nedali? Tssss ...

[Käyttäjä 11133]

To nevím, whitepaper jsem si zatím jenom stáhl, ale u všech archivačních filesystémů, které jsme nasazovali a pokus o něco podobného měli jsme tuto funkcionalitu stejně nepoužívali a raději si to zajistili na aplikační úrovni, nezapomeň, že musíš zajistit i konverzi typu datových souborů,... to za tebe ani archivační filesystém nezajistí, ideální je to mít implementované v DMSku současně s šifrováním, retencí klíčů,.. jasně kontrola konzistence je fajn, ale třeba "automatické" datové migrace bych nechtěl ani zadarmo.

[Peter Golis]

To ale hovoríš o Document Storrage Systéme, nie o archivačnom súborovom systéme.

[Käyttäjä 11133]

Ne nehovořím, Document Storage System jsem v životě neslyšel - při 11 letech praxe v oblasti ukládání dat. Mluvím o archivačních souborových systémech, které se používají jako storage backend pro doument management systémy.

[Peter Golis]

Čiže ste obchádzali funkcionalitu napfíklad LTFS a implementovali ste do súboro ého systému konverziu napríklad DOCX do PDF. To znie logicky. Prosím pokračuj.

[Käyttäjä 11133]

Nauč se číst; zcela jasně jsem psal, že document lifecycle management jsme implementovali na úrovni DMS ze zcela jasných důvodů - stejných jako proč se integrity verification a data migration také přenechala aplikační vrstvě.

[Peter Golis]

Áno, a tomu sa zvykne hovoriť Document Storage System. Jedným z komerčne dostupných implementácií bol napríklad iXOS.

[Käyttäjä 11133]

Nevím v jaké množině lidí se pohybuješ, ale já to při svých 11 letech v praxi s ukládáním dat nikdy neslyšel a Google taky ne, takže asi spíš bude pravda na mé straně, že se jedná o DMS . Nemám sice důkaz googlem rád, ale když se jedná o to jaký je pro něco obvyklý název, tak je to dle mého názoru jeden z nejlepších důkazních prostředků.

[Max]

Souhlasím s Markem, také jsem v životě neslyšel pojem "Document Storage System". Pro dlouhodobou archivaci a správu dokumentů se většinou používá právě zmiňované DMS, kde lze většinou definovat lifecycle dokumentu, lze pracovat s certifikáty, časovými razítky atd.
Zdar Max

[Peter Golis]

A porovnanie DMS s archivačným súborovým systémom ktorý je len jedným z množstva backendov je naozaj qeci.

[Max]

Jen pro upřesnění, "qveci" je "k věci"? Ptal jsem se kolegy Slováka, abych nebyl za hlupáka, ale prý je to jen nějaká samotvorba nějakého kreativce.
Zdar Max

[Peter Golis]

Nie, to qeci je z mimibazáru. Ten výraz mi pripadá viac ako vhodný pri diskusii s človekom ktorý si pletie archivačný systém s jedným z jeho storrage backendov.

[Käyttäjä 11133]

Fakt nevím, jaký výraz bych měl použít při diskusi s člověkem, který si vymýšlí neexistující termíny... Já si nic nepletu, pouze tvrdím, že pro některé funkcionality není u některých řešení prostor, protože se ve většině nasazení řeší na vyšších vrstvách.

[Peter Golis]

To, že danému termínu nerozumieš neznamená že ten termín neexistuje.

Mimochodom, vedel si Že IBM poskytovalo niečo podobné ako je tento FS, a poskytovali to ešte pred uvoľnením technických špecifikácií pre Linear Tape File System ktorý má podobné určenie ako tento ScoutFS? Ale vy ste radšej investovali do vlastného vývoja. Dúfam že sa oplatilo.

[Käyttäjä 11133]

To, že danému termínu nerozumieš neznamená že ten termín neexistuje.

Uveď alespoň jeden uznávaný zdroj, který tvou vymyšlený termín užívá

Ale vy ste radšej investovali do vlastného vývoja.

My jsme do žádného vlastního vývoje neinvestovali, používáme komerční řešení.

Dúfam že sa oplatilo.

Ano vyplatilo; we got enough money.

[Peter Golis]

To som rád, že sa to oplatilo. Komerčných riešení podobného zamerania sa totižto nájde habafúra. Či už komplexných riešení na archiváciu dokumentov, tak sa vyskytujú aj nejaké súborové systémy ktoré transparentne skomprimujú dáta na ktorá sa dlho nepozeralo, a po nejakej dobe ich sami odpracú na pásku.

[Käyttäjä 11133]

nejaké súborové systémy ktoré transparentne skomprimujú dáta na ktorá sa dlho nepozeralo, a po nejakej dobe ich sami odpracú na pásku.

Ano, a jmenuje se to HSM, stále čekám na ten zdroj termínu Document Storage System . Všeználku .

[Max]

Stále ale nechápu význam toho slova :-/. Můžeš k tomu hodit nějaký analogický příklad?
Zdar Max

[Peter Golis]

Význam ktorého slova? Nemému dieťaťu ani vlastná mať nerozumie.

[Max]

Ptal jsem se na "qveci" a stále mně to zajímá. Myslel jsem, že když jsem to jednou napsal, tak je to jasné a stačí prostě jen navázat.
Zdar Max

[Peter Golis]

Keby si si namiesto bezbrehého zamyslenia znova prečítal potvrdenie významu toho slova, tak by bolo všetko poriadku.

[Max]

Přečetl jsem to mnohokrát a nepochopil, proto jsem se zeptal na nějaký další/lepší příklad. Ale asi chci moc, nevadí.
Zdar Max

[Bherzet]

k věci, nebo po slovensky, k veci

[Max]

To jsem si myslel, ale Golis jasně do komentáře napsal, že to to neznamená. Tak nevím.
Zdar Max

[Bherzet]

Většina jeho komentářů nedává smysl, takže bych to moc neřešil.

[Peter Golis]

Neviem kde si takú vec čítal, ale v mojích príxpevkoch to nebolo. To bude dôvod prečo som použil slovník známy zo servera mimibazar.cz. Skrátka, aby ma porozumeli aj ľudia čo nechápu písaný text.

[Max]

Jen pro upřesnění, "qveci" je "k věci"?
Tvá odpověď :
Nie, to qeci je z mimibazáru.

Tak už nelži. Pak je tu ještě varianta, že kromě bujné fantazie máš problémy s vyjadřováním.
Zdar Max

[Peter Golis]

To nie sa vzťahovalo na "prý je to jen nějaká samotvorba nějakého kreativce". Toľko k tvojím problémom s pochopením súvislého textu, alias s mimibazár IQ.

[Max]

V tom komentáři jsem se ptal jasně, otazník byl u první věty, né u druhé. Pokud tedy neodpovídáš na jasný dotaz, ale na něco jiného, tak by jsi to měl upřesnit, což jsi udělal až nyní. Vypadá to tedy, že ten, kdo má problémy s pochopením psaného textu, asi nebudu já :).
Zdar Max

[Bherzet]

To nejsi, no.

[Peter Golis]

Tak Ti to napíšem v dlhšej vete. Možno to potom už pochopíš:

Nie je to samotvorba akéhosi kreatívca, to qeci je z mimibazáru.

[Max]

Evidentně se s tebou nedá vést žádná konstruktivní diskuse. Jasně jsem napsal, že už to chápu, jasně jsem identifikoval, kde nastal problém/nepochopení a i přes to odpovíš tak, jak jsi odpověděl. Ty si ze mně asi děláš srandu, jinak to není možný :D.
Zdar Max

[Peter Golis]

To je pravda. Konštruktívny dialóg sa nedá viesť s človekom ktorý si mýli systém s jeho jedným backendom z mnoha. Na túto tvoju mýlku som ťa neraz upozorňoval.

[Max]

Já jsem jen upozornil na to, že taktéž neznám termín "Document Storage System", jen termín DMS. Byl jsi Markem osočen, že jsi si tento termín vymyslel a byl jsi požádán o nějaký důkaz, že jsi tak neučinil. Pokud čtu dobře, tak jsi žádný důkaz (link na produkt, kde se tento termín používá) neposkytl a dál jsi se k tomu už nevyjadřoval.
Gratuluji, nechápeš větný skladby (=nerozumíš psanému textu), máš problémy s vyjadřováním a vymýšlíš si termíny. Problém nastal, když jsi narazil na člověka, který se podobnýma věcma zabývá ve velkých korporátech.
Myslím, že už není třeba nic dodávat, zesměšnění se dosáhlo maximální úrovně, ale samozřejmě je tu ještě možnost, že překvapíš a laťku ještě o něco zvedneš.
Zdar Max

[Peter Golis]

Spomínal som iXOS. Tú spoločnosť si už možno nájdeš sám, ale budeš musieť pozrieť aj mimo stránky mimibazar.cz.

[Max]

Můžeš dát přímý link na produkt, kde je zmíněn ten Document Storage System? Nacházím jen "IXOS Archiving tool" pro SAP, kde se píše, že jde o

"IXOS 6 Suite includes an integrated set of Content Management, Document Management, Business Process Management and archiving solutions that allows enterprises to successfully manage and leverage large volumes of disparate content within a single repository."

Tedy žádný Document Storage System, ale spíše jde o produkt DMS.
Jinak fakt nechápu, to s tou poznámkou ohledně mimibazaru. S tím jsi přišel ty, ty používáš termíny z mimibazaru, tak opravdu tu tvou poznámku nechápu, když je z komunikace evidentní, že na mimibazar nechodím.
Zdar Max

[Peter Golis]

Skús si to preložiť, možno porozumieš.

[Max]

Evidentně nechceš uvést zdroj svého tvrzení, ani jeden link, kde je termín zmíněn. Jednoduchá to věc, kterou nejsi schopen poskytnout. To vypovídá jen o jediné věci, vymýšlíš si a i když je to tak okatý, že to ani okatější už být nemůže, tak si stále stojíš za svým. Lol :)
K tomu mám už jen poslední věc, vrať se komunikovat na ten mimibazar, tam věřím, že ti tvé výmysly sežerou :D.
Zdar Max

[Peter Golis]

Ten zdroj som uviedol. Že si si to ty nevšimol, to je len tvoj problém. Ale prezraď mi ako by si riešil retenciu dokumentov bez storrage backendu o ktorom tvrdíš že to nemá?

[Max]

Celou dobu tu řešíme termín "Document Storage System", který jsi si vymyslel. Nikdo netvrdí, že neexistuje nějaký backend pro ukládání a archivaci.
Jde jen o to, že jsi byl požádán o důkaz, že termín "Document Storage System" skutečně existuje a nevymyslel jsi si ho. Zatím jsi neuvedl jediný zdroj, který by to potvrdil, nikde tento termín není uveden.
Zdar Max

[Peter Golis]

Neviem čo riešite vy osobne, ale mne to je už dávnejšie jedno. Ja riešim dlhodobú archiváciu.

[Max]

Já už neřeším nic, protože to, co jsi v tomto jednom threadu dokázal, jasně říká, že jakákoli diskuse je již zbytečná.
Zdar Max

[debian+]

Chcem vyskasat. Ale na debiane chyby, dam im to na git-hub. Vyvijali to na Fedora-like distre.

[Meghan McClelland]

Hi there, this is Meghan from Versity. Thanks for your interest in ScoutFS! ScoutFS is an in-kernel filesystem capable of extreme scale, storing both metadata and data. Our archiving engine, ScoutAM, is the application level piece that implements policy and completes archiving actions. https://www.versity.com/product-vsm has more information on how ScoutAM and ScoutFS are used together. Feel free to contact us for any questions!

Ahoj, tohle je Meghan od Versity. Děkujeme za váš zájem o ScoutFS! ScoutFS je souborový systém v jádře, který je schopen pracovat v extrémním měřítku a ukládá jak metadata, tak data. Náš archivační nástroj, ScoutAM, je součást aplikace, která implementuje zásady a provádí archivační akce. https://www.versity.com/product-vsm má více informací o tom, jak jsou ScoutAM a ScoutFS používány společně. Neváhejte nás kontaktovat na jakékoli dotazy!

[debian+]

zdroj?

[lazywriter]

Zdroj? Evidentně tlačítko "Vložit další komentář".

[Käyttäjä 11133]

Ale ta čeština je impresivní, žádný Google Translate .

[marbu]

Prolítl jsem ten whitepaper a pokud to chápu dobře, tak architekturou je to Clustered file system (jako je např. GFS2):

ScoutFS is deployed on a single node or multiple nodes which all have access to a consistent shared block device.

S tím, že se snaží mimojiné zaměřit na výkon při práci s vekým množstvím souborů (namespace capacity target of 1 trillion files) a podle toho navržené datové struktury a indexy.

Takže by to možná dávalo smysl provozovat to na jednom stroji, např. v případě, že je potřeba efektivně pracovat s velkým množstvím souborů, ale celkový objem dat by nepřekročil možnosti jednoho stroje. Z podobného důvodu asi porovnávají (ovšem bez nějakých větších detailů) výkon ScoutFS s XFS, i když XFS není clustered file system. Ale jeden stroj, jak si každý chápe, rozhodně není hlavní use case.

Když je to provozované v clusteru, tak jeden ze strojů plní Node Leader roli, a v případě, že tento zemře si cluster zvolí jiného. Takže single point of failure to nemá, ale není to 100% distribuované jako např. Gluster.

Další věc co z toho imho plyne je, že se to nedá přímo srovnávat (např. ve škálování a celkovém objemu dat) s distribuovanými storage systémy typu Ceph nebo HDFS.

I když zdá se naznačují, že pokud je třeba opravdu škálovat, dal by se ScoutFS provozovat nad Cephovým RDB nebo něčím podobným:

while the most ambitious sites can deploy on large software defined distributed block devices such as Ceph or virtual SAN file systems like ScaleIO, DataCore or others