abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
včera 17:02 | Pozvánky

Přijďte si popovídat o open source obecně a openSUSE konkrétně s dalšími uživateli a vývojáři. Oslava nového vydání openSUSE Leap se uskuteční 16. prosince od 17:00 v nových prostorách firmy SUSE v Praze. K dispozici bude nějaké občerstvení a DVD pro ty, kdo je sbírají nebo ještě mají mechaniku. Po párty v kanceláři se bude pokračovat v některé z hospod v okolí.

Miška | Komentářů: 7
včera 14:55 | Zajímavý software

Byla vydána verze Alpha 1.0 otevřeného operačního systému pro chytré hodinky AsteroidOS. Podporovány jsou hodinky LG G Watch, LG G Watch Urbane, Asus ZenWatch 2 a Sony Smartwatch 3. Ukázka ovládání hodinek na YouTube. Jaroslav Řezník přednášel o AsteroidOS na chytrých hodinkách (videozáznam) na letošní konferenci OpenAlt.

Ladislav Hagara | Komentářů: 0
včera 13:30 | Zajímavý software

Byly uvolněny zdrojové kódy známé rogue-like hry DoomRL. Počátky hry jsou v roce 2002. Je napsána ve FreePascalu a zdrojový kód je nyní k dispozici na GitHubu pod licencí GNU GPL 2.0. Autor pracuje na nové hře Jupiter Hell, která je moderním nástupcem DoomRL a na jejíž vývoj shání peníze prostřednictvím Kickstarteru.

Blaazen | Komentářů: 0
včera 13:15 | Pozvánky

Přijďte s námi oslavit vydání Fedory 25. Na programu budou přednášky o novinkách, diskuse, neřízený networking atd. Release Party se bude konat 16. prosince v prostorách společnosti Etnetera. Na party budou volně k dispozici také propagační materiály, nová DVD s Fedorou 25 a samozřejmě občerstvení. Přednášky budou probíhat v češtině. Pro více informací se můžete podívat na web MojeFedora.cz. Jen připomínám, že tentokrát jsme zavedli

… více »
frantisekz | Komentářů: 0
9.12. 16:38 | Komunita

Byly zveřejněny videozáznamy přednášek a workshopů z letošní konference OpenAlt konané 5. a 6. listopadu v Brně. K videozáznamům lze přistupovat ze stránky na SuperLectures nebo přes program konference, detaily o vybrané přednášce nebo workshopu a dále kliknutím na ikonku filmového pásu. Celkově bylo zpracováno 65 hodin z 89 přednášek a workshopů.

Ladislav Hagara | Komentářů: 0
9.12. 11:30 | Komunita

Bylo oznámeno, že bude proveden bezpečnostní audit zdrojových kódů open source softwaru pro implementaci virtuálních privátních sítí OpenVPN. Audit provede Matthew D. Green (blog), uznávaný kryptolog a profesor na Univerzitě Johnse Hopkinse. Auditována bude verze 2.4 (aktuálně RC 1, stabilní verze je 2.3.14). Audit bude financován společností Private Internet Access [reddit].

Ladislav Hagara | Komentářů: 4
9.12. 06:00 | Komunita

Na YouTube byl publikován Blender Institute Reel 2016, ani ne dvouminutový sestřih z filmů, které vznikly za posledních 10 let díky Blender Institutu. V institutu aktuálně pracují na novém filmu Agent 327. Dění kolem filmu lze sledovat na Blender Cloudu. Videoukázka Agenta 327 z června letošního roku na YouTube.

Ladislav Hagara | Komentářů: 0
9.12. 01:02 | Zajímavý článek

Minulý týden byly vydány verze 1.2.3 a 1.1.7 webového poštovního klienta Roundcube. V oznámení o vydání bylo zmíněno řešení bezpečnostního problému nalezeného společností RIPS a souvisejícího s voláním funkce mail() v PHP. Tento týden byly zveřejněny podrobnosti. Útočník mohl pomocí speciálně připraveného emailu spustit na serveru libovolný příkaz. Stejně, jak je popsáno v článku Exploit PHP’s mail() to get remote code execution z roku 2014.

Ladislav Hagara | Komentářů: 1
8.12. 16:00 | Nová verze

Byla vydána verze 0.98 svobodného nelineárního video editoru Pitivi. Z novinek lze zmínit například přizpůsobitelné klávesové zkratky. Videoukázka práce s nejnovější verzí Pitivi na YouTube.

Ladislav Hagara | Komentářů: 1
8.12. 15:00 | Zajímavý software

Stop motion je technika animace, při níž je reálný objekt mezi jednotlivými snímky ručně upravován a posouván o malé úseky, tak aby po spojení vyvolala animace dojem spojitosti. Jaký software lze pro stop motion použít na Linuxu? Článek na OMG! Ubuntu! představuje Heron Animation. Ten bohužel podporuje pouze webové kamery. Podpora digitálních zrcadlovek je začleněna například v programu qStopMotion.

Ladislav Hagara | Komentářů: 5
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (23%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 810 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Blesková duplikace souboru

1.1.2013 20:09 q
Blesková duplikace souboru
Přečteno: 504×
Hoj, chtěl bych se prosím pěkně zeptat, zdali by mi mohl někdo dát tip na filesystem, který by mi umožnil okamžitě udělat dočasnou kopii většího (třeba 1GB) souboru, pracovat s ním nezávisle na původním (do obou R/W) a pak ho smazat.

Modelová situace. Mám na vývojovém serveru soubor, který pravidelně synchronizuji s produkčním serverem - zapisuji si jen změny. Je dost velký. Jsou v něm data. Občas potřebuji na vývojovém vytvořit za účelem testování na čerstvých datech duplicitu tohoto souboru, což jelikož vývojový je pomalejší, chvilku trvá, než se to gigo přepíše z disku na disk. Někdy neúměrně tomu jak dlouho trvá otestování drobného detailu, na který jsou ale čerstvá data nezbytná.

No a já bych potřeboval aby při duplikaci se vytvořil soubor pouze virtuálně (ne fyzicky kopií bajtů z místa na místo), něco jako snapshot s tím, že by do obou šlo psát i z nich číst a chovaly navenek se oba jako nezávislé soubory. Data, která by byla zapsána do nového by byla zapsána do nového, data čtená z nového ale existující pouze virtuálně by byla čtena ze starého pokud se nezměnila, data ve starém, která se mají tendenci změnit by byla před změnou zapsána do nových souborů aby byly v nových k dispozici. Pak by měl takový filesystem mít něco na vytvoření reálného fyzicky zapsaného souboru z takového virtuálního - jakože udělat v tom výsledném zmatku pořádek.

Nevím jestli to někdo pochopí co hledám. Třeba jo:) A nebo se naučím programovat souborové systémy v userspace a naprogramuju si to sám :) Ovšem jestli je něco už hotového ... ? Ví někdo ?

Řešení dotazu:


Odpovědi

Max avatar 1.1.2013 20:21 Max | skóre: 64 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Blesková duplikace souboru
btrfs a rw snapshot?
Zdar Max
Měl jsem sen ... :(
1.1.2013 20:33 q
Rozbalit Rozbalit vše Re: Blesková duplikace souboru
dekuju, mrknu, vyzkousim.
2.1.2013 12:17 Andrej | skóre: 43 | blog: Republic of Mordor | Zürich
Rozbalit Rozbalit vše Re: Blesková duplikace souboru

Snapshot je pro jeden soubor kanón na vrabce. Stačí cp --reflink.

ǑǦŹǓǕǙǞǺǨȞȬḔḦḰḾṊṎṸẄẌỖ
2.1.2013 13:33 dustin | skóre: 60 | blog: dustin
Rozbalit Rozbalit vše Re: Blesková duplikace souboru
Hezké, díky za tip
1.1.2013 21:16 hrusak
Rozbalit Rozbalit vše Re: Blesková duplikace souboru
a musí to být rovnou filesystem? Já bych tohle asi řešil gitem.
2.1.2013 08:28 dusan
Rozbalit Rozbalit vše Re: Blesková duplikace souboru
Ak jediný nástroj ktorý máš k dispozícii je kladivo, všetko vyzerá ako kliniec.
2.1.2013 14:33 Franta
Rozbalit Rozbalit vše Re: Blesková duplikace souboru
+1 :-D
pepe_ avatar 1.1.2013 21:38 pepe_ | skóre: 46
Rozbalit Rozbalit vše Re: Blesková duplikace souboru

A co soubor nakopírovat do ramdisku , vytvořit jeho link kde má bejt a pak zase do ramdisku dělat kopie ?

na 32Gb ram to jistě nebude problém a rychlost je jinde ...

pepe_ avatar 2.1.2013 12:48 pepe_ | skóre: 46
Rozbalit Rozbalit vše Re: Blesková duplikace souboru

Jen test , vytvořil sem 8GB ramdisk v /tmp

pepe@PC-Pepe-Linux:/tmp$ dd if=/dev/zero of=soubor bs=1024 count=1000000
1000000+0 vstoupivších záznamů
1000000+0 vystoupivších záznamů
1 024 000 000 bajtů (1,0 GB) zkopírováno, 1,70849 s, 599 MB/s
pepe@PC-Pepe-Linux:/tmp$ time cp soubor soubor.bak

real    0m0.649s
user    0m0.006s
sys     0m0.619s
pepe@PC-Pepe-Linux:/tmp$ ls so* -l
-rw-rw-r-- 1 pepe pepe 1024000000 led  2 12:46 soubor
-rw-rw-r-- 1 pepe pepe 1024000000 led  2 12:46 soubor.bak

takže nevidim důvod patlat se se snapshoty .

2.1.2013 13:02 Andrej | skóre: 43 | blog: Republic of Mordor | Zürich
Rozbalit Rozbalit vše Re: Blesková duplikace souboru

Já tedy důvod rozhodně vidím. Kdyby se soubor a soubor.bak lišily například v jednom bloku, je lepší mít obsazenou kapacitu v rozsahu velikost souboru plus jeden blok než dvakrát velikost souboru. Kromě toho žádný opravdový snapshot není potřeba, u Btrfs stačí cp --reflink.

Většinou není nutné ramdisk vytvářet takto explicitně, protože při dostatečně velké RAM se beztak používá disková cache a na disk se zapisuje až s relativně velkým zpožděním. Použití standardního filesystému tedy nemusí být až tak nevýhodné. Naopak jeho velkou výhodou je, že má člověk o něco menší šanci přijít o data.

Já používám cp --reflink zejména pro třídění fotek. Stáhnu například 10 GB fotografií a videa rovnou ze zrcadlovky. Zkopíruju pak příslušný adresář pomocí cp --reflink, což je hotovo z lidského hlediska „okamžitě“. Pak můžu v kopii libovolně mazat (což je nejčastější operace), zkracovat, editovat, upravovat a tak podobně, aniž bych potřeboval kopírovat velký objem dat naráz.

ǑǦŹǓǕǙǞǺǨȞȬḔḦḰḾṊṎṸẄẌỖ
2.1.2013 09:53 Ivan
Rozbalit Rozbalit vše Re: Blesková duplikace souboru
NTFS, VxFS

2.1.2013 12:14 Andrej | skóre: 43 | blog: Republic of Mordor | Zürich
Rozbalit Rozbalit vše Re: Blesková duplikace souboru

NTFS nemá přímý ekvivalent toho, co dělá cp --reflink na Btrfs. Navíc není úplně jasné, jaký smysl má v rubrice „linuxová poradna“ zmínka o jakémsi obskurním filesystému, který tazatelem požadovanou funkčnost vůbec nenabízí.

ǑǦŹǓǕǙǞǺǨȞȬḔḦḰḾṊṎṸẄẌỖ
2.1.2013 11:52 Andrej | skóre: 43 | blog: Republic of Mordor | Zürich
Rozbalit Rozbalit vše Re: Blesková duplikace souboru

cp --reflink je příkaz, který hledáš. Funguje například na Btrfs. Druhou možností je vytvořit si subvolume a z něj pak snapshoty (také na Btrfs), ale jde-li jen o jeden soubor, pak nejspíš cp rulezzz.

ǑǦŹǓǕǙǞǺǨȞȬḔḦḰḾṊṎṸẄẌỖ
2.1.2013 12:04 Andrej | skóre: 43 | blog: Republic of Mordor | Zürich
Rozbalit Rozbalit vše Re: Blesková duplikace souboru

Ještě bych doplnil, že Copy-on-Write udělá soubor, který vypadá po všech stránkách naprosto „reálně“ a není na něm vůbec nic „virtuálního“. Není tedy absolutně žádný důvod ho po úpravách nějak explicitně znovu kopírovat a konvertovat. Prostě některé bloky můžou zůstat sdílené mezi soubory a některé (ty pozměněné) třeba zase sdílené nebudou. Na tom není nic špatně a je to úplně normální stav. ZFS a Btrfs jsou filesystémy, které něco takového podporují.

Například ZFS dokonce podporuje deduplikaci, tedy automaticky vyhledává bloky, které jsou v několika souborech stejné, a zajistí jejich sdílení, aby byly na disku jen jednou.

Při použití CoW samozřejmě nemusí platit, že by součet velikostí souborů musel být menší nebo roven celkovému obsazenému prostoru. (Ale komu to vadí?)

Kdybys chtěl za každou cenu zkopírovat soubor bez Copy-on-Write a obsadit si tak zbytečně místo na disku duplicitními daty, stačí použít cp be --reflink.

ǑǦŹǓǕǙǞǺǨȞȬḔḦḰḾṊṎṸẄẌỖ
2.1.2013 12:19 Andrej | skóre: 43 | blog: Republic of Mordor | Zürich
Rozbalit Rozbalit vše Re: Blesková duplikace souboru

s/cp be --reflink/cp bez --reflink/

ǑǦŹǓǕǙǞǺǨȞȬḔḦḰḾṊṎṸẄẌỖ

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.