abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 00:22 | Nová verze

Po třech a půl letech od vydání verze 016 byla vydána nová verze 017 alternativní linuxové distribuce GoboLinux. Podrobnosti v představení nové verze a v poznámkách k vydání. GoboLinux nedodržuje standardní hierarchii souborového systému (FHS), nýbrž jsou jednotlivé programy instalovány do vlastních adresářů.

Ladislav Hagara | Komentářů: 0
včera 16:22 | Nová verze

Byla vydána nová major verze 6.0 multiplatformní digitální pracovní stanice pro práci s audiem (DAW) Ardour. Přehled novinek i s náhledy v oficiálním oznámení.

Ladislav Hagara | Komentářů: 0
včera 11:11 | Zajímavý projekt

Sxmo aneb Simple X Mobile je uživatelské rozhraní pro mobilní telefon PinePhone vycházející z projektu suckless aneb "softwaru, který štve méně". Využívá dlaždicového správce oken dwm, dynamické menu dmenu, emulátor terminálu st nebo webový prohlížeč surf. Videoukázky.

Ladislav Hagara | Komentářů: 11
včera 08:00 | Nová verze

Krita, tj. svobodný program pro skicování, malování a úpravu obrázků, je nově k dispozici (Google Play) také pro operační systémy Android a ChromeOS. Zatím se jedná o beta verzi.

Ladislav Hagara | Komentářů: 1
včera 02:00 | Komunita

Roy Schestowitz se na blogu Techrights dlouhodobě zabývá kauzami Microsoftu souvisejícími s open source a Linuxem. V současné době upozorňuje na četnost článků o Microsoftu v sekci Linux na webu ZDNet nebo že web Softpedia opustil Marius Nestor, který psal o linuxových novinkách, a příslušnou sekci po něm převzal „Microsoft Editor“ Bogdan Popa. Připomíná také dřívější podobné případy.

Fluttershy, yay! | Komentářů: 7
23.5. 09:00 | Nová verze

Po dvou letech od vydání verze 2.94 byla vydána nová major verze 3.00 multiplatformního BitTorrent klienta Transmission (Wikipedie). Přehled novinek na GitHubu. Zdůraznit lze například vylepšenou podporu IPv6.

Ladislav Hagara | Komentářů: 7
23.5. 07:00 | Nová verze

Byla vydána nová verze 13.0 softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech GitLab (Wikipedie). Představení nových vlastností i s náhledy v příspěvku na blogu.

Ladislav Hagara | Komentářů: 0
23.5. 02:44 | Zajímavý článek

Článek Backstabber's Knife Collection: A Review of Open Source Software Supply Chain Attacks analyzuje celkem 174 útoků v podobě zákeřných balíčků v repozitářích balíčkovacích systémů npm, PyPI a RubyGems.

Fluttershy, yay! | Komentářů: 0
22.5. 08:00 | IT novinky

Programovací jazyk Java slaví 25 let. Představen byl 23. května 1995. Ve středu proběhla online párty. Na sociálních sítích běží kampaň #MovedbyJava. Příští týden se bude vybírat (pdf) to nejlepší z JDK.

Ladislav Hagara | Komentářů: 5
22.5. 07:00 | Zajímavý software

V září 2018 Microsoft zveřejnil na GitHubu zdrojové kódy verzí 1.25 a 2.0 operačního systému MS-DOS. Včera zveřejnil na GitHubu zdrojové kódy s MS-DOSem dodávaného programovacího jazyka GW-BASIC. K dispozici jsou pod licencí MIT.

Ladislav Hagara | Komentářů: 8
Kdy přecházíte na nové vydání distribuce/OS?
 (13%)
 (12%)
 (23%)
 (7%)
 (4%)
 (41%)
Celkem 300 hlasů
 Komentářů: 0
Rozcestník

Zamyšlení se nad zálohováním každoměsíčního přívalu dat.

19.11.2014 14:20 | Přečteno: 1051× | Obecné | poslední úprava: 19.11.2014 14:16

Zamyšlení se nad zálohováním obrovského měsíčního přísunu dat. Jedná se za prvé o textová data vstupní s objemem 150-160GB nekomprimovanych (23-25GB komprimovaných slabou zip kompresí ) plus textová data zpracovaná, cca 159GB nekomprimovaná (8GB komprimovaná 7zip) plus databázové soubory z nich vytvořené grafická 65GB spi 85GB nekomprimovaná (spi 10GB grafická 13GB komprimovaná 7zip). U těchto dat nepředpokládá žádná retence. V případě problému je potřeba umožnit návrat x let nazpět. V současnosti se zálohují na DVD či BlueRay disky.

Dále se jedná o zálohy fyzických (Bare Metal) a virtuálních serverů (export Hyper-V nebo KVM LVM partition) celkem nekomprimováno asi cca 250 +140GB nekomprimováno. V současné době se komprimuje každý stroj zvlášť. Přičemž u zálohy strojů se předpokládá minimálně tří-čtyž měsíční retence.

Napadají mě pouze tyto cesty: Co byste radili vy? Máte tip jak se efektivně vypořádat s takovým přivalem dat? Nebo zůstat u původního zálohování na DVD + BlueRAY a síťová úložiště?        

Hodnocení: 100 %

        špatnédobré        

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

Max avatar 19.11.2014 15:26 Max | skóre: 68 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
Řeším něco podobného. Jednak failover/ha a jednak zálohování s minimálním rollbackem dat.
Zatím jsem narazil na tyto možnosti :
1) ESXi replication + SRM (v intervalech se odkopírovává živá VM na vzdálený ESXi hypervisor + se snapshotuje a celé je to zautomatizováno pomocí vmware SRM)
2) ESXi + premium kit licence + 3rdparty řešení (např. veam backup, tivoli, double take apod.)
3) XenServer pool migration/replication (mělo by to být něco jako to ESXi replication)
4) KVM + drbd + lvm/btrfs snapshoty (replikace dat téměř v reálném čase v rámci drbd + následně snapshot v nějakých intervalech)

ESXi by mělo zaručovat 100% konzistenci dat. 3rd produkty s ESXi taktéž zaručují 100% konzistenci dat. XenServer replication, tak tam nevím, zda to zajišťuje.
Pokud jde o drbd, tak tam nelze zajistit 100% konzistenci dat, stejně tak jí nelze zajistit u LVM/btrfs snapshotů (měl by to být stejný případ, jako kdyby došlo k vytažení PC z napájení). Ale na druhou stranu, vše by mělo přežít vytržení PC z napájení (jak file systém, tak transakční db).

Pokud jde o db, tak provozujeme Oracle, tam se dlouhodobý backup řeší jednak exportem db, alé také standby db + zálohou transakčních logů.
Vše se ukládá na backup storage v hodně krátkých intervalech po dobu dvou let. Vše starší se pálí v podobě exportu db na blue ray, ale s větším odstupem času (je zbytečné pálit/udržovat export db proběhlý 2x denně, drží se tak třeba 4x měsíční backup).
Zdar Max
Měl jsem sen ... :(
gtz avatar 19.11.2014 17:47 gtz | skóre: 27 | blog: merlins | Brno - Venkov / Rosicko
Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
Uvažoval bych o nějaké pásce LTO4/LTO5 v provedení SAS/FC. Kapacita pro zálohy se mi zdá v pohodě, ale pak se musíte zamyslet nad tím jak se ty data mění. Tyto mechaniky jsou ideální pro přírůstkové zálohy kdy se dá celkem sofistikovaně udělat rotace záloh. Pokud by se nemuselo médium schovávat a šlo by přepsat plnou zálohou dalšího týdne pak by to bylo snad v pořádku.
- nejhorší jsou trpaslíci ... Ti Vám vlezou úplně všude
Jendа avatar 19.11.2014 20:10 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
U virtuálů neexportovat obrazy FS, ale zálohovat soubory třeba pomocí rdiff-backup.

Kompresi umí ZFS a btrfs.
Josef Kufner avatar 21.11.2014 13:20 Josef Kufner | skóre: 69
Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
rdiff-backup je velmi velmi pomalý při přístupu k starším datům. Osvědčil se mi více rsnapshot, který stojí na rsyncu a jeho deduplikaci pomocí vytváření hardlinků. Ale nejsem si jist, co to udělá s objemem dat větším než je záloha pár notebooků na domácí server.
Hello world ! Segmentation fault (core dumped)
21.11.2014 17:47 volvox | skóre: 16
Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
Používal jsem rsnapshot, potom rdiff-backup a nakonec skončil u obnam. U předchozích jsem se stále narážel na výkonostní limity a komplikovanou konfiguraci. Zálohuju s tím milióny souborů v řádu několika TB. Je to rychlejší (min. o řád v mém use case), jednotlivé zalohy lze namountovat, deduplikuje...
Josef Kufner avatar 23.11.2014 16:48 Josef Kufner | skóre: 69
Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
Velkou výhodou rsnapshotu je, že všechny zálohy jsou kdykoliv k dispozici bez použití jakéhokoliv dalšího nástroje. Obnova omylem smazaného/poškozeného souboru je jen o připojení se na server a vlezení do odpovídajícího adresáře.

Co jsem tak kouknul na obnam, prý má/měl problémy s výkonem. Je to už nějak vyřešené?
Hello world ! Segmentation fault (core dumped)
21.11.2014 19:39 VSi | skóre: 28
Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
Používám disrvish, což je stejný princip jako rsnapshot. Největší zálohovaný FS má 420 GB a 2.7 milionu souborů. Zpětně držíme kolem 100 záloh, žádný problém. Jen mazání takového množství souborů na ext4 je dost pomalé. Záloha trvá asi 2 hodiny při změně cca 5 GB, cíl je mdadm RAID6 z 8 2TB SATA disků, zdroj podstatně rychlejší SAS pole s XFS. Zásadní problém jsou xattr (kvůli samba DOSATTRIB), jejich záloha přes rsync prodlužuje čas na víc než 5 násobek.
Dreit avatar 19.11.2014 20:35 Dreit | skóre: 15 | blog: Dreit a jeho dračí postřehy | Královehradecký kraj
Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.

K páskám - http://jetset.blog.root.cz/2011/06/27/datchanger/ - třeba by poradil, nějakou zkušenost očividně má

Nope
19.11.2014 23:26 Xerces
Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
Pane jo 150GB vstupních dat. To je výkonnost jak u nějaký nadnárodní korporace.
Jendа avatar 19.11.2014 23:27 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
Tak když sniffuješ mailový provoz středně velkého ISP…
JiK avatar 20.11.2014 17:07 JiK | skóre: 8 | blog: Jirkoviny | Virginia
Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
o Amazon Glacier jsi slysel? za par drobnejch bys vyresil sve zalohy.
20.11.2014 20:09 majales
Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
Ahoj. Online záloha nepadá v úvahu. Máme uplink 4Mbit a v nejbližší době se nechystá žádný upgrade a linka slouží na servírování služeb zákazníkům. U vstupních dat se jedná o data katastru, vypočítaný komprimovaný rozdíl (rdiff-backup) mezi měsíčními výdeji je v řádu jednotek až několika desítek GB. ZFS se bojím, respektive bojím se deduplikace s její paměťovou náročností, ale pokud to bude schůdná cesta tak bych se vydal asi tudy.
23.11.2014 08:59 odin
Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
+1

Nechapu, proc se v dobe cloudu za par korun resi nejaka handmade reseni, ktera stejne nikdy nebudou poradne fungovat.
Josef Kufner avatar 23.11.2014 16:31 Josef Kufner | skóre: 69
Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
Třeba proto, že svá data nechci dávat nějaké nedůvěryhodné firmě z druhého konce světa.
Hello world ! Segmentation fault (core dumped)
24.11.2014 21:30 Odin
Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
Sifrovani?

Ale mate pravdu, od toho bugu v openssl uz tomu moc neverim ;-)
Jendа avatar 24.11.2014 23:43 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
Sifrovani?
To je snad samozřejmost. Spíš jde o to, že se prostě rozhodnou, že už je to nebaví, a co se s tím pak dá dělat.
25.11.2014 00:15 Aleš Kapica | skóre: 49 | blog: kenyho_stesky | Ostrava
Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
Tohle je bohužel argument, který u řady lidí přesahuje jejich schopnosti pro vnímání času. Většina má problém si vůbec představit co bude za pět let.

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.