abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 11:33 | IT novinky

    Evropská komise (EK) navrhuje zavést plošný poplatek ve výši dvou eur (zhruba 50 Kč) za každý malý balík vstupující do Evropské unie. Poplatek se má týkat balíků v hodnotě do 150 eur (zhruba 3700 Kč), které v EU nepodléhají clu. V loňském roce bylo do EU doručeno kolem 4,6 miliardy takovýchto balíků. Poplatek má krýt náklady na kontroly rostoucího počtu zásilek levného zboží, které pochází především z Číny.

    Ladislav Hagara | Komentářů: 0
    včera 18:11 | IT novinky

    Dnes a zítra probíhá vývojářská konference Google I/O 2025. Sledovat lze na YouTube a na síti 𝕏 (#GoogleIO).

    Ladislav Hagara | Komentářů: 0
    včera 15:22 | Komunita

    V Bostonu probíhá konference Red Hat Summit 2025. Vybrané přednášky lze sledovat na YouTube. Dění lze sledovat na síti 𝕏 (#RHSummit).

    Ladislav Hagara | Komentářů: 0
    včera 15:00 | Nová verze

    Společnost Red Hat oficiálně oznámila vydání Red Hat Enterprise Linuxu 10. Vedle nových vlastností přináší také aktualizaci ovladačů a předběžné ukázky budoucích technologií. Podrobnosti v poznámkách k vydání.

    Ladislav Hagara | Komentářů: 4
    včera 12:22 | Pozvánky

    Tuto sobotu 24. května se koná historicky první komunitní den projektu Home Assistant. Zváni jsou všichni příznivci, nadšenci a uživatelé tohoto projektu. Pro účast je potřebná registrace. Odkazy na akce v Praze a v Bratislavě.

    jose17 | Komentářů: 0
    včera 04:44 | IT novinky

    Troy Hunt představil Have I Been Pwned 2.0, tj. nový vylepšený web služby, kde si uživatelé mohou zkontrolovat, zda se jejich hesla a osobní údaje neobjevily v únicích dat a případně se nechat na další úniky upozorňovat.

    Ladislav Hagara | Komentářů: 16
    19.5. 23:22 | Zajímavý software

    Microsoft představil open source textový editor Edit bežící v terminálu. Zdrojové kódy jsou k dispozici na GitHubu pod licencí MIT.

    Ladislav Hagara | Komentářů: 8
    19.5. 22:22 | Zajímavý software

    V Seattlu a také online probíhá konference Microsoft Build 2025. Microsoft představuje své novinky. Windows Subsystem for Linux je nově open source. Zdrojové kódy jsou k dispozici na GitHubu pod licencí MIT.

    Ladislav Hagara | Komentářů: 1
    19.5. 13:11 | Zajímavý článek

    Z příspěvku Turris Sentinel – co přinesl rok 2024 na blogu CZ.NIC: "Za poslední rok (únor 2024 – únor 2025) jsme zachytili 8,3 miliardy incidentů a to z 232 zemí a z jejich závislých území. Tyto útoky přišly od 6,2 milionu útočníků (respektive unikátních adres). SMTP minipot je stále nejlákavější pastí, zhruba 79 % útoků bylo směřováno na tento minipot, 16 % útoků směřovalo na minipot Telnet, 3 % útoků směřovaly na minipot HTTP a 2 % na minipot FTP. Dále jsme zaznamenali 3,2 milionu unikátních hesel a 318 tisíc unikátních loginů, které útočníci zkoušeli."

    Ladislav Hagara | Komentářů: 1
    19.5. 12:44 | Nová verze

    Byla vydána (Mastodon, 𝕏) nová verze 3.0.4 svobodné aplikace pro úpravu a vytváření rastrové grafiky GIMP (GNU Image Manipulation Program). Přehled novinek v oznámení o vydání a v souboru NEWS na GitLabu. Nový GIMP je již k dispozici také na Flathubu.

    Ladislav Hagara | Komentářů: 0
    Jaký je váš oblíbený skriptovací jazyk?
     (62%)
     (23%)
     (8%)
     (2%)
     (0%)
     (0%)
     (6%)
    Celkem 52 hlasů
     Komentářů: 5, poslední včera 20:57
    Rozcestník

    Zamyšlení se nad zálohováním každoměsíčního přívalu dat.

    19.11.2014 14:20 | Přečteno: 1183× | Obecné | poslední úprava: 19.11.2014 14:16

    Zamyšlení se nad zálohováním obrovského měsíčního přísunu dat. Jedná se za prvé o textová data vstupní s objemem 150-160GB nekomprimovanych (23-25GB komprimovaných slabou zip kompresí ) plus textová data zpracovaná, cca 159GB nekomprimovaná (8GB komprimovaná 7zip) plus databázové soubory z nich vytvořené grafická 65GB spi 85GB nekomprimovaná (spi 10GB grafická 13GB komprimovaná 7zip). U těchto dat nepředpokládá žádná retence. V případě problému je potřeba umožnit návrat x let nazpět. V současnosti se zálohují na DVD či BlueRay disky.

    Dále se jedná o zálohy fyzických (Bare Metal) a virtuálních serverů (export Hyper-V nebo KVM LVM partition) celkem nekomprimováno asi cca 250 +140GB nekomprimováno. V současné době se komprimuje každý stroj zvlášť. Přičemž u zálohy strojů se předpokládá minimálně tří-čtyž měsíční retence.

    Napadají mě pouze tyto cesty: Co byste radili vy? Máte tip jak se efektivně vypořádat s takovým přivalem dat? Nebo zůstat u původního zálohování na DVD + BlueRAY a síťová úložiště?        

    Hodnocení: 100 %

            špatnédobré        

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    Max avatar 19.11.2014 15:26 Max | skóre: 72 | blog: Max_Devaine
    Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
    Řeším něco podobného. Jednak failover/ha a jednak zálohování s minimálním rollbackem dat.
    Zatím jsem narazil na tyto možnosti :
    1) ESXi replication + SRM (v intervalech se odkopírovává živá VM na vzdálený ESXi hypervisor + se snapshotuje a celé je to zautomatizováno pomocí vmware SRM)
    2) ESXi + premium kit licence + 3rdparty řešení (např. veam backup, tivoli, double take apod.)
    3) XenServer pool migration/replication (mělo by to být něco jako to ESXi replication)
    4) KVM + drbd + lvm/btrfs snapshoty (replikace dat téměř v reálném čase v rámci drbd + následně snapshot v nějakých intervalech)

    ESXi by mělo zaručovat 100% konzistenci dat. 3rd produkty s ESXi taktéž zaručují 100% konzistenci dat. XenServer replication, tak tam nevím, zda to zajišťuje.
    Pokud jde o drbd, tak tam nelze zajistit 100% konzistenci dat, stejně tak jí nelze zajistit u LVM/btrfs snapshotů (měl by to být stejný případ, jako kdyby došlo k vytažení PC z napájení). Ale na druhou stranu, vše by mělo přežít vytržení PC z napájení (jak file systém, tak transakční db).

    Pokud jde o db, tak provozujeme Oracle, tam se dlouhodobý backup řeší jednak exportem db, alé také standby db + zálohou transakčních logů.
    Vše se ukládá na backup storage v hodně krátkých intervalech po dobu dvou let. Vše starší se pálí v podobě exportu db na blue ray, ale s větším odstupem času (je zbytečné pálit/udržovat export db proběhlý 2x denně, drží se tak třeba 4x měsíční backup).
    Zdar Max
    Měl jsem sen ... :(
    gtz avatar 19.11.2014 17:47 gtz | skóre: 27 | blog: gtz | Brno
    Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
    Uvažoval bych o nějaké pásce LTO4/LTO5 v provedení SAS/FC. Kapacita pro zálohy se mi zdá v pohodě, ale pak se musíte zamyslet nad tím jak se ty data mění. Tyto mechaniky jsou ideální pro přírůstkové zálohy kdy se dá celkem sofistikovaně udělat rotace záloh. Pokud by se nemuselo médium schovávat a šlo by přepsat plnou zálohou dalšího týdne pak by to bylo snad v pořádku.
    - nejhorší jsou trpaslíci ... Ti Vám vlezou úplně všude
    Jendа avatar 19.11.2014 20:10 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
    U virtuálů neexportovat obrazy FS, ale zálohovat soubory třeba pomocí rdiff-backup.

    Kompresi umí ZFS a btrfs.
    Josef Kufner avatar 21.11.2014 13:20 Josef Kufner | skóre: 70
    Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
    rdiff-backup je velmi velmi pomalý při přístupu k starším datům. Osvědčil se mi více rsnapshot, který stojí na rsyncu a jeho deduplikaci pomocí vytváření hardlinků. Ale nejsem si jist, co to udělá s objemem dat větším než je záloha pár notebooků na domácí server.
    Hello world ! Segmentation fault (core dumped)
    21.11.2014 17:47 volvox | skóre: 16
    Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
    Používal jsem rsnapshot, potom rdiff-backup a nakonec skončil u obnam. U předchozích jsem se stále narážel na výkonostní limity a komplikovanou konfiguraci. Zálohuju s tím milióny souborů v řádu několika TB. Je to rychlejší (min. o řád v mém use case), jednotlivé zalohy lze namountovat, deduplikuje...
    Josef Kufner avatar 23.11.2014 16:48 Josef Kufner | skóre: 70
    Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
    Velkou výhodou rsnapshotu je, že všechny zálohy jsou kdykoliv k dispozici bez použití jakéhokoliv dalšího nástroje. Obnova omylem smazaného/poškozeného souboru je jen o připojení se na server a vlezení do odpovídajícího adresáře.

    Co jsem tak kouknul na obnam, prý má/měl problémy s výkonem. Je to už nějak vyřešené?
    Hello world ! Segmentation fault (core dumped)
    21.11.2014 19:39 VSi | skóre: 28
    Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
    Používám disrvish, což je stejný princip jako rsnapshot. Největší zálohovaný FS má 420 GB a 2.7 milionu souborů. Zpětně držíme kolem 100 záloh, žádný problém. Jen mazání takového množství souborů na ext4 je dost pomalé. Záloha trvá asi 2 hodiny při změně cca 5 GB, cíl je mdadm RAID6 z 8 2TB SATA disků, zdroj podstatně rychlejší SAS pole s XFS. Zásadní problém jsou xattr (kvůli samba DOSATTRIB), jejich záloha přes rsync prodlužuje čas na víc než 5 násobek.
    Dreit avatar 19.11.2014 20:35 Dreit | skóre: 15 | blog: Dreit a jeho dračí postřehy | Královehradecký kraj
    Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.

    K páskám - http://jetset.blog.root.cz/2011/06/27/datchanger/ - třeba by poradil, nějakou zkušenost očividně má

    Nope
    19.11.2014 23:26 Xerces
    Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
    Pane jo 150GB vstupních dat. To je výkonnost jak u nějaký nadnárodní korporace.
    Jendа avatar 19.11.2014 23:27 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
    Tak když sniffuješ mailový provoz středně velkého ISP…
    JiK avatar 20.11.2014 17:07 JiK | skóre: 13 | blog: Jirkoviny | Virginia
    Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
    o Amazon Glacier jsi slysel? za par drobnejch bys vyresil sve zalohy.
    20.11.2014 20:09 majales
    Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
    Ahoj. Online záloha nepadá v úvahu. Máme uplink 4Mbit a v nejbližší době se nechystá žádný upgrade a linka slouží na servírování služeb zákazníkům. U vstupních dat se jedná o data katastru, vypočítaný komprimovaný rozdíl (rdiff-backup) mezi měsíčními výdeji je v řádu jednotek až několika desítek GB. ZFS se bojím, respektive bojím se deduplikace s její paměťovou náročností, ale pokud to bude schůdná cesta tak bych se vydal asi tudy.
    23.11.2014 08:59 odin
    Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
    +1

    Nechapu, proc se v dobe cloudu za par korun resi nejaka handmade reseni, ktera stejne nikdy nebudou poradne fungovat.
    Josef Kufner avatar 23.11.2014 16:31 Josef Kufner | skóre: 70
    Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
    Třeba proto, že svá data nechci dávat nějaké nedůvěryhodné firmě z druhého konce světa.
    Hello world ! Segmentation fault (core dumped)
    24.11.2014 21:30 Odin
    Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
    Sifrovani?

    Ale mate pravdu, od toho bugu v openssl uz tomu moc neverim ;-)
    Jendа avatar 24.11.2014 23:43 Jendа | skóre: 78 | blog: Jenda | JO70FB
    Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
    Sifrovani?
    To je snad samozřejmost. Spíš jde o to, že se prostě rozhodnou, že už je to nebaví, a co se s tím pak dá dělat.
    25.11.2014 00:15 Aleš Kapica | skóre: 52 | blog: kenyho_stesky | Ostrava
    Rozbalit Rozbalit vše Re: Zamyšlení se nad zálohováním každoměsíčního přívalu dat.
    Tohle je bohužel argument, který u řady lidí přesahuje jejich schopnosti pro vnímání času. Většina má problém si vůbec představit co bude za pět let.

    Založit nové vláknoNahoru

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.