abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

včera 22:22 | Komunita

V Norimberku probíhá do neděle 28. května openSUSE Conference 2017. Na programu je celá řada zajímavých přednášek. Sledovat je lze online. K dispozici jsou také videozáznamy (YouTube) již proběhnuvších přednášek. Dění lze sledovat na Twitteru.

Ladislav Hagara | Komentářů: 0
včera 11:33 | IT novinky

Red Hat kupuje společnost Codenvy stojící za stejnojmenným webovým (cloudovým) integrovaným vývojovým prostředím (WIDE) postaveném na Eclipse Che.

Ladislav Hagara | Komentářů: 0
včera 08:55 | Nová verze

V listopadu 2014 byl představen fork Debianu bez systemd pojmenovaný Devuan. Po dva a půl roce jeho vývojáři oznámili vydání první stabilní verze 1.0. Jedná se o verzi s dlouhodobou podporou (LTS) a její kódové jméno je Jessie, podle planetky s katalogovým číslem 10 464.

Ladislav Hagara | Komentářů: 7
25.5. 20:22 | Zajímavý článek

Nadace Raspberry Pi vydala již osmapadesáté číslo (pdf) stostránkového anglicky psaného časopisu MagPi věnovanému Raspberry Pi a projektům postaveným na tomto jednodeskovém počítači a druhé číslo (pdf) časopisu Hello World primárně určeného pro učitele informatiky a výpočetní techniky.

Ladislav Hagara | Komentářů: 0
25.5. 19:55 | Humor

Portál Stack Overflow informuje na svém blogu, že pomohl ukončit editor Vim už více než milionu vývojářů. V loňském roce například hledal odpověď na otázku Jak ukončit editor Vim v průměru 1 z 20 000 návštěvníků.

Ladislav Hagara | Komentářů: 10
25.5. 19:22 | Nová verze

Po pěti měsících od vydání verze 3.5.0 byla vydána nová stabilní verze 3.6.0, tj. první z nové řady 3.6, minimalistické linuxové distribuce zaměřené na bezpečnost Alpine Linux (Wikipedie). Z novinek lze zmínit například podporu dvou nových 64bitových platforem little-endian POWER machines (ppc64le) a IBM z Systems (s390x) nebo nové balíčky Rust 1.17.0, Cargo 0.18.0, GHC 8.0.2 a Julia 0.5.2.

Ladislav Hagara | Komentářů: 0
24.5. 21:33 | Bezpečnostní upozornění

V Sambě byla nalezena a opravena bezpečnostní chyba CVE-2017-7494. Má-li útočník právo ukládat soubory na vzdálený server, může tam uložit připravenou sdílenou knihovnu a přinutit smbd server k jejímu načtení a tím pádem ke spuštění libovolných příkazů. Chyba je opravena v upstream verzích 4.6.4, 4.5.10 a 4.4.14. Chyba se týká všech verzí Samby od verze 3.5.0 vydané 1. března 2010.

Ladislav Hagara | Komentářů: 7
24.5. 20:44 | Nová verze

Byla vydána nová stabilní verze 4.3.0 integrovaného vývojového prostředí (IDE) Qt Creator. Z novinek lze zmínit například integraci editoru kódu do Qt Quick Designeru.

Ladislav Hagara | Komentářů: 1
24.5. 20:11 | Bezpečnostní upozornění

Společnost Check Point informuje na svém blogu o novém vektoru útoku. Pomocí titulků lze útočit na multimediální přehrávače VLC, Kodi, Popcorn Time, Stremio a pravděpodobně i další. Otevření útočníkem připraveného souboru s titulky v neaktualizovaném multimediálním přehrávači může vést ke spuštění libovolných příkazů pod právy uživatele. Ukázka na YouTube. Chyba je opravena v Kodi 17.2 nebo ve VLC 2.2.6.

Ladislav Hagara | Komentářů: 11
23.5. 15:18 | Zajímavý software

CrossOver, komerční produkt založený na Wine, je dnes (23. 5. 2017) dostupný ve slevě. Roční předplatné linuxové verze vyjde s kódem TWENTYONE na $21, resp. $1 v případě IP z chudších zemí. Firma CodeWeavers, která CrossOver vyvíjí, významně přispívá do Wine. Přidaná hodnota CrossOver spočívá v přívětivějším uživatelském rozhraní, integraci do desktopu a podpoře.

Fluttershy, yay! | Komentářů: 27
Chystáte se pořídit CPU AMD Ryzen?
 (6%)
 (32%)
 (1%)
 (8%)
 (44%)
 (9%)
Celkem 622 hlasů
 Komentářů: 62, poslední 19.5. 01:57
    Rozcestník

    Dotaz: Operační systém a souborový systém pro vytížený backup server

    29.1.2014 21:38 vasek
    Operační systém a souborový systém pro vytížený backup server
    Přečteno: 363×
    Ahoj,

    nějakou dobu už mi běží na backup serveru FreeBSD 9.1 se souborovým systémem ZFS (ostatně kvůli tomu tam mám také freebsd). Zálohuji na něj servery a většinou pomocí BackupPC - pro každý server 1x týdně full backup, 1x denně inkrementální. Serverů je celkem 13 a až na 2 výjimky to jsou linuxové servery. U nich je velikost full backup +-20 GB. 2 servery jsou Windows zálohované přes rsync skrze ssh tunel a u nich je velikost plné zálohy cca 600 GB pro každého. Všechny tyto servery se zálohují do nekomprimovaného zfs poolu. Kromě BackupPC také zálohuji 1x týdně virtuální stroje, resp. jejich disky manuálně pomocí vlastního skriptu (+-50GB * 6) - tady využívám zfs snapshoty a pomocí rsync posílám pouze rozdílová data (trvá to déle, ale ušetří to díky zfs veliké množství místa na disku anichž bych musel používat deduplikaci).

    Teď k jádru problému: zálohovací stroj přestal stíhat zálohování. Má na toto dost slabý hardware a není dost finančních prostředků na nějakou jeho změnu. Je to taková skládačka - AMD Dual-Core Athlon X2 4450e (45W), 2300MHz, 5 GB RAM (nonECC - vím že je to risk na ZFS...), 4x SATA 2 TB disky. Jak nabobtnalo množství zálohovaných a i již zazálohovaných dat, tak prudce klesl výkon - pravděpodobně za to může ZFS v raidz1.

    Mám několik oẗázek: Jak je na tom nyní btrfs s ohledem na spolehlivost a rychlost na linuxu oproti zfs na freebsd? Když jsem před rokem zkoušel asi měsíc btrfs, pokaždé se mi nakonec rozsypal. Nebo si myslíte, že na takové množství dat bude lepší klasika např. ext4 (tam bych ale zase přišel o snapshoty)? Šel bych určitě do linuxu, protože po roční zkušenosti s freebsd mi připadá, že linuxové jádro daleko lépe zvládá vysokou zátěž (asi lepší IO scheduler či co).

    Odpovědi

    30.1.2014 00:25 lertimir | skóre: 60 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Operační systém a souborový systém pro vytížený backup server
    Myslím že hlavní problém je v BackupPC. Používám na domácím serveru zálohování všech domácích strojů, celkem 6 linuxových systému, HW stroje AMD E-350 Processor na 1600MHz 4GB paměti, zálohování na mdadm RAID 10 s ext4. Typický zálohovací objem 50G. Inkrementální zálohy 1,2,3,4,1,2,3,4,1,2,3,4 a pak uplná. Komprimovaný pool. A výsledek: Když běží BackupPC, je zátěž disků mezi 85%-100% zátěž procesorová také blízko 100% s tím že spoustu času je to ve wait stavu. Měřeno pomocí atop a také se to zobrazuje na grafech munin. Typický čas pro úplnou zálohu je 120Min a pro inkrementální 20-40min. Z každé stanice je to cca 200-400 000 souborů. Celkem má záloha kolem 1,2 mil souborů.

    Nejdříve mě to připadalo strašně dlouhé. Ale když jsem se díval, co zálohování na cíli vyrobí, tak jsou to soubory nazvané svými hash hodnotami, rozdělené do 3 úrovní adresářů podle prvních 3 hexa znaků hashe. V jednotlivých zálohách konkrétních systémů jsou pak hardlinkované odkazy na tento hashový pool. A protože při jak inkrementální tak úplné záloze stejně musí sytém projít všechny soubory jestli je má zazálohované v aktuální verzi, tak jsem dospěl k názoru, že stejně to rychleji nepůjde, protože když u disku je tak cca 100 IOPS tak 200 000 souborů je odhadem 2000 sekund. Pro mne výhoda je, že jak mají všechny systémy stejné distro, tak soubor, který je stejný je hardlinkovaný ze záloh všech strojů (vyzkoušeno pomocí find /var/lib/BackupPC -samefile fvi) (konkrétně záloha vi má u mne 170 hardlinků). A čistě ten find běžel asi 35 minut, jak je ten strom velký. Takže si myslím, že změna file systému nepomůže. A
    30.1.2014 01:32 cronin | skóre: 48
    Rozbalit Rozbalit vše Re: Operační systém a souborový systém pro vytížený backup server
    Nepíšeš, čo vlastne zálohuješ. "Záloha servera" je dosť široký pojem. Zálohovanie celých systémov hlava-nehlava je síce v prvom kole jednoduché, ale ako si sám zistil, veľmi rýchlo to prerastie únosné medze. Preto je možno lepšie robiť aplikačne špecifické zálohy: dumpy databáz, exporty VCS a pod. Veľkou úsporou je identifikovať to, čo zálohovať netreba, pretože sa to buď dá naištalovať (aplikácie), vygenerovať z iných zdrojov (dokumentácie), stiahnuť z internetu (artifactory), alebo to prinajhoršom možno oželieť (logovacie súbory), alebo to dokonca vôbec nie je potrebné (rôzne pomocné indexy a cache). Až na ten zvyšok treba použiť zálohovanie na úrovni súborového systému.

    Hlavne netreba zabudnúť zálohy testovať a proces obnovenia pravidelne precvičovať. Mať zálohu, ktorá nejde použiť, je oveľa zúfalejší stav ako nemať žiadnu zálohu.
    30.1.2014 10:56 vasek
    Rozbalit Rozbalit vše Re: Operační systém a souborový systém pro vytížený backup server

    Tím záloha serverů myslím opravdu všechno, co na těch strojích je. V podstatě těch systémových souborů moc není, jde o uživatelská data - typicky nejhorší asi bude několik gigabajtů mailů v malých souborech či rozsáhlé webové stránky a hlavně stovky tisíc malých souborů na windows serverech (jsou to fileservery).

    Ono ten backup server se jeví podle monitorování jako nezatížený - nízké využití sítě, malé rychlosti zápisu na disky, procesor podle topu nevyužitý - nicméně v něčem mi freebsd asi kecá. Disky mají dost práce - přes dd naměřím rychlost zápisu kolem 2-5 MB/s, pořád běží dost procesů find programu BackupPC. Načtení web statistiky BackupPC trvá i přes 30 sekund. Podle mě to padlo na limity HW + ZFS filesystému (i bez zálohování výkonnost ZFS nic moc na tomto HW). Proto nevím jestli bych si třeba btrfs na linuxu nepolepšil ...

    30.1.2014 13:12 lertimir | skóre: 60 | blog: Par_slov
    Rozbalit Rozbalit vše Re: Operační systém a souborový systém pro vytížený backup server
    Ano tak to je. Rychlost je mezi 1-8MB/s přestože záloha je na gigabitové síti a na dvou klientech zálohuje data z SSD disků. 8 je jen pro úplnou zálohu. inkrementální jsou mezi 1-3MB/s. Můj procesor je využitý jen díky tomu, že vše se kompresuje. Zkuste nainstalovat BSD implementaci atop a uvidíte, že limit je v discích. BSD nekecá, ale prostě disky víc atomárních zápisů a čtení malých souborů nedají. A vše ostatní nemá co dělat.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.