abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
dnes 06:00 | Zajímavý software

OMG! Ubuntu! představuje emulátor terminálu Hyper (GitHub) postavený na webových technologiích (HTML, CSS a JavaScript). V diskusi k článku je zmíněn podobný emulátor terminálu Black Screen. Hyper i Black Screen používají framework Electron, stejně jako editor Atom nebo vývojové prostředí Visual Studio Code.

Ladislav Hagara | Komentářů: 23
dnes 06:00 | Zajímavý článek

I letos vychází řada ajťáckých adventních kalendářů. QEMU Advent Calendar 2016 přináší každý den nový obraz disku pro QEMU. Programátoři se mohou potrápit při řešení úloh z kalendáře Advent of Code 2016. Kalendáře Perl Advent Calendar 2016 a Perl 6 Advent Calendar přinášejí každý den zajímavé informace o programovacím jazyce Perl. Stranou nezůstává ani programovací jazyk Go.

Ladislav Hagara | Komentářů: 4
3.12. 16:24 | Nová verze

Byla vydána Mageia 5.1. Jedná se o první opravné vydání verze 5, jež vyšla v červnu loňského roku (zprávička). Uživatelům verze 5 nepřináší opravné vydání nic nového, samozřejmě pokud pravidelně aktualizují. Vydání obsahuje všechny aktualizace za posledního téměř půldruhého roku. Mageia 5.1 obsahuje LibreOffice 4.4.7, Linux 4.4.32, KDE4 4.14.5 nebo GNOME 3.14.3.

Ladislav Hagara | Komentářů: 14
3.12. 13:42 | Pozvánky

V Praze probíhá konference Internet a Technologie 16.2, volné pokračování jarní konference sdružení CZ.NIC. Konferenci lze sledovat online na YouTube. K dispozici je také archiv předchozích konferencí.

Ladislav Hagara | Komentářů: 0
2.12. 22:44 | Komunita

Joinup informuje, že Mnichov používá open source groupware Kolab. V srpnu byl dokončen dvouletý přechod na toto řešení. V provozu je asi 60 000 poštovních schránek. Nejenom Kolabu se věnoval Georg Greve ve své přednášce Open Source: the future for the European institutions (SlideShare) na konferenci DIGITEC 2016, jež proběhla v úterý 29. listopadu v Bruselu. Videozáznam přednášek z hlavního sálu je ke zhlédnutí na Livestreamu.

Ladislav Hagara | Komentářů: 25
2.12. 15:30 | Zajímavý projekt

Společnost Jolla oznámila v příspěvku Case study: Sailfish Watch na svém blogu, že naportovala Sailfish OS na chytré hodinky. Využila a inspirovala se otevřeným operačním systémem pro chytré hodinky AsteroidOS. Použita je knihovna libhybris. Ukázka ovládání hodinek na YouTube.

Ladislav Hagara | Komentářů: 15
2.12. 14:15 | Nová verze

Byla vydána verze 7.1.0 skriptovacího jazyka PHP používaného zejména k vývoji dynamických webových stránek. Jedná se o první stabilní verzi nejnovější větvě 7.1. Přehled novinek v dokumentaci. Podrobnosti v ChangeLogu. K dispozici je také příručka pro přechod z PHP 7.0.x na PHP 7.1.x.

Ladislav Hagara | Komentářů: 4
2.12. 12:55 | Nová verze

Google Chrome 55 byl prohlášen za stabilní. Nejnovější stabilní verze 55.0.2883.75 tohoto webového prohlížeče přináší řadu oprav a vylepšení (YouTube). Opraveno bylo také 36 bezpečnostních chyb. Mariusz Mlynski si například vydělal 22 500 dolarů za 3 nahlášené chyby (Universal XSS in Blink).

Ladislav Hagara | Komentářů: 4
2.12. 11:55 | Pozvánky

Máte rádi svobodný software a hardware nebo se o nich chcete něco dozvědět? Přijďte na 135. sraz spolku OpenAlt, který se bude konat ve čtvrtek 8. prosince od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Sraz bude tentokrát tématický. Bude retro! K vidění budou přístroje jako Psion 5mx nebo Palm Z22. Ze svobodného hardwaru pak Openmoko nebo čtečka WikiReader. Přijďte se i vy pochlubit svými legendami, nebo alespoň na pivo. Moderní hardware má vstup samozřejmě také povolen.

xkucf03 | Komentářů: 1
2.12. 00:10 | Nová verze

Byla vydána verze 3.2 svobodného systému pro detekci a prevenci průniků a monitorování bezpečnosti počítačových sítí Suricata. Z novinek lze zmínit například podporu protokolů DNP3 a CIP/ENIP, vylepšenou podporu TLS a samozřejmě také aktualizovanou dokumentaci.

Ladislav Hagara | Komentářů: 0
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 773 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Zalohovani - co pouzit ?

10.6.2014 23:59 Softik | skóre: 4
Zalohovani - co pouzit ?
Přečteno: 455×
Zdravim, chtel bych se zeptat co pouzit na prakticky funkcni zalohovani malych souboru. Potrebuji zalohovat 8 serveru ve kterych je 240 GB SSD na kterych bezi mnozina stejnych aplikaci a potrebuji je zalohovat na nejake uloziste. Idealne 12x zaloha / 24 hodin. Zkousel jsem zalohovani pres SUN Solaris 100 GB ramka jako cache, SAS vystup do saska s diskama a propagace pres 8 Gbps FC sit. Bohuzel to v linuxu nefunguje. Pouzite karty, ktere mam jsou Qlogic, nebo Emulex. Ani jedna podle vseho nema dostatecnou podporu v opensource linuxu a proste to padalo, kazdou chvilku do read only rezimu ( resenim by MOZNA bylo enterprise reseni - nevim ). Potom a aktualne mame isci a to jede silene pomalu, mozna proto ze to zatim je jen pres 1 Gbps sit. Pouzite disky byli bud SATA 7.2k nebo SAS 7.2k ( bylo to mixnuty a vzdy 2x 2 TB do raid 1 ).

Dodam, ze na kazdem fyzickem serveru je treba zalohovat 100-240 GB dat a kazdy server v teto velikosti ma kolem 1-3M souboru. Ma nekdo nejakou radu, jak toto vyresit ? Napadlo me pouzit SSD pole, ale to bych musel koupit k tomu vhodne disky a to je palka.

PS: Pouzivame Debian 7 64 bit a radic u vsech serveru je vzdy p410i

Odpovědi

Josef Kufner avatar 11.6.2014 00:23 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?
Jak se ta data mění?

Pro automatické denní zálohování notebooku používám rsnapshot. Odzálohovat 1.3 milionu souborů o celkové velikosti 200GB po 100Mbps síti z SSD na magnetický disk zabere cca 30 až 50 minut.

Každá záloha je úplná do samostatného adresáře a k deduplikaci to používá hardlinky. Takže pokud se soubory moc nemění, je to vcelku efektivní. Navíc není potřeba žádný nástroj pro přístup ke starším datům – prostě tam leží vedle.
Hello world ! Segmentation fault (core dumped)
11.6.2014 00:47 Softik | skóre: 4
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?
Meni se za 2 hodiny strasne. Jsou to herni servery, takze to kazdy hrac co se pripoji = zmena na disku. Tezko rict, kazdopadne tohle notebook nikdy neudela za 2 hodiny jakehokoliv provozu.

Delame rdiff-backup a to je zoufale neefektivni a jede to strasne pomalu.
11.6.2014 08:42 dustin | skóre: 60 | blog: dustin
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?
Jakou potřebuješ hloubku historie záloh?

Co to je za soubory? Bude záloha konzistentní, když se neprovede ve snapshotu/nesyncnuté databázové keše atd.?
11.6.2014 10:11 Softik | skóre: 4
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?
14 dni, zasadni problem nebude, neni tam ted zadna cache.
11.6.2014 10:48 dustin | skóre: 60 | blog: dustin
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?
takže jestli jsem to pochopil, na těch serverech neběží žádná DB, jejíž konzistentní záloha by se musela řešit. A nevadí, když v jednom "snapshotu" budou soubory z různých časů, než zálohovací soft projde celou strukturu. Tak jako by to nevadilo např. na souborovém serveru, kde jsou soubory vzájemně nezávislé. Nebo to musí být snapshot filesystému v daném čase, tedy mezi soubory jsou nějaké vazby a ty musí být konzistentní?

Ptám se proto, zda vůbec rsync dostačuje, či zda by to spíš nebylo pro nějaký btrfs snapshot...
Josef Kufner avatar 11.6.2014 10:13 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?
Rozdíl mezi rsnapshot a rdiff-backup je hlavně ve způsobu uložení dat, kde rspanshot je nesrovnatelně rychlejší a pohodlnější při přístupu ke starším zálohám. Jinak to vychází dost podobně, možná je rsnapshot trošku rychlejší neboť jen zavolá rsync napsaný v C namísto scriptu v Pythonu, který volá librsync. Těžko ale říct, jak velký to má vliv, úzké hrdlo asi vždy bude IO a nikoliv CPU.
Hello world ! Segmentation fault (core dumped)
Josef Kufner avatar 11.6.2014 10:17 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?
Kdyby jsi to měl v SQL databázi, poradím ti, ať si nastavíš replikaci na druhý server. Když jeden umře, jen to přesměruješ na druhý a je to v pohodě. Navíc ten druhý nebude zatížen, takže se z něj bude lépe zálohovat.
Hello world ! Segmentation fault (core dumped)
11.6.2014 19:21 nyan
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?
Delame rdiff-backup a to je zoufale neefektivni a jede to strasne pomalu.
rdiff-backup je desna sr**ka. Jsem to kdysi zkousel, pak sem jednou zjistoval proc trva zaloha hodiny i pri zmene par souboru, a ten idiotskej soft vola fsync na *kazdem* souboru... naprosto uzasnej design, zvlast kdyz clovek zalohuje statisice/miliony souboru...
11.6.2014 13:29 PanZvedavy
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?
jaky je rozpocet?
11.6.2014 21:58 Softik | skóre: 4
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?
Zatim zkousime predelat to zalohovani tak aby se to nejdriv natarovalo a pak jeste zazipovalo. Musime ale predelat ovladaci system, ktery k tem zaloham pristupuje. Koncovy zakaznik si totiz muze pres administraci vybirat vzdy libovolnou zalohu, ktera je krok po kroku. Ten soft jsme nevytvareli my, koupili jsme firmu a predelavame to k obrazu svemu, proto to musime zkusit. Pokud to nedopadne, ozvu se, vysledek bych mel znat do konce pracovniho tydne tj. do patku.
Josef Kufner avatar 11.6.2014 22:43 Josef Kufner | skóre: 66
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?
A co upravit tu aplikaci tak, aby místo zápisu do souboru používala nějaké key-value databáze? Bude to výrazně rychlejší a i s nástroji na správu. Pokud ta aplikace je napsaná slušně, tak by neměl být problém nahradit fopen za něco jiného podobného.
Hello world ! Segmentation fault (core dumped)
12.6.2014 09:55 dustin | skóre: 60 | blog: dustin
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?
Vidím to úplně stejně. Mám pocit, že nový majitel chce nabízet funkcionalitu, se kterou původní produkt nepočítal a asi to nebude tak snadné vyřešit zvenku. Úprava aplikace by byla nejlepší a možná i dlouhodobě nejlevnější, stejně do ní budou muset zasahovat, rozvíjet, rozšiřovat, aby mohla žít do budoucna.
12.6.2014 08:11 PanZvedavy
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?

V prve rade bych se soustredil na funkcnost fc karet. Qlogic i emulex jsou zabehnuti vyrobci a na linuxu by to nemel byt problem...pokud to nejsou nejake horke novinky. Mam tu ted par Qlogic a bezi jak namazany s defaultnim kernelem(redhat 2.6.32-..).

Nevim jestli jsem ten popis pochopil spravne, ale zalohovat 8x 1-3 milionu?!? souboru kazde 2 hodiny...to asi nebude ukol pro 7.2k disky a co io? 2TB disky v raid1? Nejak mi to nejde dohromady....

Max avatar 12.6.2014 08:13 Max | skóre: 64 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?
Je zde otázka konzistence dat. Když spustíš cokoli, rsync, tar apod., tak jim vždy nějakou dobu trvá celá záloha. První soubor začne zálohovat třeba ve 12:00, poslední soubor zazálohuje (dokončí zálohu) třeba ve 12:15. Během těch 15minut se může změnit cokoli, záloha je prostě nekonzistentní. To by u file serveru vadit nemuselo, tam jsou většinou jen dokumenty, obrázky apod. Nekonzistence dat ale může vadit aplikacím, hrám apod. věcem. U databáze třeba takový způsob záloh nepřipadá v úvahu.
Windows na toto mají stínovou kopii svazku (Volume Shadow Copy - VSS).
Linux na toto má LVM, nebo pak přímo FS, které umí snapshoty.
Je však třeba počítat i s tím, že app mají i nějaká data v ramce, takže to není 100% nejlepší řešení pro všechno.

Jinak my v jobu jedeme mj. Oracle RAC (dva servery HP DL380 + jedno společné uložiště HP MSA P2000G3), vše propojené přes FC a v serverech máme Brocade HBA karty. Oracle beží na Oracle Linuxu (RedHat / CentOS).

Některé věci mají přímo binární drivery od HP a hlavně, spousta věcí je podporována na RHEL/Suse, debian je vynecháván. Je tedy dobré zvolit nejen vhodný hardware, ale i vhodný systém.

Zdar Max
Měl jsem sen ... :(
12.6.2014 15:12 pavele
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?
Nezkoušeli jste někdo R1Soft Hot Copy (hcp)? Mělo by to dělat VSS jako ve Windows.
Max avatar 12.6.2014 15:54 Max | skóre: 64 | blog: Max_Devaine
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?
Jedna věc je VSS, druhá věc je, že při vytváření VSS serverové aplikace flushnou data (Exchange apod.). Nevím, jak přesně to funguje, na jaké úrovni, zda se přecijen nenajdou app., které takové věci neřeší apod. Z toho by pak plynulo, že to také není všespásné řešení.
Zdar Max
Měl jsem sen ... :(
12.6.2014 20:10 Softik | skóre: 4
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?
Maxi, to my meli do doby kdy jsme proto meli FC sit taky servery HP DL 370 G6 a BL460G6 + HP MSA P2000, vse propojene pres 8 Gbps FC a v serverech byl bud Emulex, nebo Qlogic. Ale podle nas je chyba v tom, ze pro tu FC sit jsme pouzili nevhodny opensource system ( Debian ), protoze treba ta FC sit pod WMvare beha uz dlouho bez potizi, ale jak to bylo primo na linux tak smula. Meli jsme na tech FC diskach i zavadec, protoze 6 z 8 serveru jsou blady a maji jen 2 pozice na hdd. Potom jsme zkouseli prave udelat vlastni storage a tj taky to HP DL 370 G6 s 96 GB ramkou pouzitou pro cachovani z toho vystup pres SAS do saska s diskama a propagovany pres Emulex kartu ( potom zkouseno pres qLogic ) a stejnej problem... Do 24 hodin to vzdy spadlo cele do read only rezimu...
12.6.2014 15:23 chsajarsa | skóre: 16 | blog: V_hlouby_destneho_pralesa | Lovosice(Praha)
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?
Zalohovat takovehle mnozstvi souboru kazde dve hodiny souborove je cesta do pekel. Jedna se o vcelku casty problem, ktery se resi uz spoustu let. NASky k tomu pouzivaji NDMP a i v tomto pripade bych pouzil nejaky blokovy zpusob, ktery budu nasobne rychlejsi. Pokud to chapu spravne, tak na tom solarisu sis vytvoril target a chces ho pouzit jako disk pro zalohu? Jinak nad iSCSI bych ani neuvazoval pokud to nesypes do nejake knihovny, ktera nic jineho neumi.
~ QED ~
12.6.2014 15:46 Ivan
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?
Jo. to mas pravdu. Jde to i na urovni filesystemu, dneska malokdo pouziva veci jako dump/restore.
12.6.2014 15:28 Ivan
Rozbalit Rozbalit vše Re: Zalohovani - co pouzit ?
Opravdu se meni svechny soubory? TSM to resi tak, ze pouziva neco jako inotify (ale na AIXu anebo na Woknech) a uklada si jmena zmenenych souboru do zurnalu. Diky tomu jsou inkrementalni zalohy rychle.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.