abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 17:00 | Zajímavý článek

Asociace pokročilých výpočetních systémů USENIX publikovala na svém YouTube kanálu videozáznamy online přednášek ze svých posledních konferencí. Doporučit lze například videozáznamy z USENIX Security '20 (29th USENIX Security Symposium) nebo videozáznamy z WOOT '20 (14th USENIX Workshop on Offensive Technologies). Ocenění nejlepší článek (Best Paper) na WOOT '20 získal článek BLESA: Spoofing Attacks against Reconnections in Bluetooth Low Energy.

Ladislav Hagara | Komentářů: 0
19.9. 15:55 | Bezpečnostní upozornění

Samba, svobodná implementace síťového protokolu SMB/CIFS, byla vydána ve verzích 4.12.7, 4.11.13 a 4.10.18. Řešena je bezpečnostní chyba CVE-2020-1472 v protokolu Netlogon (Zerologon). Microsoft ji ve svých produktech opravil 11. srpna. Jedná se o chybu s CVSS 9.8. Neautentizovaný útočník se může stát správcem domény.

Ladislav Hagara | Komentářů: 0
18.9. 16:22 | Nová verze

Byla vydána eRouška 2.0 pro Android a iOS. Nově využívá systém oznámení o možném kontaktu vyvinutý společnostmi Google a Apple. Zdrojové kódy eRoušky jsou k dispozici na GitHubu (Android, iOS).

Ladislav Hagara | Komentářů: 49
18.9. 15:33 | Humor

Máte na klávesnici málo kláves? Pomoci vám může 433% Keyboard [reddit, Wayback Machine].

Ladislav Hagara | Komentářů: 18
18.9. 13:33 | Komunita

Otevřená certifikační autorita Let’s Encrypt (Wikipedie) včera na svém blogu oznámila vydání 6 svých nových certifikátů: 1 kořenový, 4 mezilehlé a 1 křížově podepsaný. Kořenový certifikát ISRG Root X2 a mezilehlé E1 a E2 jsou již ECDSA místo RSA. Certifikační autorita Let’s Encrypt byla představena v listopadu 2014. První certifikát vydala přesně před pěti lety, v září 2015. Dnes jich denně vydává milion a půl.

Ladislav Hagara | Komentářů: 0
17.9. 23:11 | Komunita

Mozilla Corporation na svém blogu informuje, že ukončila služby Firefox Send a Firefox Notes. Mozilla Foundation na druhé straně představila rozšíření RegretsReporter. Jedná se o rozšíření pro Firefox a Chrome umožňující Mozillu informovat o doporučených videích na YouTube, jejíchž zhlédnutí uživatel lituje.

Ladislav Hagara | Komentářů: 34
17.9. 15:44 | Zajímavý článek

Společnost Nethemba informuje o již opravené kritické zranitelnosti v aplikaci Moje eZdravie na Slovensku. Kdokoli si mohl stáhnout informace o všech osobách testovaných na COVID-19 (jméno, příjmení, rodné číslo, telefonní číslo, místo pobytu, datum a výsledek odběru).

Ladislav Hagara | Komentářů: 43
17.9. 13:55 | Zajímavý software

GitHub CLI dospěl do verze 1.0.0. GitHub CLI umožňuje pracovat s GitHubem z příkazové řádky (gh issue list; gh pr status; gh release create; gh repo view; …).

Ladislav Hagara | Komentářů: 3
17.9. 09:00 | Nová verze

LabPlot (Wikipedie) je svobodná multiplatformní KDE aplikace pro interaktivní vytváření grafů a analýzu vědeckých dat. Téměř po roce vývoje byla vydána nová verze 2.8.

Ladislav Hagara | Komentářů: 0
17.9. 07:00 | Nová verze

Bylo vydáno Eclipse IDE 2020-09 aneb Eclipse 4.17. Představení novinek tohoto vývojového prostředí také na YouTube.

Ladislav Hagara | Komentářů: 0
Používáte aplikaci eRouška?
 (16%)
 (4%)
 (2%)
 (12%)
 (52%)
 (8%)
 (7%)
Celkem 356 hlasů
 Komentářů: 35, poslední včera 21:50
Rozcestník

Dotaz: Zalohovani Databazi, doporuccte Software

14.9. 11:49 2012
Zalohovani Databazi, doporuccte Software
Přečteno: 423×
Ahoj,

poohlizim se po software, ciste pro zalohovani Databazi. Jde mi o zalohovani Postgres, Mysql, Sqlite(by bylo vyhodou), Oracle ani Mongo neni potreba. Vim ze to umi Bacula, ale rikam si, jestli to neni prilis "kanon na vrabce".

Dekuji za doporuceni.

Odpovědi

Heron avatar 14.9. 12:05 Heron | skóre: 52 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Zalohovani Databazi, doporuccte Software
To trochu záleží na tom, co vlastně potřebujete zálohovat a k čemu ta záloha bude určená. Jestli vám stačí obyčejný dump (pg_dump, mysqldump), což pro menší db stačí, tak tento dump potom stačí uložit na zálohovací server a je to. Napsat si na to skript je triviální.

Pokud máte nasazen snad libovolný zálohovací systém (backuppc nebo tu baculu), tak snad každý z nich má možnost spustit příkaz před zálohou a tedy tam si lze dát skript na ty dumpy.

Pro větší db už jsou dumpy celkem nevýhodné a je lepší nasadit streaming zálohování binárních logů. Výhodou je možnost obnovení db ke stavu těsně před crashem (tj na poslední potvrzenou transakci). Pro postgresql je to PITR (point in time recovery), nebo prográmek pgBarman, který to nasazení zjednodušuje.
14.9. 13:05 2012
Rozbalit Rozbalit vše Re: Zalohovani Databazi, doporuccte Software
Dobry den, dekuji jeste uprasnim detaily:
  • DB, ktere se budou backupovat, bude co do poctu pocitam tak 10-50 (do budoucna).
  • DB budou vetsinou male, v radu Gb, sem tam nejaky vetsi kousek, ale max. 50G
  • DB jsou MySQL/PostgreSQL, obcas Sqlite
  • DB musi by po zaloze konzistentni
  • Super kdyby byla i moznost, vybrat DB ktere chci zalohovat (pokud jich je na stroji vic). Pripadne port pokud je nestandardni
Staci mi denni zalohy, asi nejlepe gzip dumpy, s rekneme max 2.tydenni historii. Jde mi o obnovu DB, v pripade "zhravarovni/rozbiti" stroje.

SW pro zalohovani nemusi mi GUI, klidne mi staci neco s textovymi konfiguraky. I kdyz zase na druhou stranu necim peknym s GUI nepohrdnu.

Klidne si necham poradit, a budu rad i za vice moznosti, ze kterych vybrat.
Heron avatar 14.9. 13:20 Heron | skóre: 52 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Zalohovani Databazi, doporuccte Software
No pro zálohu PostgreSQL osobně používám právě pgBarman (pozor, starší článek, dneska toho umí víc). Stačí přidat další server do konfigurace a už to valí.

Pro zálohování serverů s MySQL použivám backuppc (bacula mi nevyhovovala z důvodu použitého storage řešení, které vychází ještě z dob pásek) a před zálohou definuju mysqldump skript. Následně backuppc ten dump uloží. Má to cli i webové rozhranní.

SQLite je prostě soubor na disku. Pro konzistentní zálohu by chtělo, aby jej nikdo nepoužíval v době zálohy, nebo použít snapshoty (tj fs s jejich podporou (btrfs, zfs)).

Takže moje zálohování db vypadá tak, že se v backuppc spustí skript (DumpPreUserCmd), který provede dumpy všech db a následně se zazálohuje.

Kontejnery (jaily) zálohuju prostě celé jako zfs snapshoty a zfs send (tj mimo téma tohoto dotazu).

Jo a místo gzip je lepší přejít na zstd. Je výrazně rychlejší, má podporu více cpu a lze si zvolit výrazně lepší kompresi (a stále rychlejší) než gzip. To jen tak poznámka na okraj. Před x lety se nasazovalo xz, které má teda ještě lepší kompresní poměr, ale je krutě pomalé. zstd bude, zdá se, novým králem.
14.9. 13:58 2012
Rozbalit Rozbalit vše Re: Zalohovani Databazi, doporuccte Software
Dekuji. Automatizovane zalohovani (souboru) uz vyresene mame pres rsync/dirvish. Ja nyni prave potrebuju jeste neco, cim backupovat/dumpovat ciste jen Databaze.

Z.
Jendа avatar 14.9. 20:14 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Zalohovani Databazi, doporuccte Software
To zálohování souborů by bylo dobré mít taky atomické. No a pak už můžeš zálohovat i tu DB v souborech. Navíc by bylo dobré mít i konzistentní soubory vůči databázi -- třeba pokud je v databázi nějaký seznam/index souborů, které jsou fyzicky na disku, tak potřebuješ sejmout databázi a soubory ve stejný okamžik.

Atomičnost bych zařídil tak, že bych udělal LVM snapshot (případně btrfs, pokud máš, ale tam se CoW pro databáze myslím nedoporučuje, protože se to minimálně na non-SSD fragmentuje a zpomalí) a zálohoval z něj.
Josef Kufner avatar 14.9. 22:03 Josef Kufner | skóre: 69
Rozbalit Rozbalit vše Re: Zalohovani Databazi, doporuccte Software
Databázím jde říct, že se bude dělat snapshot, ať si to na disku uvedou do konzistentního stavu. Pak uděláš snapshot, takže je vše konzistentní. Nakonec databázi zas necháš pracovat. Celá ta věc zabere sotva pár sekund a se snapshotem si pak můžeš dělat co je libo a jak dlouho je libo. Navíc ti nepopadají spojení, jen se čeká na zámek, takže pro aplikace a uživatele to jen trochu cukne.
Hello world ! Segmentation fault (core dumped)
15.9. 18:04 j
Rozbalit Rozbalit vše Re: Zalohovani Databazi, doporuccte Software
Pokud je to udelane spravne, tak necukne, jenze tohle mysql vubec neumi.

Totizto aby to fungovalo, potrebujes dva disky, ne jeden. Na jednom mas data, a na druhym logy. Pak posles pres API krles, databaze dokonci bezici transakce, a odpovi ti OK. Muzes ten snap vyrabet klidne hodinu, databazi je to jedno, protoze dokud nereknes zpet, ze ses hotov, zapisuje do logu.

Takhle ovsem ziskas pouze datove konzistatneni zalohu, nikde neni receno, ze takova zaloha bude i aplikacne konzistentni. Coz je opet typicky problem prave u vseho, co pouziva mysql.

Ale protoze leda blazen by na mysql provozoval cokoli, co stoji za hovor, tak to prevazne nevadi. Specielne nad mysql mas totiz jen dve moznosti, jak to udelat (se stejnyma dusledkama).

1) posles lock na celou databazi = sestrelis aplikaci

2) stopnes tu appku

Nijak jinak se ke konzistentni zaloze nedostanes*

*jo, daj se zkouset jeste vopicarny na tema replikace a jejich pozastaveni, coz je prevazne nejlepsi zpusob jak rychle a efektivne prijit o data. Tak jako tak to neresi problem, ze mysql zalohovat neumi.

---

Dete s tim guuglem dopice!
14.9. 14:05 MP
Rozbalit Rozbalit vše Re: Zalohovani Databazi, doporuccte Software
Pokud staci backup na urovni dumpu ukladany primo na server, tak kazdy DB server ma svoje vlastni konzolove nastroje. O zalohovani a udrzovani poctu zaloh se pak postara libovolny souborovy backup. Ten dump zavola bud neco na urovni cronu, nebo ten souborovy backup.
14.9. 21:05 ehmmm
Rozbalit Rozbalit vše Re: Zalohovani Databazi, doporuccte Software
Asi tak. Pro kazdy typ databaze bych si napsal skript, ktery pouziva nastroje dane DB. A do toho skriptu bych jen dopisoval nazvy databazi.
Jendа avatar 14.9. 20:17 Jendа | skóre: 76 | blog: Výlevníček | JO70FB
Rozbalit Rozbalit vše Re: Zalohovani Databazi, doporuccte Software
Staci mi denni zalohy, asi nejlepe gzip dumpy, s rekneme max 2.tydenni historii.
Tak pak nevím, co řešíš. Já dal před každou noční zálohou spustit příkaz mysqldump --all-databases | gzip --rsyncable > databaze.gz (TBH nevím jestli u dumpu DB rsyncable pomůže) a hotovo. Ale 50 GB mi na každodenní dumpování přijde už trošku dost.
14.9. 12:28 PetebLazar | skóre: 22
Rozbalit Rozbalit vše Re: Zalohovani Databazi, doporuccte Software
Má jít o off-line či on-line zálohu databází? Předpokládám, že v obou případech je cílem konzistentní záloha DB.
14.9. 13:11 2012
Rozbalit Rozbalit vše Re: Zalohovani Databazi, doporuccte Software
Dobry den, ano presne, zalohy musi byt konzistentni a jsou mysleny on-line zalohy.
14.9. 14:54 dustin | skóre: 62 | blog: dustin
Rozbalit Rozbalit vše Re: Zalohovani Databazi, doporuccte Software
Vždy je potřeba řešit konzistenci záloh. Postgres neumím, ale u mysql/mariadb je dobré se podívat na význam parametrů --single-transaction a s tím související --skip-lock-tables umožňující backup produkčního stroje (jinak se na zámku zasekne produkční provoz).

U velkém DB se mi osvědčilo zálohovat do formátu soubor = tabulka (parametr --tab), než vše do obrovského texťáku. Následný inkrementální backup je pak daleko efektivnější, protože deduplikace sjednotí soubory bez změny tabulek od minulého data, případná obnova může zahrnovat jen vybrané tabulky (pokud lze) a může jen více tabulek paralelně (s dočasně vypnutou referenční integritou a aktualizací indexů (zálohovací skript rovnou do dumpu přidává SET @@session.unique_checks = 0; SET @@session.unique_checks = 0;). Samozřejmě TXT soubory po dumpu zkomprimovat, používám xargs bzip2 na malé soubory nebo pbzip2 na velké.

Pro binární klon produkční DB s rychlou obnovou je daleko vhodnější binární Percona Xtrabackup (mysql) nebo mariabackup (mariadb), ale samozřejmě to nelze inkrementálně přidávat, deduplikovat atd.
Heron avatar 14.9. 15:06 Heron | skóre: 52 | blog: root_at_heron | Olomouc
Rozbalit Rozbalit vše Re: Zalohovani Databazi, doporuccte Software
u mysql/mariadb je dobré se podívat na význam parametrů --single-transaction a s tím související --skip-lock-tables umožňující backup produkčního stroje (jinak se na zámku zasekne produkční provoz).

S tím, že je velmi nutné upozornit na to, že ne všechny mysql engine umí transakce. Takže bez zámků se ta db mění během zálohy a dump tedy není moc konzistentní. Obecná MySQL se dá afaik zálohovat jen s lockem a je tedy během zálohování zaseklá.

U PostgreSQL si můžeš vesele dumpovat a máš jak konzistentní zálohu, tak i neustále dostupnout db pro klienty.

14.9. 15:14 dustin | skóre: 62 | blog: dustin
Rozbalit Rozbalit vše Re: Zalohovani Databazi, doporuccte Software
Jistě, proto jsem napsal, aby se podíval na význam toho parametru. Provozovat v dnešní době ještě netranskační storage engine mi přijde naprosto zbytečné. InnoDB je defaultní engine už pěkně dlouho. Konverze sice jednorázově bolí, ale IMO se bohatě vyplatí (a už měla být dávno provedena). Samozřejmě při té příležitosti opravit nesmyslný 3bajtový kvazi-utf8, který považuji za hlavní legacy problém mysql/mariadb.
14.9. 15:36 2012
Rozbalit Rozbalit vše Re: Zalohovani Databazi, doporuccte Software
To by byla taky vyhoda. Kdyby tohle zmineny backupovaci soft umel zohledit. Tz. aby Administrator nemusel resit, jestli tam je InnoDB, nebo MyIsam.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.