abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 06:00 | Komunita

    Na čem aktuálně pracují vývojáři GNOME a KDE Plasma? Pravidelný přehled novinek v Týden v GNOME a Týden v KDE Plasma. Vypíchnout lze, že v Plasmě byl implementován 22letý požadavek. Historie schránky nově umožňuje ohvězdičkovat vybrané položky a mít k ním trvalý a snadný přístup.

    Ladislav Hagara | Komentářů: 0
    včera 20:00 | Nová verze

    Wayfire, kompozitní správce oken běžící nad Waylandem a využívající wlroots, byl vydán ve verzi 0.10.0. Zdrojové kódy jsou k dispozici na GitHubu. Videoukázky na YouTube.

    Ladislav Hagara | Komentářů: 0
    včera 04:00 | Komunita

    Před necelými čtyřmi měsíci byl Steven Deobald jmenován novým výkonným ředitelem GNOME Foundation. Včera skončil, protože "nebyl pro tuto roli v tento čas ten pravý".

    Ladislav Hagara | Komentářů: 7
    29.8. 18:33 | Zajímavý článek

    Nové číslo časopisu Raspberry Pi zdarma ke čtení: Raspberry Pi Official Magazine 156 (pdf).

    Ladislav Hagara | Komentářů: 0
    29.8. 15:11 | Nová verze

    Armbian, tj. linuxová distribuce založená na Debianu a Ubuntu optimalizovaná pro jednodeskové počítače na platformě ARM a RISC-V, ke stažení ale také pro Intel a AMD, byl vydán ve verzi 25.8.1. Přehled novinek v Changelogu.

    Ladislav Hagara | Komentářů: 0
    29.8. 12:11 | IT novinky

    Včera večer měl na YouTube premiéru dokumentární film Python: The Documentary | An origin story.

    Ladislav Hagara | Komentářů: 0
    28.8. 23:33 | Nová verze

    Společnost comma.ai po třech letech od vydání verze 0.9 vydala novou verzi 0.10 open source pokročilého asistenčního systému pro řidiče openpilot (Wikipedie). Zdrojové kódy jsou k dispozici na GitHubu.

    Ladislav Hagara | Komentářů: 0
    28.8. 21:55 | Nová verze Ladislav Hagara | Komentářů: 4
    28.8. 14:11 | IT novinky

    Řada vestavěných počítačových desek a vývojových platforem NVIDIA Jetson se rozrostla o NVIDIA Jetson Thor. Ve srovnání se svým předchůdcem NVIDIA Jetson Orin nabízí 7,5krát vyšší výpočetní výkon umělé inteligence a 3,5krát vyšší energetickou účinnost. Softwarový stack NVIDIA JetPack 7 je založen na Ubuntu 24.04 LTS.

    Ladislav Hagara | Komentářů: 4
    28.8. 00:44 | Bezpečnostní upozornění

    Národní úřad pro kybernetickou a informační bezpečnost (NÚKIB) spolu s NSA a dalšími americkými úřady upozorňuje (en) na čínského aktéra Salt Typhoon, který kompromituje sítě po celém světě.

    Ladislav Hagara | Komentářů: 26
    Pro otevření více webových stránek ve webovém prohlížečí používám
     (80%)
     (9%)
     (3%)
     (4%)
     (4%)
     (1%)
    Celkem 114 hlasů
     Komentářů: 9, poslední 28.8. 11:53
    Rozcestník

    Pokrocila replikace v MySQL

    12.11.2007 12:16 | Přečteno: 2236× | PC / IT

    Tak jsem se take musel ponorit do taju databazoveho systemu MySQL, abych se pokusil vyresit nasledujici problem.

    V soucasne dobe pouzivam 2 servery, jeden jako master, druhy jako slave. Kazdy zaznam na master server se replikuje na slave, proste klasicka replikace.

    Jenze data pribyvaji, cca 3-10 zaznamu za minutu na master server, to vse replikovano na slave (celkem asi 35 milionu zaznamu v ruznych databazich a tabulkach). Po diskusi typu "vsechna data jsou dulezita, nektera vsak jeste dulezitejsi" se doslo k zaveru, ze data starsi nez rok nejsou tak dulezita, presto jejich odstraneni nepripada v uvahu. Proto bych chtel dojit k nasledujicimu reseni:

    Pridat treti server, na ktery by se opet replikovaly vsechny zaznamy (data or roku 2004, kazda tabulka obsahuje sloupec timestamp). Na master serveru nastavit, aby se kazdy den (napr. v pulnoci) smazaly data starsi nez jeden rok (ve vsech databazich, ve vsech tabulkach). Potom bych mel nejdulezitejsi data na master i slave serveru vzdy do stari jednoho roku, na tretim serveru pak vsechny, vcetne tech nejaktualnejsich.

    Bohuzel nejsem v MySQL tak zbehly, tak jsem se chtel zeptat, zda uz nekdo podobny pripad neresil, popripadne me nakopnul spravnym smerem. Problem replikace je, ze replikuje opravdu vsechno, tedy nevim, jak nastavit presouvani dat na treti server, a jak resit automaticke mazani starsich dat nez jeden rok (nejspis pomoci nejake stored procedure?)...

    Nebo lze tento problem resit uplne jinak?

           

    Hodnocení: 100 %

            špatnédobré        

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    12.11.2007 13:19 Filip Jirsák | skóre: 67 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    a master serveru nastavit, aby se kazdy den smazaly data starsi nez jeden rok.
    Pokud nemáte problém s místem, nedělal bych archivaci každý den. Zbytečně budete fragmentovat databázi a nutit jí stavět nové indexy (nebo naopak bude používat zastaralé indexy). Perioda jednou za měsíc by podle mne mohla stačit.
    12.11.2007 13:20 Jakub Suchy | skóre: 22 | Praha
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    A z ceho vyplyva potreba mazat starsi data? Moc velke tabulky, ktere jsou pak pomale, nebo nedostatek mista na disku?

    To druhe se da vyresit i jinak, nez mazanim a to prvni, to bych vyresil treba tak, ze bych vytvoril vzdy neco jako "old" tabulku, ktera by mela identickou strukturu jako hlavni, ale odlejvala by se do ni data starsi nez rok. Vse na jednom serveru, ale v jine tabulce, tudiz nezpomaluje pri SELECTech...
    12.11.2007 13:52 Michal Čihař | skóre: 61 | blog: Bláboly | Praha
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    Nebo odvážně nainstalovat MySQL 5.1 a udělat to přes oddíly. Vliv na výkon to má stejný, jenom člověk nemusí myslet na to, ve které tabulce zrovna tyhle data jsou.
    12.11.2007 14:50 RapMan | skóre: 14 | blog: RapMan
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    Mazani starych dat chci realizovat kvuli velikosti tabulek, potom trva zaloha neprimerene dlouho, stejne tak jeji obnova. To prelevani dat do stare tabulky by slo vyresit pomoci stored procedure?
    xkucf03 avatar 15.11.2007 08:37 xkucf03 | skóre: 49 | blog: xkucf03
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    bych vytvoril vzdy neco jako "old" tabulku, ktera by mela identickou strukturu jako hlavni, ale odlejvala by se do ni data starsi nez rok
    Nebo použít partyšny v Oraclu :-)
    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
    15.11.2007 09:45 RapMan | skóre: 14 | blog: RapMan
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    Co jsem tak studoval, tak reseni s old tabulkami by bylo asi nejpruchodnejsi, s tim, ze by na master serveru byly typu federated a smerovaly by na treti server, na druhy server by byla nastavena full replikace, na treti server pak replikace bez *old tabulek.
    12.11.2007 13:26 CET
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    No, pokud to dobre chapu, jedna se ti o omezeni replikace na treti slave server tak, aby provadel pouze INSERT a UPDATE, ale zadny DELETE. Kouknul jsem zbezne do helpu, ale nasel jsem jenom ignorovani celych tabulek.

    Mozna by bylo lepsi resit tvuj problem zalozenim ruznych tabulek pro ruzne roky (pokud je to samozrejme mozne s ohledem na provazanost dat). Samozrejme se mi tohle reseni taky nelibi, ale jinak asi tu replikaci delat nebudes moct.
    12.11.2007 14:52 RapMan | skóre: 14 | blog: RapMan
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    Presne tak, ze by se na ten treti server nereplikoval prikaz DELETE. Ale to asi z hlediska principu replikace neni mozne... Zalozeni tabulek pro ruzne roky se mi nelibi, rad bych zachoval stavajici strukturu.
    12.11.2007 15:19 CET
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    Hele, prece jenom se mi podarilo neco vygooglit. Je to presne stejnej dotaz, jako mas ty:

    http://forums.mysql.com/read.php?12,2505,2505#msg-2505

    Prvni odpoved navrhuje reseni, ktery me taky napadlo trosku jinak. Pro replikaci na slave udelat ucet, kterej bude mit jenom pravo select, insert a update, ale ne pravo DROP a DELETE - jenze bohuzel slave SQL se pripojuje na master a taha si zmeny sam a ty pak provadi jako super user, takze tam ho moc neomezis. V prizpevku navrhuje delat replikaci vlastni silou, ze pri kazde zmene se pripoji aplikace na oba servery a provede SQL. A protoze na slave nebude mit prava na drop a delete, tak se nic nesmaze. Ale to neni klasicka replikace.

    Druha odpoved ale ukazuje nevyhodu, tak nevim, jestli by to opravdu slo nebo ne ... Musis to promyslet z pohledu cely funkce DB, jestli je mozny, abys nejaky mazal nejaky stary zaznam a vytvarel novy, ktery muze mit v nejakem unikatnim poli stejnou hodnotu jako stary smazany zaznam - pak by totiz replikace na slave selhala z duvodu, ze stary zaznam nebyl na 3.slave smazan.

    Celkove mas asi smulu a budes muset zustat u kompletni replikace a nebo delat dumpy s podminkou roku.
    13.11.2007 08:15 vlasta neubauer
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    možná by pomohlo, kdyby tabulky na trojce byly typy ARCHIVE. uz název k tomu docela vybízí..

    tam určitě nejde mazat, ale s updatem si nejsem jist. nebo třetí server vynechat úplně a využít jenom ARCHIVE tabulek

    Založit nové vláknoNahoru

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.