abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 06:00 | Zajímavý projekt

    Jack Dorsey představil (𝕏, Nostr) svůj nový projekt bitchat. Jedná se o bezpečnou decentralizovanou peer-to-peer aplikaci pro zasílání zpráv bez potřeby internetu, serverů a telefonních čísel. Využívá se Bluetooth Mesh Network. Detaily v technické dokumentaci. Zdrojové kódy jsou k dispozici pod licencí Unlicense.

    Ladislav Hagara | Komentářů: 2
    dnes 04:22 | Nová verze

    Hudební přehrávač Amarok byl vydán v nové verzi 3.3 "Far Above the Clouds". Nově je postaven na Qt6/KF6 a využívá GStreamer místo Phononu.

    Ladislav Hagara | Komentářů: 0
    včera 18:11 | IT novinky

    Společnost IBM představila novou generaci svých serverů: IBM Power11.

    Ladislav Hagara | Komentářů: 1
    včera 15:33 | Komunita

    Multiplatformní digitální pracovní stanice pro práci s audiem Ardour byla postavena na GTK2. Vývojáři neplánovali její portaci na GTK3 nebo GTK4. Naopak, v lednu loňského roku si vytvořili vlastní fork GTK2 s názvem YTK. Ten v únoru letošního roku přestal být volitelným a nově byla zcela odstraněna podpora GTK2.

    Ladislav Hagara | Komentářů: 15
    včera 11:33 | Nová verze

    Byla vydána nová verze 6.4 linuxové distribuce Parrot OS (Wikipedie). Jedná se o linuxovou distribuci založenou na Debianu a zaměřenou na penetrační testování, digitální forenzní analýzu, reverzní inženýrství, hacking, anonymitu nebo kryptografii. Přehled novinek v příspěvku na blogu.

    Ladislav Hagara | Komentářů: 0
    včera 11:22 | Pozvánky

    Společnost initMAX pořádá sérii bezplatných webinářů věnovaných novému Zabbixu 7.4. Podrobnosti a registrace na webu initMAX.

    … více »
    Heřmi | Komentářů: 0
    včera 03:44 | Nová verze

    Byla vydána verze 7.0 open source platformy pro správu vlastního cloudu OpenNebula (Wikipedie). Kódový název nové verze je Phoenix. Přehled novinek v poznámkách k vydání v aktualizované dokumentaci.

    Ladislav Hagara | Komentářů: 1
    včera 00:11 | Nová verze

    E-mailový klient Thunderbird byl vydán ve verzi 140.0 ESR „Eclipse“. Jde o vydání s dlouhodobou podporou, shrnující novinky v upozorněních, vzhledu, správě složek a správě účtů. Pozor, nezaměňovat s průběžným vydáním 140.0, které bylo dostupné o týden dříve.

    Fluttershy, yay! | Komentářů: 15
    7.7. 15:11 | IT novinky

    Organizace Video Games Europe reprezentující vydavatele počítačových her publikovala prohlášení k občanské iniciativě Stop Destroying Videogames.

    Ladislav Hagara | Komentářů: 0
    7.7. 13:22 | IT novinky

    Společnost Raspberry Pi nově nabzí Raspberry Pi Camera Module 3 Sensor Assembly, tj. samostatné senzorové moduly z Raspberry Pi Camera Module 3.

    Ladislav Hagara | Komentářů: 0
    Jaký je váš oblíbený skriptovací jazyk?
     (60%)
     (27%)
     (7%)
     (2%)
     (1%)
     (1%)
     (3%)
    Celkem 374 hlasů
     Komentářů: 16, poslední 8.6. 21:05
    Rozcestník

    Pokrocila replikace v MySQL

    12.11.2007 12:16 | Přečteno: 2232× | PC / IT

    Tak jsem se take musel ponorit do taju databazoveho systemu MySQL, abych se pokusil vyresit nasledujici problem.

    V soucasne dobe pouzivam 2 servery, jeden jako master, druhy jako slave. Kazdy zaznam na master server se replikuje na slave, proste klasicka replikace.

    Jenze data pribyvaji, cca 3-10 zaznamu za minutu na master server, to vse replikovano na slave (celkem asi 35 milionu zaznamu v ruznych databazich a tabulkach). Po diskusi typu "vsechna data jsou dulezita, nektera vsak jeste dulezitejsi" se doslo k zaveru, ze data starsi nez rok nejsou tak dulezita, presto jejich odstraneni nepripada v uvahu. Proto bych chtel dojit k nasledujicimu reseni:

    Pridat treti server, na ktery by se opet replikovaly vsechny zaznamy (data or roku 2004, kazda tabulka obsahuje sloupec timestamp). Na master serveru nastavit, aby se kazdy den (napr. v pulnoci) smazaly data starsi nez jeden rok (ve vsech databazich, ve vsech tabulkach). Potom bych mel nejdulezitejsi data na master i slave serveru vzdy do stari jednoho roku, na tretim serveru pak vsechny, vcetne tech nejaktualnejsich.

    Bohuzel nejsem v MySQL tak zbehly, tak jsem se chtel zeptat, zda uz nekdo podobny pripad neresil, popripadne me nakopnul spravnym smerem. Problem replikace je, ze replikuje opravdu vsechno, tedy nevim, jak nastavit presouvani dat na treti server, a jak resit automaticke mazani starsich dat nez jeden rok (nejspis pomoci nejake stored procedure?)...

    Nebo lze tento problem resit uplne jinak?

           

    Hodnocení: 100 %

            špatnédobré        

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    Komentáře

    Vložit další komentář

    12.11.2007 13:19 Filip Jirsák | skóre: 68 | blog: Fa & Bi
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    a master serveru nastavit, aby se kazdy den smazaly data starsi nez jeden rok.
    Pokud nemáte problém s místem, nedělal bych archivaci každý den. Zbytečně budete fragmentovat databázi a nutit jí stavět nové indexy (nebo naopak bude používat zastaralé indexy). Perioda jednou za měsíc by podle mne mohla stačit.
    12.11.2007 13:20 Jakub Suchy | skóre: 22 | Praha
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    A z ceho vyplyva potreba mazat starsi data? Moc velke tabulky, ktere jsou pak pomale, nebo nedostatek mista na disku?

    To druhe se da vyresit i jinak, nez mazanim a to prvni, to bych vyresil treba tak, ze bych vytvoril vzdy neco jako "old" tabulku, ktera by mela identickou strukturu jako hlavni, ale odlejvala by se do ni data starsi nez rok. Vse na jednom serveru, ale v jine tabulce, tudiz nezpomaluje pri SELECTech...
    12.11.2007 13:52 Michal Čihař | skóre: 61 | blog: Bláboly | Praha
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    Nebo odvážně nainstalovat MySQL 5.1 a udělat to přes oddíly. Vliv na výkon to má stejný, jenom člověk nemusí myslet na to, ve které tabulce zrovna tyhle data jsou.
    12.11.2007 14:50 RapMan | skóre: 14 | blog: RapMan
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    Mazani starych dat chci realizovat kvuli velikosti tabulek, potom trva zaloha neprimerene dlouho, stejne tak jeji obnova. To prelevani dat do stare tabulky by slo vyresit pomoci stored procedure?
    xkucf03 avatar 15.11.2007 08:37 xkucf03 | skóre: 49 | blog: xkucf03
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    bych vytvoril vzdy neco jako "old" tabulku, ktera by mela identickou strukturu jako hlavni, ale odlejvala by se do ni data starsi nez rok
    Nebo použít partyšny v Oraclu :-)
    Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
    15.11.2007 09:45 RapMan | skóre: 14 | blog: RapMan
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    Co jsem tak studoval, tak reseni s old tabulkami by bylo asi nejpruchodnejsi, s tim, ze by na master serveru byly typu federated a smerovaly by na treti server, na druhy server by byla nastavena full replikace, na treti server pak replikace bez *old tabulek.
    12.11.2007 13:26 CET
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    No, pokud to dobre chapu, jedna se ti o omezeni replikace na treti slave server tak, aby provadel pouze INSERT a UPDATE, ale zadny DELETE. Kouknul jsem zbezne do helpu, ale nasel jsem jenom ignorovani celych tabulek.

    Mozna by bylo lepsi resit tvuj problem zalozenim ruznych tabulek pro ruzne roky (pokud je to samozrejme mozne s ohledem na provazanost dat). Samozrejme se mi tohle reseni taky nelibi, ale jinak asi tu replikaci delat nebudes moct.
    12.11.2007 14:52 RapMan | skóre: 14 | blog: RapMan
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    Presne tak, ze by se na ten treti server nereplikoval prikaz DELETE. Ale to asi z hlediska principu replikace neni mozne... Zalozeni tabulek pro ruzne roky se mi nelibi, rad bych zachoval stavajici strukturu.
    12.11.2007 15:19 CET
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    Hele, prece jenom se mi podarilo neco vygooglit. Je to presne stejnej dotaz, jako mas ty:

    http://forums.mysql.com/read.php?12,2505,2505#msg-2505

    Prvni odpoved navrhuje reseni, ktery me taky napadlo trosku jinak. Pro replikaci na slave udelat ucet, kterej bude mit jenom pravo select, insert a update, ale ne pravo DROP a DELETE - jenze bohuzel slave SQL se pripojuje na master a taha si zmeny sam a ty pak provadi jako super user, takze tam ho moc neomezis. V prizpevku navrhuje delat replikaci vlastni silou, ze pri kazde zmene se pripoji aplikace na oba servery a provede SQL. A protoze na slave nebude mit prava na drop a delete, tak se nic nesmaze. Ale to neni klasicka replikace.

    Druha odpoved ale ukazuje nevyhodu, tak nevim, jestli by to opravdu slo nebo ne ... Musis to promyslet z pohledu cely funkce DB, jestli je mozny, abys nejaky mazal nejaky stary zaznam a vytvarel novy, ktery muze mit v nejakem unikatnim poli stejnou hodnotu jako stary smazany zaznam - pak by totiz replikace na slave selhala z duvodu, ze stary zaznam nebyl na 3.slave smazan.

    Celkove mas asi smulu a budes muset zustat u kompletni replikace a nebo delat dumpy s podminkou roku.
    13.11.2007 08:15 vlasta neubauer
    Rozbalit Rozbalit vše Re: Pokrocila replikace v MySQL
    možná by pomohlo, kdyby tabulky na trojce byly typy ARCHIVE. uz název k tomu docela vybízí..

    tam určitě nejde mazat, ale s updatem si nejsem jist. nebo třetí server vynechat úplně a využít jenom ARCHIVE tabulek

    Založit nové vláknoNahoru

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.