abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 15:00 | Nová verze

Bylo oznámeno vydání nové stabilní verze 1.28 a beta verze 1.29 open source textového editoru Atom (Wikipedie). Přehled novinek i s náhledy v příspěvku na blogu. Podrobnosti v poznámkách k vydání. Atom 1.28 je postaven na Electronu 2.0.

Ladislav Hagara | Komentářů: 0
dnes 14:00 | Nová verze

Byla vydána nová verze 2.3.0 multiplatformního svobodného frameworku pro zpracování obrazu G'MIC (GREYC's Magic for Image Computing, Wikipedie). Přehled novinek i s náhledy na PIXLS.US.

Ladislav Hagara | Komentářů: 0
dnes 13:00 | Komunita

Akční RPG hra Shadowrun Returns Deluxe, kterou lze hrát i na Linuxu je nyní zdarma na Humble Bundle. Hra vyšla díky kampani na Kickstarteru v roce 2013.

tajny_007 | Komentářů: 0
dnes 01:00 | Nová verze

Byla vydána verze 1.27 programovacího jazyka Rust (Wikipedie). Z novinek je nutno zmínit podporu SIMD (Single Instruction Multiple Data). Podrobnosti v poznámkách k vydání. Vyzkoušet Rust lze například na stránce Rust by Example.

Ladislav Hagara | Komentářů: 4
včera 16:22 | IT novinky

CEO Intelu Brian Krzanich rezignoval (tisková zpráva). Oficiálním důvodem je "vztah na pracovišti". S okamžitou platností se dočasným CEO stal Robert Swan.

Ladislav Hagara | Komentářů: 31
včera 14:11 | Komunita

Konsorcium Linux Foundation ve spolupráci s kariérním portálem Dice.com zveřejnilo 2018 Open Source Jobs Report. Poptávka po odbornících na open source neustále roste.

Ladislav Hagara | Komentářů: 1
včera 12:44 | Zajímavý článek

Na stránkách linuxové distribuce Ubuntu Studio byla publikována příručka Ubuntu Studio Audio Handbook věnována vytváření, nahrávaní a úpravě zvuků a hudby nejenom v Ubuntu Studiu. Jedná se o živý dokument editovatelný na jejich wiki.

Ladislav Hagara | Komentářů: 0
včera 12:11 | Zajímavý projekt

Společnost Red Hat koupila na konci ledna společnost CoreOS stojící mimo jiné za odlehčenou linuxovou distribucí optimalizovanou pro běh kontejnerů Container Linux. Matthew Miller, vedoucí projektu Fedora, představil v článku na Fedora Magazine nový podprojekt Fedory s názvem Fedora CoreOS. Fedora CoreOS má být to nejlepší z Container Linuxu a Fedora Atomic Hostu. Podrobnosti v často kladených otázkách (FAQ) a v diskusním fóru.

Ladislav Hagara | Komentářů: 0
včera 08:00 | Nová verze

Po více než devíti měsících vývoje od vydání verze 11.0 byla vydána verze 12.0 zvukového serveru PulseAudio. Přehled novinek v poznámkách k vydání.

Ladislav Hagara | Komentářů: 11
20.6. 20:00 | Upozornění

Výbor pro právní záležitosti Evropského parlamentu (JURI) dnes přijal své stanovisko ke kontroverzní novele směrnice, která v EU upravuje autorské právo v online prostředí (Pro: 14, Proti: 9, Zdrželo se: 2). Další kolo legislativního procesu proběhne na začátku července.

Ladislav Hagara | Komentářů: 32
Jak čtete delší texty z webových stránek?
 (78%)
 (22%)
 (4%)
 (7%)
 (2%)
 (10%)
Celkem 243 hlasů
 Komentářů: 39, poslední včera 17:44
    Rozcestník

    Dotaz: PostgreSQL skalovanie?

    29.9.2013 22:05 Mike Stuffel
    PostgreSQL skalovanie?
    Přečteno: 1836×

    Dobry den,

    Mame dosluhujuci databazovy server PostgreSQL 8.3 s 12 jednoduchymi databazami, do ktorych sa ukladaju nejake statistiky + dalsie doplnkove udaje. Databaza sa vyuziva defakto ako datovy sklad. I/O performance je fajn. Backupy na deduplikovane ulozisko tiez funguju v pohode. Vseho vsudy je tam 80 tabuliek. Data zaberaju cca 800 GB. V priebehu dalsieho roka je predpoklad ze databaza narastie na cca 900 - 1000 GB

     

    Aj ked podla dokumentacie max velkost tabulky je 32 TB co je pre nase potreby zrejme limit ktoreho nedosiahneme, mam trochu obavy z "magickej" hranice 1 TB

     

    Testovali sme aj noSQL - lebo teraz je to in :) - data boli konvertovane do JSONu - couchDB a mongoDB ale tieto databazy zaberaju asi o 170 - 210% viac diskoveho priestoru ako data v PostgreSQL co sa mne osobne moc nepacilo.

     

    Ma zmysel sa zaoberat nejakym skalovanim PostgreSQL (ciel: zvysenie bezpecnosti a integrity dat)? Alebo "magicku" hranicu 1 TB nechat plavat a pripravit sefa na kupu noveho dostatocne vykonneho servera a premigrovat na PostgresSQL 9.x?

     

    Dakujem za nazory


    Řešení dotazu:


    Odpovědi

    okbob avatar 30.9.2013 08:38 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: PostgreSQL skalovanie?
    Při takto velkých datech by první otázkou mělo být, zda vše musí být v jedné tabulce, případně v jedné databázi?

    1T bych se nebál - interně PostgreSQL používá soubory o velikosti 1G. Ale práce s takto velkými daty je nepraktická. Určitě se vyplatí myslet o partitioningu, ať už vlastním nebo vestavěném. A při větších objemech i o možnosti rozdělení dat na několik sereverů - mít rozdělené schéma do několika databází.
    30.9.2013 20:51 Mike Stuffel
    Rozbalit Rozbalit vše Re: PostgreSQL skalovanie?

    Sak prave, ja sa hlavne obavam, ked budeme kupovat novy server, ci tych 1 TB na jeden PostgresSQL nebude prilis velke susto.

    Neobavam sa nedostatocneho vykonu ani I/O kedze struktura dat je velmi jednoducha a ziadne komplexne SELECTy ani komplokovane JOINy sa nepouzivaju. Skor sa obavam o mnozstvo dat a zachovanie ich bezpecnosti a integrity a ci to PostgreSQL zvladne.

    Pocitam so zivotnostou servera tak 3-5 rokov co by znamenalo ze za 5 rokov tam bude cca 2 - 2.5 TB dat. A ked uz sa to bude riesit tak poriadne.

    V takom pripade sa naozaj javi ako dobre riesenie "rozdelenie" databaz na viacero serverov. da sa to vobec urobit tak aby bol jeden server na ktory sa budu pripajat klienti a databazy sa budu fyzicky nachadzat na inych serveroch? chcel by som zabranit aby jeden PostgreSQL sa staral o vsetky data - ked sa nahodou stane problem, aby to neposkodilo vsetky data ale prinajhorsom len tu konretnu databazu

    okbob avatar 30.9.2013 21:23 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: PostgreSQL skalovanie?
    2.5T není málo, ale zase na dnešek to není až tolik - samotné uložení je snadné - otázkou je zálohování, způsob zálohování, požadavky na dobu obnovy ze zálohy, reakční doba dotazů. Tam už se samozřejmě projeví velikost RAM a parametry IO. Bezpečnost a integritu bych neviděl jako problém. Ty největší databáze jsou ještě o dva řády dál.

    Skype má distribuovanou databázi a o integraci se mu stará proxy uzel PL/Proxy. Osobně bych si pro jednodušší aplikaci (s minimem různých aplikací, které se připojují k db) napsal vlastní jednoduchý rozbočovač - obalil bych si driver databáze - PL/Proxy má význam pro složitější než triviální architekturu.
    1.10.2013 14:33 Mike Stuffel
    Rozbalit Rozbalit vše Re: PostgreSQL skalovanie?

    Dakujem, nasiel som pekne PDF-ko ohladom PL/Proxy http://www.2ndquadrant.com/static/2quad/media/pdfs/talks/char10/plproxyandfriends.pdf je tam odprezentovana podobna situacia ako u nas.

    Heron avatar 30.9.2013 16:19 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: PostgreSQL skalovanie?
    Hranice bych se nebál a pokud vám to k vaší spokojenosti fungovalo do teď, tak v 9.x si výkonnostně polepšíte. V tomto roce jsem migroval asi 90 DB o celkové velikosti přes 200GB (upgrade 8.1 -> 9.2) a nárůst výkonu a zmenšení velikosti na disku (díky kompresi LO, toastu) je opravdu znát. Tímto upgradem jsme si ušetřili (posunuli) nákup HW o několik let.
    Řešení 1× (okbob)
    30.9.2013 20:53 Mike Stuffel
    Rozbalit Rozbalit vše Re: PostgreSQL skalovanie?
    dakujem... je dobre mat pozitivny feedback od ludi co uz migrovali :)
    16.12.2013 12:50 Radim Kolář | skóre: 11
    Rozbalit Rozbalit vše Re: PostgreSQL skalovanie?
    8.1 to byla historie. Oproti 8.4 je na 9.1 vykonostni rozdil minimalni.

    8.4 je v RHEL6(tam jsou 2 verze pgsql), v RHEL7 je 9.2.

    RHEL7 je oproti 6 o 10% rychlejsi.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.