abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 19:33 | Zajímavý článek Marek Stopka | Komentářů: 0
dnes 17:55 | Nová verze

Bylo oznámeno vydání nové verze 3.0.0 a krátce na to opravných verzí 3.0.1 a 3.0.2 nástroje mitmproxy určeného pro vytváření interaktivních MITM proxy pro HTTP a HTTPS komunikaci. Přehled novinek v příspěvku na blogu. Přispělo 56 vývojářů. Aktualizována byla také dokumentace [Hacker News].

Ladislav Hagara | Komentářů: 0
dnes 01:11 | Nová verze

Byla vydána nová major verze 3.0 svobodného multiplatformního geografického informačního systému QGIS (Wikipedie). Její kódové jméno je Girona, dle názvu města, ve kterém proběhlo 15. setkání vývojářů QGISu. Přehled novinek i s náhledy a animacemi v poznámkách k vydání.

Ladislav Hagara | Komentářů: 0
včera 20:33 | Zajímavý článek

Nadace Raspberry Pi vydala sedmašedesáté číslo (pdf) anglicky psaného časopisu MagPi věnovanému Raspberry Pi a projektům postaveným na tomto jednodeskovém počítači a čtvrté číslo (pdf) časopisu pro kutily HackSpace věnovanému navíc 3D tisku, pájení, řezání nebo i elektronice a IoT.

Ladislav Hagara | Komentářů: 0
včera 18:33 | Komunita

Morevna Project, který stojí za řadou svobodného softwaru pro animátory (např. Synfig Studio, RenderChan nebo Papagayo-NG) a svobodnými (CC-BY-SA) animovanými filmy/komiksy Morevna (3. díl) a Pepper&Carrot: The Potion Contest (6. díl), sbírá do 1. března příspěvky na 4. díl svého animovaného filmu Morevna. Mezi odměnami přispěvatelům lze najít např. i videokurzy animace v Synfigu či Blenderu.

xHire | Komentářů: 0
včera 12:22 | Bezpečnostní upozornění

Ve středu vydaná "npm@next" verze 5.7.0 správce balíčků pro JavaScript npm (Wikipedie, Node Package Manager) přinesla řadě uživatelů Linuxu nečekanou nepříjemnost. V závislosti na způsobu instalace a ve spojení s příkazem sudo mohlo dojít ke změně vlastníka u systémových souborů, také například /. Chyba je opravena v před několika hodinami vydané verzi npm 5.7.1 [reddit].

Ladislav Hagara | Komentářů: 11
včera 10:00 | Nová verze

Byla vydána verze 10.5 open source alternativy GitHubu, tj. softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech, GitLab (Wikipedie). Představení nových vlastností v příspěvku na blogu. Zdůraznit lze integrovanou podporu Let's Encrypt.

Ladislav Hagara | Komentářů: 0
22.2. 12:33 | Komunita

Příspěvek na blogu Signalu (Wikipedie) informuje o založení neziskové nadace Signal Foundation, jež bude zastřešovat další vývoj tohoto svobodného bezpečného komunikátoru běžícího také na Linuxu (Signal Desktop). Brian Acton, spoluzakladatel WhatsAppu, věnoval nadaci 50 milionů dolarů [Hacker News].

Ladislav Hagara | Komentářů: 1
22.2. 05:55 | Zajímavý článek

Článek na Fedora Magazine krátce představuje programovací jazyk Rust a několik zajímavých v Rustu naprogramovaných terminálových aplikací. Jedná se o alternativu k příkazu grep ripgrep, moderní barevnou alternativu k příkazu ls exa, příkazem cloc inspirovaný tokei a zvířátko v terminálu ternimal.

Ladislav Hagara | Komentářů: 0
21.2. 23:55 | Zajímavý projekt

Byl spuštěn Humble Classics Return Bundle. Za vlastní cenu lze koupit hry Broken Sword 5 - The Serpent's Curse, Shadowrun Returns a Shadowrun: Dragonfall - Director's Cut. Při nadprůměrné platbě (aktuálně 8,48 $) také Shadowrun: Hong Kong - Extended Edition, Wasteland 2: Director's Cut - Standard Edition, Age of Wonders III a Xenonauts. Při platbě 15 $ a více lze získat navíc Torment: Tides of Numenera a Dreamfall Chapters: The Final Cut Edition.

Ladislav Hagara | Komentářů: 0
Který webový vyhledávač používáte nejčastěji?
 (2%)
 (28%)
 (62%)
 (2%)
 (3%)
 (0%)
 (1%)
 (1%)
Celkem 447 hlasů
 Komentářů: 35, poslední 21.2. 19:51
    Rozcestník

    Dotaz: PostgreSQL skalovanie?

    29.9.2013 22:05 Mike Stuffel
    PostgreSQL skalovanie?
    Přečteno: 1836×

    Dobry den,

    Mame dosluhujuci databazovy server PostgreSQL 8.3 s 12 jednoduchymi databazami, do ktorych sa ukladaju nejake statistiky + dalsie doplnkove udaje. Databaza sa vyuziva defakto ako datovy sklad. I/O performance je fajn. Backupy na deduplikovane ulozisko tiez funguju v pohode. Vseho vsudy je tam 80 tabuliek. Data zaberaju cca 800 GB. V priebehu dalsieho roka je predpoklad ze databaza narastie na cca 900 - 1000 GB

     

    Aj ked podla dokumentacie max velkost tabulky je 32 TB co je pre nase potreby zrejme limit ktoreho nedosiahneme, mam trochu obavy z "magickej" hranice 1 TB

     

    Testovali sme aj noSQL - lebo teraz je to in :) - data boli konvertovane do JSONu - couchDB a mongoDB ale tieto databazy zaberaju asi o 170 - 210% viac diskoveho priestoru ako data v PostgreSQL co sa mne osobne moc nepacilo.

     

    Ma zmysel sa zaoberat nejakym skalovanim PostgreSQL (ciel: zvysenie bezpecnosti a integrity dat)? Alebo "magicku" hranicu 1 TB nechat plavat a pripravit sefa na kupu noveho dostatocne vykonneho servera a premigrovat na PostgresSQL 9.x?

     

    Dakujem za nazory


    Řešení dotazu:


    Odpovědi

    okbob avatar 30.9.2013 08:38 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: PostgreSQL skalovanie?
    Při takto velkých datech by první otázkou mělo být, zda vše musí být v jedné tabulce, případně v jedné databázi?

    1T bych se nebál - interně PostgreSQL používá soubory o velikosti 1G. Ale práce s takto velkými daty je nepraktická. Určitě se vyplatí myslet o partitioningu, ať už vlastním nebo vestavěném. A při větších objemech i o možnosti rozdělení dat na několik sereverů - mít rozdělené schéma do několika databází.
    30.9.2013 20:51 Mike Stuffel
    Rozbalit Rozbalit vše Re: PostgreSQL skalovanie?

    Sak prave, ja sa hlavne obavam, ked budeme kupovat novy server, ci tych 1 TB na jeden PostgresSQL nebude prilis velke susto.

    Neobavam sa nedostatocneho vykonu ani I/O kedze struktura dat je velmi jednoducha a ziadne komplexne SELECTy ani komplokovane JOINy sa nepouzivaju. Skor sa obavam o mnozstvo dat a zachovanie ich bezpecnosti a integrity a ci to PostgreSQL zvladne.

    Pocitam so zivotnostou servera tak 3-5 rokov co by znamenalo ze za 5 rokov tam bude cca 2 - 2.5 TB dat. A ked uz sa to bude riesit tak poriadne.

    V takom pripade sa naozaj javi ako dobre riesenie "rozdelenie" databaz na viacero serverov. da sa to vobec urobit tak aby bol jeden server na ktory sa budu pripajat klienti a databazy sa budu fyzicky nachadzat na inych serveroch? chcel by som zabranit aby jeden PostgreSQL sa staral o vsetky data - ked sa nahodou stane problem, aby to neposkodilo vsetky data ale prinajhorsom len tu konretnu databazu

    okbob avatar 30.9.2013 21:23 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: PostgreSQL skalovanie?
    2.5T není málo, ale zase na dnešek to není až tolik - samotné uložení je snadné - otázkou je zálohování, způsob zálohování, požadavky na dobu obnovy ze zálohy, reakční doba dotazů. Tam už se samozřejmě projeví velikost RAM a parametry IO. Bezpečnost a integritu bych neviděl jako problém. Ty největší databáze jsou ještě o dva řády dál.

    Skype má distribuovanou databázi a o integraci se mu stará proxy uzel PL/Proxy. Osobně bych si pro jednodušší aplikaci (s minimem různých aplikací, které se připojují k db) napsal vlastní jednoduchý rozbočovač - obalil bych si driver databáze - PL/Proxy má význam pro složitější než triviální architekturu.
    1.10.2013 14:33 Mike Stuffel
    Rozbalit Rozbalit vše Re: PostgreSQL skalovanie?

    Dakujem, nasiel som pekne PDF-ko ohladom PL/Proxy http://www.2ndquadrant.com/static/2quad/media/pdfs/talks/char10/plproxyandfriends.pdf je tam odprezentovana podobna situacia ako u nas.

    Heron avatar 30.9.2013 16:19 Heron | skóre: 51 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: PostgreSQL skalovanie?
    Hranice bych se nebál a pokud vám to k vaší spokojenosti fungovalo do teď, tak v 9.x si výkonnostně polepšíte. V tomto roce jsem migroval asi 90 DB o celkové velikosti přes 200GB (upgrade 8.1 -> 9.2) a nárůst výkonu a zmenšení velikosti na disku (díky kompresi LO, toastu) je opravdu znát. Tímto upgradem jsme si ušetřili (posunuli) nákup HW o několik let.
    Řešení 1× (okbob)
    30.9.2013 20:53 Mike Stuffel
    Rozbalit Rozbalit vše Re: PostgreSQL skalovanie?
    dakujem... je dobre mat pozitivny feedback od ludi co uz migrovali :)
    16.12.2013 12:50 Radim Kolář | skóre: 11
    Rozbalit Rozbalit vše Re: PostgreSQL skalovanie?
    8.1 to byla historie. Oproti 8.4 je na 9.1 vykonostni rozdil minimalni.

    8.4 je v RHEL6(tam jsou 2 verze pgsql), v RHEL7 je 9.2.

    RHEL7 je oproti 6 o 10% rychlejsi.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.