abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
včera 23:22 | Komunita

Na dnes, poslední středu v březnu, připadá Document Freedom Day (DFD, Wikipedie), jenž má upozornit na výhody otevřených standardů a formátů dokumentů. Organizátoři se rozhodli, že letos proběhne Document Freedom Day dvakrát. Druhý letošní Document Freedom Day proběhne 26. dubna.

Ladislav Hagara | Komentářů: 0
včera 12:33 | Nová verze

Byla vydána nová stabilní verze 1.8 (1.8.770.50) webového prohlížeče Vivaldi (Wikipedie). Z novinek vývojáři zdůrazňují vylepšenou historii prohlížení. Ukázka na YouTube. Chromium bylo aktualizováno na verzi 57.0.2987.111.

Ladislav Hagara | Komentářů: 0
včera 05:55 | Zajímavý projekt

Google na svém blogu věnovaném open source představil portál Google Open Source informující mimo jiné o více než 2000 open source projektech vyvíjených nebo používaných v Googlu.

Ladislav Hagara | Komentářů: 0
včera 03:33 | IT novinky

Pro společnost Red Hat skončil 28. února fiskální rok 2017. Dle finančních výsledků bylo čtvrté čtvrtletí, stejně jako celý fiskální rok 2017, opět úspěšné. Tržby jsou zvyšovány již 60 čtvrtletí v řadě. Za čtvrté čtvrtletí 2017 to bylo 629 milionů dolarů, tj. meziroční nárůst 16 %. Tržby za celý fiskální rok činily 2,4 miliardy dolarů, tj. meziroční nárůst 18 %.

Ladislav Hagara | Komentářů: 2
28.3. 18:22 | Bezpečnostní upozornění

V balíčku eject, příkaz pro vysunutí CD/DVD z mechaniky, v linuxových distribucích Ubuntu (USN-3246-1) a Debian (#858872) byla nalezena bezpečnostní chyba CVE-2017-6964 zneužitelná k lokální eskalaci práv. Linuxové distribuce používající eject z balíčku util-linux nejsou zranitelné.

Ladislav Hagara | Komentářů: 15
28.3. 05:55 | Komunita

Dries Buytaert, autor a vedoucí projektu Drupal a prezident Drupal Association, požádal soukromě před několika týdny Larryho Garfielda, jednoho z klíčových vývojářů Drupalu, aby projekt Drupal opustil. Larry Garfield minulý týden na svých stránkách napsal, že důvodem jsou jeho BDSM praktiky a rozpoutal tím bouřlivou diskusi. Na druhý den reagoval Dries Buytaert i Drupal Association. Pokračuje Larry Garfield [reddit].

Ladislav Hagara | Komentářů: 55
28.3. 04:44 | Humor

Společnost SAS zveřejnila na svých stránkách studii s názvem Open Source vs Proprietary: What organisations need to know (pdf). Organizace by měly například vědět, že ideální je mix 40 % open source softwaru a 60 % proprietárního softwaru [Slashdot].

Ladislav Hagara | Komentářů: 12
27.3. 23:33 | Zajímavý software

Byl vydán ShellCheck ve verzi 0.4.6. Jedná se o nástroj pro statickou analýzu shellových skriptů. Shellové skripty lze analyzovat na webové stránce ShellChecku, v terminálu nebo přímo z textových editorů. Příklady kódů, na které analýza upozorňuje a doporučuje je přepsat. ShellCheck je naprogramován v programovacím jazyce Haskell. Zdrojové kódy jsou k dispozici na GitHubu pod licencí GPLv3.

Ladislav Hagara | Komentářů: 0
27.3. 23:33 | Pozvánky

Czech JBoss User Group zve na setkání JBUG v Brně, které se koná ve středu 5. dubna 2017 v prostorách Fakulty informatiky Masarykovy univerzity v místnosti A318 od 18:00. Přednáší Pavol Loffay na téma Distributed Tracing and OpenTracing in Microservice Architecture.

… více »
mjedlick | Komentářů: 0
27.3. 11:33 | Zajímavý článek

Národní centrum kybernetické bezpečnosti (NCKB) vypracovalo (pdf) 26 podrobných bezpečnostních doporučení pro síťové správce. Tato doporučení jsou nastavena tak, aby je bylo možné aplikovat v každé instituci. Jsou rozdělena na tři základní části: bezpečnost infrastruktury, bezpečnost stanic a serverů a bezpečnost uživatelů.

Ladislav Hagara | Komentářů: 17
Jak se stavíte k trendu ztenčování přenosných zařízení (smartphony, notebooky)?
 (14%)
 (2%)
 (72%)
 (3%)
 (10%)
Celkem 967 hlasů
 Komentářů: 72, poslední 1.3. 11:16
    Rozcestník

    Dotaz: PostgreSQL indexy

    18.1.2012 14:04 Program
    PostgreSQL indexy
    Přečteno: 432×
    Zdravím, před nějakou dobou jsem narazil u MySQL na problémy s mazáním řádků ve velkých tabulkách (14-40 mil. řádků). Rychlost byla žalostná. Zkoušel jsem db přeimportovat na PostgreSQL (9.1), ale výsledek byl ještě horší. postmaster pořád počítal index (integer), skoro nehrabal na disk a operace trvaly řádově hodiny až dny.

    Zkusil jsem vytvořit nad tabulkou HASH indexy a hle, doba zpracování se smrskla na pár minut. Bohužel hash indexy jsou nedoporučované a plně nepodporované. Všude jsem se dočetl, že nemají výkonnostní benefit prakticky žádný.

    Chtěl jsem se tedy zeptat, jak to s indexy u psql je, přehlídl jsem nějakou možnou optimalizaci BTREE indexů, která by je posunula na úroveň HASH indexů?

    Mockrát díky.

    Odpovědi

    okbob avatar 18.1.2012 19:03 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: PostgreSQL indexy
    Jak mazete?

    Mazete jednim prikazem nebo iteracne

    Jedete v transakci?

    Chytal se vam index?

    co vam vypise EXPLAIN DELETE ... ?

    Update BTREE je relativne pomala operace (zvlast pokud jedete v nahodnem poradi) - pokud Vam pomuze HASH, tak to nereste - proste pred intenzivnim mazanim si vytvorte hash index, dropnete pripadne btree indexy, promazejte, dropnete hash index a vytvorte Btree. HASH index se prilis nepouziva, protoze je pouzitelny pouze pro filtrovani na rovnost. Pro vsechny ostatni operace se neda pouzit. Ve starsich verzich byl navic vykonostne horsi ve vsech ohledech nez BTREE. V 9 prosel refaktoringem. A to je tak asi vsechno o tom vim.

    Pro BTREE zkuste seradit ID, ktera mazete - tak abyste mazal vzestupne. Treba si je ulozit nekam do docasne tabulky

    id urcena ke smazani jsem ulozil do tabulky delid
    --overeni, ze se sortuje
    postgres=# explain DELETE FROM g USING delid WHERE g.i = delid.i;
                                           QUERY PLAN                                       
    ----------------------------------------------------------------------------------------
     Delete on g  (cost=11459.39..47502.35 rows=100000 width=12)
       ->  Merge Join  (cost=11459.39..47502.35 rows=100000 width=12)
             Merge Cond: (g.i = delid.i)
             ->  Index Scan using g_pkey on g  (cost=0.00..303936.00 rows=9999977 width=10)
             ->  Materialize  (cost=11459.32..11959.32 rows=100000 width=10)
                   ->  Sort  (cost=11459.32..11709.32 rows=100000 width=10)
                         Sort Key: delid.i
                         ->  Seq Scan on delid  (cost=0.00..1443.00 rows=100000 width=10)
    
    odstraneni 77 tis radku trvalo cca 57 ms
    18.1.2012 21:43 Program
    Rozbalit Rozbalit vše Re: PostgreSQL indexy
    Dobrý den a díky za odpověď.

    Maže se přes FK ON DELETE CASCADE, takže víceméně náhodně, ale pomalé jsou všechny operace nad danou tabulkou, kde se využívají klíče (zejména JOIN z odkazované tabulky). V update BTREE problém není, protože po přidání HASH indexu ty steré jsem nemazal (i když by to dost možná ještě více zrychlilo). Nepoužitým indexem to také není, protože to by skenovalo tabulku, což se nedělo.

    Co se explainu týče, teď ho po ruce nemám, ale nic zajímavého tam nebylo, jen z explain analyze byly vidět šílené časy.

    Mě jde o to, že i v PSQL 9. je HASH index nedoporučovaný a nelogovoaný, z dokumentace mi připadalo, že je to jakýsi pokus se kterým se nepočítá. Nic méně výkonnostní benefit byl obrovský a při použití jen BTREE indexů dotaz visel na procesoru a strašně dlouho. Nemyslím, že je na BTREE něco tak hrozně výpočetně náročného, takže by mě zajímalo, jestli to není třeba typická vlastnost nevhodného nastavení (až na shared buffers bylo asi všechno default).

    Díky
    okbob avatar 18.1.2012 22:13 okbob | skóre: 30 | blog: systemakuv_blog | Benešov
    Rozbalit Rozbalit vše Re: PostgreSQL indexy
    Z testů by HASH index neměl být extrémně lepší než BTREE - spíše naopak - nicméně vždy záleží i na samotných datech. Možná mají Vaše data takové rozdělení a takový typ, že je na nich BTREE neefektivní a naopak HASH funguje výborně. Dovedu si představit, že pokud byste měl klíče textové v určitém tvaru, tak by BTREE nemusel dopadnout dobře. Musel bych mít v ruce Vaše data, abych se mohl podívat jak vypadá index zevnitř - případně se i vy sám můžete podívat na stav indexu - v contribu je modul pgstattuple, kde je funkce pgstatindex, která vrací fragmentaci indexu, hloubku indexu a další údaje.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.