abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 04:44 | Nová verze

    Nová čísla časopisů od nakladatelství Raspberry Pi: MagPi 140 (pdf) a HackSpace 77 (pdf).

    Ladislav Hagara | Komentářů: 0
    dnes 01:00 | Nová verze

    ESPHome, tj. open source systém umožňující nastavovat zařízení s čipy ESP (i dalšími) pomocí konfiguračních souborů a připojit je do domácí automatizace, například do Home Assistantu, byl vydán ve verzi 2024.4.0.

    Ladislav Hagara | Komentářů: 0
    včera 22:11 | IT novinky Ladislav Hagara | Komentářů: 0
    včera 20:55 | Nová verze

    Neziskové průmyslové konsorcium Khronos Group vydalo verzi 1.1 specifikace OpenXR (Wikipedie), tj. standardu specifikujícího přístup k platformám a zařízením pro XR, tj. platformám a zařízením pro AR (rozšířenou realitu) a VR (virtuální realitu). Do základu se z rozšíření dostalo XR_EXT_local_floor. Společnost Collabora implementuje novou verzi specifikace do platformy Monado, tj. open source implementace OpenXR.

    Ladislav Hagara | Komentářů: 2
    včera 17:22 | Nová verze

    Byla vydána nová verze 0.38.0 multimediálního přehrávače mpv (Wikipedie) vycházejícího z přehrávačů MPlayer a mplayer2. Přehled novinek, změn a oprav na GitHubu. Požadován je FFmpeg 4.4 nebo novější a také libplacebo 6.338.2 nebo novější.

    Ladislav Hagara | Komentářů: 1
    včera 17:11 | Nová verze

    ClamAV (Wikipedie), tj. multiplatformní antivirový engine s otevřeným zdrojovým kódem pro detekci trojských koní, virů, malwaru a dalších škodlivých hrozeb, byl vydán ve verzích 1.3.1, 1.2.3 a 1.0.6. Ve verzi 1.3.1 je mimo jiné řešena bezpečnostní chyba CVE-2024-20380.

    Ladislav Hagara | Komentářů: 1
    včera 12:11 | IT novinky

    Digitální a informační agentura (DIA) oznámila (PDF, X a Facebook), že mobilní aplikace Portál občana je ode dneška oficiálně venku.

    Ladislav Hagara | Komentářů: 8
    včera 05:11 | Komunita

    #HACKUJBRNO 2024, byly zveřejněny výsledky a výstupy hackathonu města Brna nad otevřenými městskými daty, který se konal 13. a 14. dubna 2024.

    Ladislav Hagara | Komentářů: 2
    17.4. 17:55 | IT novinky

    Společnost Volla Systeme stojící za telefony Volla spustila na Kickstarteru kampaň na podporu tabletu Volla Tablet s Volla OS nebo Ubuntu Touch.

    Ladislav Hagara | Komentářů: 3
    17.4. 17:44 | IT novinky

    Společnost Boston Dynamics oznámila, že humanoidní hydraulický robot HD Atlas šel do důchodu (YouTube). Nastupuje nová vylepšená elektrická varianta (YouTube).

    Ladislav Hagara | Komentářů: 1
    KDE Plasma 6
     (68%)
     (10%)
     (2%)
     (20%)
    Celkem 557 hlasů
     Komentářů: 4, poslední 6.4. 15:51
    Rozcestník

    Dotaz: Optimalizace databaze - mam navod - potrebuji poradit

    30.1.2007 21:48 Nes | skóre: 20 | blog: Nes
    Optimalizace databaze - mam navod - potrebuji poradit
    Přečteno: 415×
    nasel jsem nize uvedeny navod na optimalizaci, kterou pry nutne potrebuji- bohuzel absolutne nevim co s tim mam delat - muzete prosim poradit? Dekuji

    another thing is, that if you have MyISAM engine, you will need to transform it to InnoDB (which is much more faster). Its why i made another script:
    #!/bin/sh
    DBNAME=$2;
    USER="root";
    PASSWORD="password";
    
    printUsage() {
    echo "Usage: $0"
    echo " --alter "
    return
    }
    
    check_all_tables() {
    TABLENAMES=`mysql -u $USER -p$PASSWORD -D $DBNAME -e "SHOW TABLES\G;"| \
     grep 'Tables_in_'|sed -n 's/.*Tables_in_.*: \([_0-9A-Za-z]*\).*/\1/p'`
    
    for TABLENAME in $TABLENAMES
    do
    mysql -u $USER -p$PASSWORD -D $DBNAME -e "ALTER TABLE $TABLENAME ENGINE = InnoDB;"
    done
    }
    
    if [ $# -eq 0 ]; then
    printUsage
    exit 1
    fi
    
    case $1 in
    --alter) check_all_tables;;
    --help) printUsage; exit 1;;
    *) printUsage; exit 1;;
    esac
    
    
    Pod tim bylo napsanio:

    To use it, just save it into shell script, like "db_alter.sh," make it executable (chmod +x db_alter.sh), and then run:

    ./db_alter.sh --alter mangos

    (make this for all your databases, like forum, website, or realmd, it really encrease your q/s speed)

    Linux mam teprve par dni ;-) (prostredi: Gnome) Bohuzel ani v anglictine nejsem vubec dobry...

    Nes ICQ: 207-433-828
    ICQ 454104749 zacatecnik v debianu 64 bit, mala znalost anglictiny

    Odpovědi

    30.1.2007 22:50 <º))))> Martin | skóre: 4 | Praha 9
    Rozbalit Rozbalit vše Re: Optimalizace databaze - mam navod - potrebuji poradit

    Uvedený Bash skript provede konverzi tabulek v MySQL databázi, uvedené jako parametr (místo slova mangos v příkladu),z formátu MyISAM na InnoDB. Pokud máš nějakou databázi s tabulkami v tomto formátu a chceš využít možnosti nového, tak ve skriptu změň hodnoty proměnných ROOT a PASSWORD na jméno a heslo k tvé databázi. Pak nastav tento skript jako spustitelný (chmod ...) a spusť jej (s těmi parametry).

    Vzhledem k tomu, že máš Linux teprve pár dní, se mi zdá nepravděpodobné, že pracuješ na nějakém rozsáhlém projektu v MySQL.

    Pro bližší informace doporučuji shlédnout stránky MySQL, angličtina je ale nutností. Pro začátek alespoň toto.

    30.1.2007 23:25 Petr Šobáň | skóre: 80 | blog: soban | Olomouc
    Rozbalit Rozbalit vše Re: Optimalizace databaze - mam navod - potrebuji poradit
    nasel jsem nize uvedeny navod na optimalizaci, kterou pry nutne potrebuji-bohuzel absolutne nevim co s tim mam delat - muzete prosim poradit? Dekuji
    Pokud nevíš zda ji potřebuješ a absolutně nevíš co s tím dělat tak to asi na 99% nepotřebuješ.

    Takže nedělat nic.
    31.1.2007 18:03 Nes | skóre: 20 | blog: Nes
    Rozbalit Rozbalit vše Re: Optimalizace databaze - mam navod - potrebuji poradit
    mam databazi, ktera je pres 150 MB velka, bezi mi na ni free herni server. - databaze se mi nahrava neco pres 5 minut kdyz ji executnu (milion a pul prikazu) a to mam 1GB 667 ram + core duo 2. Rekl bych, ze to je pomerne velka db...

    z formátu MyISAM na InnoDB. Pokud máš nějakou databázi s tabulkami v tomto formátu a chceš využít možnosti nového, tak ve skriptu změň hodnoty proměnných ROOT a PASSWORD na jméno a heslo k tvé databázi. Pak nastav tento skript jako spustitelný (chmod ...) a spusť jej (s těmi parametry). jak poznam jaky mam format? Je to bezpecny script? staci pokud zalohuji db (kdyby se neco pokazilo tak abych lehce mohl zalohu dat z5)? Vazne staci zmenit jen root a pass?

    Diky moc
    ICQ 454104749 zacatecnik v debianu 64 bit, mala znalost anglictiny
    31.1.2007 20:22 R
    Rozbalit Rozbalit vše Re: Optimalizace databaze - mam navod - potrebuji poradit
    Co je to "executnutie" databazy? Aky milion a pol prikazov?

    150MB nie je ziadna databaza, to je taka mala hracka pre deti.

    Na zmenenie storage engine nepotrebujes specialny skript, staci pouzit riadkoveho mysql klienta alebo phpmyadmin.
    svido avatar 1.2.2007 00:18 svido | skóre: 28
    Rozbalit Rozbalit vše Re: Optimalizace databaze - mam navod - potrebuji poradit
    Nejde o to, jak je DB velká. 99% dela dobre navrzena struktura, indexy a hlavne SQL queries. Ja praci pouvivam DB o celkove delce cca 20G, spojuji nekolik tabulek, kde vetsina tabulek ma vice jak 5mil. zaznamu a rychlost SQL dotazu se pohybuje radove do 1sek.

    Precti si neco o MySQL, jak tvorit indexy, co indexovat a jak optimalizovat SQL dotazy...
    31.1.2007 19:01 AloneInTheDark | skóre: 21
    Rozbalit Rozbalit vše Re: Optimalizace databaze - mam navod - potrebuji poradit
    Neporadim ti s problemem, ale pokusim se ti nastrcit do hlavy brouka ...

    Kdyz neznas MySQL, jak vis ze potrebujes upgrade DB ? Kdyz nerozumis, alespon okrajove, tomu co ten script dela ( a jak a proc ), to se ho odvazis spustit na ostry databazi ? CO kdyz ti to smaze data ? Nebo ten script v nejlepsim umyslu dela to co potrebujes, ale byl napsan pro trochu jinou verzi a poskodi ti tu DB nebo jen spadne v pulce ?

    Popravde receno, tolik odvahy bych nemel. Doporucuju spis se o tom neco dozvedet a nastudovat problematiku nez neco bezhlave zkouset. Tohle fakt nejsou windows, jeden kratky prikaz muze brutalne poskodit system, pokud se ti ho podari zadat pod rootem, napr omylem, preklepem atd. Kdysi jsem si ( ani nevim jak k tomu doslo ) presunul nekam kus adresare /etc :-) Prekvapive nasledujici restart tak nejak nedopadnul :-)

    Mir a klid zbrani
    Any technology distinguishable from magic is insufficiently advanced.
    31.1.2007 20:14 Nes | skóre: 20 | blog: Nes
    Rozbalit Rozbalit vše Re: Optimalizace databaze - mam navod - potrebuji poradit
    v mysql trochu pracuji, umim v phpmyadmi, v navicate, problematice trochu rozumim - vim co dokaze poskozena db, zalohovat jednotlive tabulky i komplet db umim. Take si dovolim rict, ze 150+ lidi, kteri jsou na to denne naspojeni mi podavaji celkem presne informace + vidim v konzoli presne chyby te databaze + chyby se vypisuji do zvlastniho souboru - dovolim si rict, ze bych na to docela urcite perisel, pokud by se ta db poskodila, nebo pozmenila k horsimu...

    Script jsem chtel jsen zkopirovat a chtel jsem vedet, zda muze byt skodlivy jen pro DB nebo pro cast linuxu...

    Proto jsem se ptal...

    Clovek ktery mi toto doporucil zna muj server + hlavni vec kvuli ktere mi toto doporucil, ja jen potrebuji zjistit, jak moc to je / neni bezpecne... jake jsou rizika apod...
    ICQ 454104749 zacatecnik v debianu 64 bit, mala znalost anglictiny
    31.1.2007 20:29 Korin
    Rozbalit Rozbalit vše Re: Optimalizace databaze - mam navod - potrebuji poradit
    Typ tabulek lze zmenit i v phpmyadmin, jen to da dost klikani ;-)
    31.1.2007 20:31 AloneInTheDark | skóre: 21
    Rozbalit Rozbalit vše Re: Optimalizace databaze - mam navod - potrebuji poradit
    Vypada to celkem dobre. Jak je tam napsano. Do promennych
    USER="root";
    PASSWORD="password";
    
    zadej uzivatele ( pokud pouzivas jinyho nez root ) a heslo

    nastav prava pro spusteni ( chmod +x db_alter.sh ) no a pak spust. (./db_alter.sh --alter jmeno_tvoji_db )

    Samozremne nejdriv kompletni zalohu a vykopnout vsechny uzivatele.
    Any technology distinguishable from magic is insufficiently advanced.
    1.2.2007 09:04 Nes | skóre: 20 | blog: Nes
    Rozbalit Rozbalit vše Re: Optimalizace databaze - mam navod - potrebuji poradit
    takze nic jineho nez problem s databazi (pokud se nezadari) nemuze nastat? Pokud by db pak z nejakeho duvodu nesla, staci databaze smazat a nakopirovat zalohu? Neudrzuje si i po smazani ten novy format?

    Dekuji !!!
    ICQ 454104749 zacatecnik v debianu 64 bit, mala znalost anglictiny
    1.2.2007 09:44 AloneInTheDark | skóre: 21
    Rozbalit Rozbalit vše Re: Optimalizace databaze - mam navod - potrebuji poradit
    Ten script "JEN" zmeni db engine u tabulek na InnoDB. Urcite bych si udelal poradnou zalohu ( i configu ) napr.utilitou mysqldump ( http://dev.mysql.com/doc/refman/5.0/en/mysqldump.html ) Hlavne aby tam nebyli uzivatele, pripadne do toho nelezli nejaky programy atd. DB velka 150 MB by mela byt zkonvertovana rychle.

    Stejne si spis myslim, ze problem "proc je to pomaly" bude jinde. Kdo navrhoval strukturu ? Mas spravne nastaveny indexy ? Ja nejsem zadnej odbornik pres databaze, spis bys potreboval aby se nekdo podival proc jsou pozadovany selekty tak pomaly a tu DB eventuelne nejak optimalizoval.
    Any technology distinguishable from magic is insufficiently advanced.
    1.2.2007 11:14 Nes | skóre: 20 | blog: Nes
    Rozbalit Rozbalit vše Re: Optimalizace databaze - mam navod - potrebuji poradit
    jak jsem jiz rikal - doporucil mi to jeden clovek, ktery se vyzna v tom, v cem ja zacinam.

    toto je kratky popis: Hi, I just found that on servers with high user load (from 50-400) is better with InnoDB database structure. Why? Because MyISAM takes high cpu load when making queries, so InnoDB give you much more faster responses. I just made some mysqld tunning, and now my database take only half of CPU load then before with MyISAM. Just think about it. MyISAM needs proper optimisation, and after a day, DB is really slow. But with InnoDB, there can be optimization only once a week. I have tryed som queries with MyISAM and InnoDB. What took MyISAM almost 10 seconds, took InnoDB only 0,3 second, so its really much more faster. I made some script which transform already existing MyISAM tables to InnoDB. Only problem was with character table, which uses index key which can´t be altered. So best solution is export character table, manually edit it, remowe that index key and leave only key syntax, and import it back (you can edit engine manually in that export, so no more altering will be needed).

    I have played a bit with mysql tunning. I have found variables, which makes my database really stable, fast, and not eating my memory or CPU too much.

    Bohuzel anglictina neni moje parketa :-( ten clovek ktery mi to navrhnul bohuzel neni k sehnani...

    je mozne, ze ta struktura co mam ted dela tyto chyby, ktere shazuji ten hlavni program, ktery zapisuje/cte z databaze - nebo to je chyba toho programu, nebo ma chyba? - /var/log/messages

    Jan 30 09:41:37 Nes kernel: mangosd[6535]: segfault at 00000000000000ba rip 00000000005bd276 rsp 00000000437fd9f0 error 4 Jan 30 10:29:02 Nes kernel: mangosd[18852]: segfault at 00000000000000b9 rip 00000000005bd496 rsp 00000000437fd9f Jan 30 11:01:42 Nes kernel: mangosd[20660]: segfault at 0000000000000204 rip 00000000005c4654 rsp 00000000437fda0 Jan 30 13:22:45 Nes kernel: mangosd[20887]: segfault at 0000000044e38008 rip 000000000057baa0 rsp 0000000043805d38 error 4
    ICQ 454104749 zacatecnik v debianu 64 bit, mala znalost anglictiny
    1.2.2007 11:40 AloneInTheDark | skóre: 21
    Rozbalit Rozbalit vše Re: Optimalizace databaze - mam navod - potrebuji poradit
    No jestli to spravne chapu, tak mangosd je nejaky daemon, ktery funguje jako wow emulator ci co. "segfault at 00000000000000ba rip 00000000005bd276 rsp 00000000437fd9f0 error 4" znamena ze ten daemon proste spadne ( zpusobi chybu a je systemem ukoncen ) Pokousi se zapisovat mimo svoji pridelenou oblast pameti, zpusobi pod/pre/teceni zasobniku, chybu stranky atd.

    Je to neco jako kdyz ti ve windows spadne program s hlaskou program provedl neplatnou operaci a byl ukoncen, nebo jak to je. Tohle nema s databazi nic spolecnyho. ( alespon na prvni pohled ) - tezko rict proc to pada. Si to zkus spustit z konzole a mozna to pred smrti neco vypise. Ma to nejaky logy ?
    Any technology distinguishable from magic is insufficiently advanced.
    1.2.2007 12:18 Nes | skóre: 20 | blog: Nes
    Rozbalit Rozbalit vše Re: Optimalizace databaze - mam navod - potrebuji poradit
    prave mi to bezi v konzoli.. (btw neni to emu)

    ten mangos deamon pred padem napise toto (jak rikas, kvuli chybe ve win ze se pokousi zapsat mimo svou pamet jsem presel na linux - samozrejme to bylo kvuli vice vecem - da se tato chyba v lin vyresit, aby to treba ignoroval a nespadl nebo jinym zpusobem? - pokud ano, mohl by tou ignoraci udelat nejakou chybu v systemu nebo jinde?):

    ./mangosstart: line 1: 19225 (TOT CISLO SE MENI) Segmentation fault ./mangosd ThreadQueue created Using configuration file /opt/mangos/etc/mangosd.conf. MaNGOS daemon /0.6-SVN (Unix)

    ./mangosstart je jen spousteci (neco jako bat soubor ve win) A OBSAHUJE: cd /opt/mangos/bin&&(./realmd&)&&sleep 2&&while sleep 1; do ./mangosd; done

    (spusti 2 ?deamony? - mangosd je hlavni ve kterem vsechno bezi a realmd slouzi k tomu, aby se lide mohli pripojit + myslim, ze je to i automaticky restarter...)

    byl bych silene vdecny (dokazu to ocenit i mou pomoci Tobe pokud si reknes neco pro me realneho) pokud by se to padani vyresilo - je to uplne strasne velky problem a netusil jsem, ze bych tu nasel nekoho, kdo by mi o tom mohl napsat alespon neco....
    ICQ 454104749 zacatecnik v debianu 64 bit, mala znalost anglictiny
    1.2.2007 13:05 AloneInTheDark | skóre: 21
    Rozbalit Rozbalit vše Re: Optimalizace databaze - mam navod - potrebuji poradit
    S tim ti bohuzel nepomuzu, protoze to neznam. Pricina padu je ta, ze ve zdrojaku toho programu je nejspis chyba, ktera se takhle projevuje. Pokud je to nejaky opensource projekt, bude mit nejake svoje webove stranky, tam by mohlo byt forum kde by se tohle nejspis dalo resit. Mozna maji verejny cvs/subversion system spravy verzi, odkud by se treba dala stahnout aktualizovana verze. Zkus najit web toho projektu, tam bys mohl najit vic.

    Nastavit system aby tyto ignoroval nelze - bylo by to kopani si vlastniho hrobu. Chyba v tom programu by mohla zpusobit napriklad prepsani casti pameti, kde ma jadro ovladac disku a behem okamziku by si prisel o cely obsah disku atd.
    Any technology distinguishable from magic is insufficiently advanced.
    1.2.2007 13:15 Petr Šobáň | skóre: 80 | blog: soban | Olomouc
    Rozbalit Rozbalit vše Re: Optimalizace databaze - mam navod - potrebuji poradit
    Program neznám ale možná bych skontroloval konfiguraci kterou použil pro start.

    ThreadQueue created Using configuration file /opt/mangos/etc/mangosd.conf.

    Taky bych skusil zda není novější verze toho programu.

    Potom taky vysledovat zda to padá náhodně nebo je v tom nějaký systém, pokud to padá náhodně tak bych skontroloval taky HW otestoval RAM obzvláště pokud se semtam nějaká chyba oběví i v jiném programu.
    1.2.2007 14:00 Ľubomír Host | skóre: 19 | Bratislava
    Rozbalit Rozbalit vše Re: Optimalizace databaze - mam navod - potrebuji poradit
    Prednedavnom som optimalizoval MySQL databazu zakaznikovi na jednom relativne frekventovanom portale (20 - 40 online uzivatelov). Z nejakeho dovodu mal zakaznik vsetky tabulky InnoDB. Ale jeho aplikacia nepouzivala ziadne vzdialene kluce, cize pouzivat InnoDB nebolo nutne. Na jednej strane zle navrhnuta aplikacia robila pri kazdom kliku UPDATE a DELETE nad tabulkou s online uzivatelmi (20 - 40 zaznamov v nej). Moja analyza zataze na serveri ukazovala na to, ze mysqld server prilis dlho cakana pri zapise na disk.

    Znizeniu zataze pomohli nasledovne veci: - zmena tabuliek na MyISAM - tabulka s online uzivatelmi zmenena na typ MEMORY - odstranenie prikazov DELETE z php skriptov a spustanie tychto cistiacich prikazov v pravidelnych intervaloch (minuta az hodina) - jednoducha uprava prikazov SELECT nad tabulkou s online uzivatelmi

    Cize ja vravim: InnoDB ano, ale iba tam, kde to ma vyznam. MyISAM mozno pouziva viac CPU, ale InnoDB podla mojej analyzy viacej pise na disk.
    svido avatar 1.2.2007 23:17 svido | skóre: 28
    Rozbalit Rozbalit vše Re: Optimalizace databaze - mam navod - potrebuji poradit
    To mas pravdu. Kazdy format ma sve "pihy" na krase. U kazde navrhovane DB je treba posoudit jestli jsou treba relace, kolik bude v tabulce dat, jak a co indexovat. Na zaklade teto analyzi se rozhodnout jaky format. Jednoduse receno neni zase az tak jednoduche, navrhnout dobre DB. Pokud se v tabulkach nekolik zaznamu, neni rozdil mezi spatne a dobre navrzenou DB takovy, jako kdyz tabulky obsahuji radove 100.000 ci 1.000.000 zaznamu ve spojeni napr. s 500 hity za sekundu na serveru.

    Jen tak na okraj, v praci jsme opravovali nejmenovanemu zakaznikovi kompletne strukturu DB - neskutecne, s prominutim zk*rvene stuktury, spatne indexy atd. Po nasi optimalizaci struktury tabulek, bylo urychleni cca 10.000%. Pred tim zabraly nektere SQL dotazy bezne i 250sek, coz je opravdu priliz.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.