abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

včera 02:00 | Nová verze

Byl vydán Debian 9.1, tj. první opravná verze Debianu 9 s kódovým názvem Stretch a Debian 8.9, tj. devátá opravná verze Debianu 8 s kódovým názvem Jessie. Řešeny jsou především bezpečnostní problémy, ale také několik vážných chyb. Instalační média Debianu 9 a Debianu 8 lze samozřejmě nadále k instalaci používat. Po instalaci stačí systém aktualizovat.

Ladislav Hagara | Komentářů: 9
22.7. 15:50 | Zajímavý článek

Nadace The Document Foundation (TDF) zastřešující vývoj svobodného kancelářského balíku LibreOffice zveřejnila čtyřiačtyřicetistránkovou výroční zprávu za rok 2016. K dispozici je ve formátu pdf ve vysokém (21,68 MB) a nízkém (7,1 MB) rozlišení. Zpráva byla vytvořena ve Scribusu.

Ladislav Hagara | Komentářů: 0
22.7. 14:40 | Zajímavý software

Mozilla.cz informuje, že Firefox Focus pro Android, velmi jednoduchý prohlížeč zaměřený na anonymní prohlížení, dosáhl milionu stažení. Firefox Focus blokuje sledující prvky a reklamy a při ukončení automaticky smaže všechna uložená data stránek, historii prohlížení a cookies.

Ladislav Hagara | Komentářů: 17
22.7. 14:20 | Komunita

Vyplněním dotazníku na Formuláře Google lze ovlivnit výběr výchozích aplikací v Ubuntu 18.04 LTS. Podrobnosti v příspěvku Dustina Kirklanda na Ubuntu Insights [reddit].

Ladislav Hagara | Komentářů: 6
21.7. 11:30 | Komunita

Etherpad (Wikipedie), svobodný online webový textový editor umožnující spolupráci v reálném čase, se stal oficiálním projektem organizace Software Freedom Conservancy (Wikipedie). Vývojáři Etherpadu se tak mohou stejně jako vývojáři dalších projektů soustředit pouze na vývoj softwaru a vše kolem zařídí Software Freedom Conservancy. Spuštěna byla instance Etherpadu pad.sfconservancy.org.

Ladislav Hagara | Komentářů: 3
21.7. 10:40 | Zajímavý článek

Lukáš Růžička se v článku Workrave ve Fedoře aneb jak si nevytunelovat karpál na MojeFedora.cz věnuje aplikaci Workrave (Wikipedie) na sledování času stráveného na počítači, která může pomoci vyhnout se negativním účinkům práce s počítačem (RSI, CTS), nebo je alespoň výrazně zmírnit.

Ladislav Hagara | Komentářů: 1
21.7. 10:00 | Komunita

Na Humble Bundle lze získat počítačovou hru Shadow Warrior: Special Edition běžící také v Linuxu zdarma. Speciální akce končí v sobotu v 19:00.

Ladislav Hagara | Komentářů: 2
20.7. 23:11 | Nová verze

Byla vydána verze 2.4.0 analyzátoru síťového provozu Wireshark. Jedná se o první stabilní verzi nové řady 2.4. Podrobný přehled novinek v poznámkách k vydání. V červnu proběhla konference SharkFest’17 US věnovaná Wiresharku. Záznamy přednášek jsou k dispozici na YouTube.

Ladislav Hagara | Komentářů: 12
20.7. 13:11 | Pozvánky

Spolek OpenAlt zve příznivce otevřeného přístupu na 142. brněnský sraz, který proběhne v pátek 21. července od 18:00 hodin ve Sport Centru Srbská (Srbská 4). Od 19:00 je pro zájemce zamluveno hřiště na plážový volejbal.

Ladislav Hagara | Komentářů: 0
20.7. 12:34 | Bezpečnostní upozornění

V GNOME Soubory, původně Nautilus, konkrétně v generování náhledů exe, msi, dll a lnk souborů byla nalezena a opravena bezpečnostní chyba CVE-2017-11421 s názvem Bad Taste. Při otevření složky obsahující tyto soubory může být spuštěn VBScript obsažen v názvech těchto souborů.

Ladislav Hagara | Komentářů: 3
Těžíte nějakou kryptoměnu?
 (2%)
 (2%)
 (17%)
 (78%)
Celkem 46 hlasů
 Komentářů: 1, poslední včera 12:40
    Rozcestník

    Dotaz: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21

    8.11.2012 19:59 dusan456 | skóre: 12 | Poprad
    záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
    Přečteno: 833×
    Zdravím,

    mám hlavnú maintab2, ktorá ma 2GB a 3,5 milióna záznamov, nemá index, nepoužíva sa.

    Raz mesačne ju potrebujem aktualizovať z tab1tab21, tiež nemajú indexy.
    TRUNCATE TABLE maintab2;
    
    INSERT INTO maintab2 SELECT * FROM tab1
    --až
    INSERT INTO maintab2 SELECT * FROM tab21
    
    po skopírovaní približne prvej tab1 sa to strašne spomalí, všetkým týmto procesom som dal pritom nice --19 a aj napriek tomu je veľká záťaž, úplne sa spomalí apache, web skoro vôbec nefunguje, až kým tieto údaje sa neskopírujú. Potom sa web rozbehne a všetko beží zase rýchlo. Cele to trvá niekoľko minút.

    Neviete prosím poradiť, ako by sa to dalo urobiť bez toho, aby sa takto spomalil web server?

    Řešení dotazu:


    Odpovědi

    8.11.2012 21:05 Daniel Čižinský | skóre: 29
    Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
    Linux? BSD? UNIX?

    Je dost pravdepodobne, ze nejde o prilisne zatizeni procesoru (takze nice nepomuze), ale o spatnou reakci i/o subsystemu. Muze pomoci vylepsit i/o (disky/radic...), lepsi nastaveni prace s pameti v SQL serveru, prip. pridani pameti. Muze pomoci ionice(1). Samozrejme zbyva spousta otazek (treba jestli web server neceka na SQL). Mozna by bodnul UN*Xovy spravce ;-)
    8.11.2012 21:37 dusan456 | skóre: 12 | Poprad
    Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
    Debian Squezee

    Záťaž procesoru je v poriadku. RAM je 4x1GB.
    # cat my.cnf 
    #
    # The MySQL database server configuration file.
    #
    # You can copy this to one of:
    # - "/etc/mysql/my.cnf" to set global options,
    # - "~/.my.cnf" to set user-specific options.
    # 
    # One can use all long options that the program supports.
    # Run program with --help to get a list of available options and with
    # --print-defaults to see which it would actually understand and use.
    #
    # For explanations see
    # http://dev.mysql.com/doc/mysql/en/server-system-variables.html
    
    # This will be passed to all mysql clients
    # It has been reported that passwords should be enclosed with ticks/quotes
    # escpecially if they contain "#" chars...
    # Remember to edit /etc/mysql/debian.cnf when changing the socket location.
    [client]
    port		= 3306
    socket		= /var/run/mysqld/mysqld.sock
    
    # Here is entries for some specific programs
    # The following values assume you have at least 32M ram
    
    # This was formally known as [safe_mysqld]. Both versions are currently parsed.
    [mysqld_safe]
    socket		= /var/run/mysqld/mysqld.sock
    nice		= 0
    
    [mysqld]
    #
    # * Basic Settings
    #
    user		= mysql
    pid-file	= /var/run/mysqld/mysqld.pid
    socket		= /var/run/mysqld/mysqld.sock
    port		= 3306
    basedir		= /usr
    datadir		= /var/lib/mysql
    tmpdir		= /tmp
    language	= /usr/share/mysql/english
    skip-external-locking
    #
    # Instead of skip-networking the default is now to listen only on
    # localhost which is more compatible and is not less secure.
    bind-address		= 127.0.0.1
    #
    # * Fine Tuning
    #
    key_buffer		= 16M
    max_allowed_packet	= 16M
    thread_stack		= 192K
    thread_cache_size       = 8
    # This replaces the startup script and checks MyISAM tables if needed
    # the first time they are touched
    myisam-recover         = BACKUP
    #max_connections        = 100
    #table_cache            = 64
    #thread_concurrency     = 10
    #
    # * Query Cache Configuration
    #
    query_cache_limit	= 1M
    query_cache_size        = 16M
    #
    # * Logging and Replication
    #
    # Both location gets rotated by the cronjob.
    # Be aware that this log type is a performance killer.
    # As of 5.1 you can enable the log at runtime!
    #general_log_file        = /var/log/mysql/mysql.log
    #general_log             = 1
    #
    # Error logging goes to syslog due to /etc/mysql/conf.d/mysqld_safe_syslog.cnf.
    #
    # Here you can see queries with especially long duration
    #log_slow_queries	= /var/log/mysql/mysql-slow.log
    #long_query_time = 2
    #log-queries-not-using-indexes
    #
    # The following can be used as easy to replay backup logs or for replication.
    # note: if you are setting up a replication slave, see README.Debian about
    #       other settings you may need to change.
    #server-id		= 1
    #log_bin			= /var/log/mysql/mysql-bin.log
    expire_logs_days	= 10
    max_binlog_size         = 100M
    #binlog_do_db		= include_database_name
    #binlog_ignore_db	= include_database_name
    #
    # * InnoDB
    #
    # InnoDB is enabled by default with a 10MB datafile in /var/lib/mysql/.
    # Read the manual for more InnoDB related options. There are many!
    #
    # * Security Features
    #
    # Read the manual, too, if you want chroot!
    # chroot = /var/lib/mysql/
    #
    # For generating SSL certificates I recommend the OpenSSL GUI "tinyca".
    #
    # ssl-ca=/etc/mysql/cacert.pem
    # ssl-cert=/etc/mysql/server-cert.pem
    # ssl-key=/etc/mysql/server-key.pem
    
    
    
    [mysqldump]
    quick
    quote-names
    max_allowed_packet	= 16M
    
    [mysql]
    #no-auto-rehash	# faster start of mysql but no tab completition
    
    [isamchk]
    key_buffer		= 16M
    
    #
    # * IMPORTANT: Additional settings that can override those from this file!
    #   The files must end with '.cnf', otherwise they'll be ignored.
    #
    !includedir /etc/mysql/conf.d/
    
    9.11.2012 11:48 Marek
    Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
    S nejvetsi pravdepodobnosti je problem s diskem, ktery nestiha cist/zapisovat. U podobneho typu dotazu nezalezi na CPU. Zkuste to overit treba jak je navrhovano zde.

    Jak zrychlit server? Zkuste to cele davkovat - treba rozdelit podle poctu zaznamu v tabulkach jednotlive dotazy tak, se kopirovaly po mensim poctu zaznamu s prestavkami. Sice tim uplne nevyresite problem s IO, ale alespon muze v mezicasech server zpracovavat dalsi veci. Nevyhoda je pak zpomaleni celeho procesu.
    AraxoN avatar 9.11.2012 16:59 AraxoN | skóre: 45 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
    nice, ani ionice Ti nepomôže. V procese, ktorý je pod nice sa len prepošle SQL príkaz databázovému serveru. To znamená, že pôvodný proces vlastne nič nerobí, len čaká na odpoveď databázového serveru. To svoje čakanie robí s nízkou prioritou, ale to je tak všetko. Až databázový server vykonáva na procesore a diskoch prácu s daným SQL príkazom. Databázový server beží so svojou nezmenenou prioritou. A aj keby si mu prioritu znížil, nepomôžeš si, lebo sa to bude týkať aj všetkých ostatných SQL príkazov, ktoré súbežne s tým databáza vykonáva, takže to pôjde ostatným rovnako pomaly ako predtým.

    Obísť by sa to mohlo dať tak, že dané INSERT-y sa rozbijú na menšie časti a medzi spustením jednotlivých príkazov sa chvíľku počká, aby mali šancu dobehnúť príkazy ostatných používateľov:
    INSERT INTO maintab2 SELECT * FROM tab1 ORDER BY ... LIMIT 1000 OFFSET 0;
    sleep(1);
    INSERT INTO maintab2 SELECT * FROM tab1 ORDER BY ... LIMIT 1000 OFFSET 1000;
    sleep(1);
    INSERT INTO maintab2 SELECT * FROM tab1 ORDER BY ... LIMIT 1000 OFFSET 2000;
    sleep(1);
    ...
    A fine is a tax for doing wrong. A tax is a fine for doing well.
    rADOn avatar 12.11.2012 10:40 rADOn | skóre: 44 | blog: bloK | Praha
    Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
    Pokud je to MySQL, misto sleepu staci pouzit INSERT LOW_PRIORITY …
    "2^24 comments ought to be enough for anyone" -- CmdrTaco
    10.11.2012 17:35 jekub
    Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
    nešlo by pro maintab2 místo tabulky použít pohled?
    10.11.2012 21:11 jano
    Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
    skusil by som to uzavriet do transakcie ak sa tam vytvaraaju indexi...
    mess avatar 10.11.2012 22:06 mess | skóre: 43 | blog: bordel | Háj ve Slezsku - Smolkov
    Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
    ... bez indexů ...
    Problém bude v I/O operacích disku. S tím se moc nedá dělat, pokud do toho nechceš investovat prachy.
    Cez párne mesiace zošíváš vaginy, cez neparne montuješ hajzle.
    11.11.2012 08:54 VM
    Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
    Když to nemá index a nepoužívá se, proč se to musí aktualizovat? Pokud se jedná o zálohu, nebylo by lepší vykopírovat data na jiný fyzický disk, čímž by se vyřešilo to zahlcení I/O operacemi?
    12.11.2012 19:40 dusan456 | skóre: 12 | Poprad
    Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
    Ďakujem všetkým za info.

    Rozhodli sme sa zobrať novú vykonnejšiu mašinu, dúfam, že to pomôže celkovo, nielen v tomto prípade.

    Tiež mám ináč tušenie, že to je do veľkej miery v HDD, lebo atop mi už dlhšiu dobu ukazuje 99% vyťaženie a to aj keď tieto nárazové operácie vôbec nerobím.

    To, že sa tieto tabulky nepoužívajú, som mal na mysli, že v tom danom momente insertu nie sú používané, ináč potom samozrejme áno.
    12.11.2012 20:21 Tomáš
    Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21

    DB výkonnost je obvykle limitována především rychlostí a množsvím IO operací (s diskem), nikoliv CPU výkonností. Snaha je, aby IO operace (zápisy na disk) byly co nejvíce seskupené, aby hlavička disku se nemusela zbytečně hýbat a mohli se projevit optimalizace pro minimalizaci pohybu hlaviček na disku (sekvenční zápis, NCQ, ...).

    Při zápisu se obvykle musí najít volné místo (blok) na disku, do kterého se data zapíší. Fungující cache pro hledání volného místa k zápisu a bufferování zápisu je základem pro efektivní hromadný zápis.

    Hledání google: innodb insert hned druhý odkaz Something awesome in InnoDB, dává info o tomto problému.

    Zkusil bych zvětšit innodb_change_buffer_max_size, buffery a cache, tak aby se celá cílová tabulka vešla do paměti (2GB není zase tak moc). Bude to útok na alokovanou paměť. Ale přitom systém (OS) nesmí swapovat, jinak bude Vaše snaha swapováním OS pohřbena.

    Moc MySQL neznám, ale PK typu auto increment by možná taky mohl pomoci. Bohužel netuším jak se MySQL chová k tabulkám typu multiset(bag).

    Jdu si nalít další sklenku. Je pozdě večer. Berte moje rady s rezervou.

    Aleš Janda avatar 13.11.2012 15:14 Aleš Janda | skóre: 21 | blog: kýblův blog | Kralupy nad Vltavou
    Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
    Technická: nice --19 nastavuje prioritu -19, což je druhá nejvyšší. Kdyby to tedy fungovalo tak jak jsi očekával, server by přestal reagovat úplně. Zřejmě jsi měl na mysli prioritu 19, což se nastavuje přes nice -19 (pouze jedno minusko).
    13.11.2012 16:15 Kit
    Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
    Priorita -19 se mu povede pouze za předpokladu, že je šílenec a spouští uvedené příkazy jako root.
    15.11.2012 14:09 dusan456 | skóre: 12 | Poprad
    Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
    mal som na mysli 19, čiže low priority, pomylil som sa.

    14.11.2012 09:04 cronin | skóre: 48
    Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
    Zmena prebieha v transakcii? Ak áno, nie je možné robiť commit po každej tabuľke? Ak to ide rýchlo a potom to spomalí, pravdepodobne to prerástlo pamäť a db to musí začať písať do temporary tabuliek na disku.
    Řešení 1× (Michal Buchtík)
    15.11.2012 14:13 dusan456 | skóre: 12 | Poprad
    Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
    Takže len na vysvetlenie, celé tie problémy boli spôsobené starým hardware.

    Máme nový stroj, problémy zmizli, rýchlosť normálna, ako má byť.

    Ponaučenie, že z h.... koláč neupečieš.
    Řešení 1× (l0gik)
    15.11.2012 15:45 lh
    Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
    Neslo by zmenit tabulku maintab2 na typ MERGE a data proste takto nekopirovat?

    môj blog
    15.11.2012 17:51 Kit
    Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
    Vzhledem k tomu, že se tabulka maintab2 nepoužívá, možná by stačil dump - třeba tabulky typu MERGE, ať to má pohromadě.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.