abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
dnes 06:00 | Komunita

Na YouTube byl publikován Blender Institute Reel 2016, ani ne dvouminutový sestřih z filmů, které vznikly za posledních 10 let díky Blender Institutu. V institutu aktuálně pracují na novém filmu Agent 327. Dění kolem filmu lze sledovat na Blender Cloudu. Videoukázka Agenta 327 z června letošního roku na YouTube.

Ladislav Hagara | Komentářů: 0
dnes 01:02 | Zajímavý článek

Minulý týden byly vydány verze 1.2.3 a 1.1.7 webového poštovního klienta Roundcube. V oznámení o vydání bylo zmíněno řešení bezpečnostního problému nalezeného společností RIPS a souvisejícího s voláním funkce mail() v PHP. Tento týden byly zveřejněny podrobnosti. Útočník mohl pomocí speciálně připraveného emailu spustit na serveru libovolný příkaz. Stejně, jak je popsáno v článku Exploit PHP’s mail() to get remote code execution z roku 2014.

Ladislav Hagara | Komentářů: 0
včera 16:00 | Nová verze

Byla vydána verze 0.98 svobodného nelineárního video editoru Pitivi. Z novinek lze zmínit například přizpůsobitelné klávesové zkratky. Videoukázka práce s nejnovější verzí Pitivi na YouTube.

Ladislav Hagara | Komentářů: 1
včera 15:00 | Zajímavý software

Stop motion je technika animace, při níž je reálný objekt mezi jednotlivými snímky ručně upravován a posouván o malé úseky, tak aby po spojení vyvolala animace dojem spojitosti. Jaký software lze pro stop motion použít na Linuxu? Článek na OMG! Ubuntu! představuje Heron Animation. Ten bohužel podporuje pouze webové kamery. Podpora digitálních zrcadlovek je začleněna například v programu qStopMotion.

Ladislav Hagara | Komentářů: 3
7.12. 21:21 | Nová verze Ladislav Hagara | Komentářů: 0
7.12. 11:44 | Zajímavý projekt

Na Indiegogo byla spuštěna kampaň na podporu herní mini konzole a multimediálního centra RetroEngine Sigma od Doyodo. Předobjednat ji lze již od 49 dolarů. Požadovaná částka 20 000 dolarů byla překonána již 6 krát. Majitelé mini konzole si budou moci zahrát hry pro Atari VCS 2600, Sega Genesis nebo NES. Předinstalováno bude multimediální centrum Kodi.

Ladislav Hagara | Komentářů: 2
7.12. 00:10 | Nová verze

Byla vydána verze 4.7 redakčního systému WordPress. Kódové označením Vaughan bylo vybráno na počest americké jazzové zpěvačky Sarah "Sassy" Vaughan. Z novinek lze zmínit například novou výchozí šablonu Twenty Seventeen, náhledy pdf souborů nebo WordPress REST API.

Ladislav Hagara | Komentářů: 10
6.12. 12:00 | Zajímavý projekt

Projekt Termbox umožňuje vyzkoušet si linuxové distribuce Ubuntu, Debian, Fedora, CentOS a Arch Linux ve webovém prohlížeči. Řešení je postaveno na projektu HyperContainer. Podrobnosti v často kladených dotazech (FAQ). Zdrojové kódy jsou k dispozici na GitHubu [reddit].

Ladislav Hagara | Komentářů: 27
6.12. 11:00 | Bezpečnostní upozornění

Byly zveřejněny informace o bezpečnostní chybě CVE-2016-8655 v Linuxu zneužitelné k lokální eskalaci práv. Chyba se dostala do linuxového jádra v srpnu 2011. V upstreamu byla opravena minulý týden [Hacker News].

Ladislav Hagara | Komentářů: 2
5.12. 22:00 | Komunita

Přibližně před měsícem bylo oznámeno, že linuxová distribuce SUSE Linux Enterprise Server (SLES) běží nově také Raspberry Pi 3 (dokumentace). Obraz verze 12 SP2 pro Raspberry Pi 3 je ke stažení zdarma. Pro registrované jsou po dobu jednoho roku zdarma také aktualizace. Dnes bylo oznámeno, že pro Raspberry Pi 3 je k dispozici také nové openSUSE Leap 42.2 (zprávička). K dispozici je hned několik obrazů.

Ladislav Hagara | Komentářů: 6
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (8%)
 (5%)
 (3%)
Celkem 799 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21

8.11.2012 19:59 dusan456 | skóre: 12 | Poprad
záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
Přečteno: 830×
Zdravím,

mám hlavnú maintab2, ktorá ma 2GB a 3,5 milióna záznamov, nemá index, nepoužíva sa.

Raz mesačne ju potrebujem aktualizovať z tab1tab21, tiež nemajú indexy.
TRUNCATE TABLE maintab2;

INSERT INTO maintab2 SELECT * FROM tab1
--až
INSERT INTO maintab2 SELECT * FROM tab21
po skopírovaní približne prvej tab1 sa to strašne spomalí, všetkým týmto procesom som dal pritom nice --19 a aj napriek tomu je veľká záťaž, úplne sa spomalí apache, web skoro vôbec nefunguje, až kým tieto údaje sa neskopírujú. Potom sa web rozbehne a všetko beží zase rýchlo. Cele to trvá niekoľko minút.

Neviete prosím poradiť, ako by sa to dalo urobiť bez toho, aby sa takto spomalil web server?

Řešení dotazu:


Odpovědi

8.11.2012 21:05 Daniel Čižinský | skóre: 28
Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
Linux? BSD? UNIX?

Je dost pravdepodobne, ze nejde o prilisne zatizeni procesoru (takze nice nepomuze), ale o spatnou reakci i/o subsystemu. Muze pomoci vylepsit i/o (disky/radic...), lepsi nastaveni prace s pameti v SQL serveru, prip. pridani pameti. Muze pomoci ionice(1). Samozrejme zbyva spousta otazek (treba jestli web server neceka na SQL). Mozna by bodnul UN*Xovy spravce ;-)
8.11.2012 21:37 dusan456 | skóre: 12 | Poprad
Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
Debian Squezee

Záťaž procesoru je v poriadku. RAM je 4x1GB.
# cat my.cnf 
#
# The MySQL database server configuration file.
#
# You can copy this to one of:
# - "/etc/mysql/my.cnf" to set global options,
# - "~/.my.cnf" to set user-specific options.
# 
# One can use all long options that the program supports.
# Run program with --help to get a list of available options and with
# --print-defaults to see which it would actually understand and use.
#
# For explanations see
# http://dev.mysql.com/doc/mysql/en/server-system-variables.html

# This will be passed to all mysql clients
# It has been reported that passwords should be enclosed with ticks/quotes
# escpecially if they contain "#" chars...
# Remember to edit /etc/mysql/debian.cnf when changing the socket location.
[client]
port		= 3306
socket		= /var/run/mysqld/mysqld.sock

# Here is entries for some specific programs
# The following values assume you have at least 32M ram

# This was formally known as [safe_mysqld]. Both versions are currently parsed.
[mysqld_safe]
socket		= /var/run/mysqld/mysqld.sock
nice		= 0

[mysqld]
#
# * Basic Settings
#
user		= mysql
pid-file	= /var/run/mysqld/mysqld.pid
socket		= /var/run/mysqld/mysqld.sock
port		= 3306
basedir		= /usr
datadir		= /var/lib/mysql
tmpdir		= /tmp
language	= /usr/share/mysql/english
skip-external-locking
#
# Instead of skip-networking the default is now to listen only on
# localhost which is more compatible and is not less secure.
bind-address		= 127.0.0.1
#
# * Fine Tuning
#
key_buffer		= 16M
max_allowed_packet	= 16M
thread_stack		= 192K
thread_cache_size       = 8
# This replaces the startup script and checks MyISAM tables if needed
# the first time they are touched
myisam-recover         = BACKUP
#max_connections        = 100
#table_cache            = 64
#thread_concurrency     = 10
#
# * Query Cache Configuration
#
query_cache_limit	= 1M
query_cache_size        = 16M
#
# * Logging and Replication
#
# Both location gets rotated by the cronjob.
# Be aware that this log type is a performance killer.
# As of 5.1 you can enable the log at runtime!
#general_log_file        = /var/log/mysql/mysql.log
#general_log             = 1
#
# Error logging goes to syslog due to /etc/mysql/conf.d/mysqld_safe_syslog.cnf.
#
# Here you can see queries with especially long duration
#log_slow_queries	= /var/log/mysql/mysql-slow.log
#long_query_time = 2
#log-queries-not-using-indexes
#
# The following can be used as easy to replay backup logs or for replication.
# note: if you are setting up a replication slave, see README.Debian about
#       other settings you may need to change.
#server-id		= 1
#log_bin			= /var/log/mysql/mysql-bin.log
expire_logs_days	= 10
max_binlog_size         = 100M
#binlog_do_db		= include_database_name
#binlog_ignore_db	= include_database_name
#
# * InnoDB
#
# InnoDB is enabled by default with a 10MB datafile in /var/lib/mysql/.
# Read the manual for more InnoDB related options. There are many!
#
# * Security Features
#
# Read the manual, too, if you want chroot!
# chroot = /var/lib/mysql/
#
# For generating SSL certificates I recommend the OpenSSL GUI "tinyca".
#
# ssl-ca=/etc/mysql/cacert.pem
# ssl-cert=/etc/mysql/server-cert.pem
# ssl-key=/etc/mysql/server-key.pem



[mysqldump]
quick
quote-names
max_allowed_packet	= 16M

[mysql]
#no-auto-rehash	# faster start of mysql but no tab completition

[isamchk]
key_buffer		= 16M

#
# * IMPORTANT: Additional settings that can override those from this file!
#   The files must end with '.cnf', otherwise they'll be ignored.
#
!includedir /etc/mysql/conf.d/
9.11.2012 11:48 Marek
Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
S nejvetsi pravdepodobnosti je problem s diskem, ktery nestiha cist/zapisovat. U podobneho typu dotazu nezalezi na CPU. Zkuste to overit treba jak je navrhovano zde.

Jak zrychlit server? Zkuste to cele davkovat - treba rozdelit podle poctu zaznamu v tabulkach jednotlive dotazy tak, se kopirovaly po mensim poctu zaznamu s prestavkami. Sice tim uplne nevyresite problem s IO, ale alespon muze v mezicasech server zpracovavat dalsi veci. Nevyhoda je pak zpomaleni celeho procesu.
AraxoN avatar 9.11.2012 16:59 AraxoN | skóre: 45 | blog: slon_v_porcelane | Košice
Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
nice, ani ionice Ti nepomôže. V procese, ktorý je pod nice sa len prepošle SQL príkaz databázovému serveru. To znamená, že pôvodný proces vlastne nič nerobí, len čaká na odpoveď databázového serveru. To svoje čakanie robí s nízkou prioritou, ale to je tak všetko. Až databázový server vykonáva na procesore a diskoch prácu s daným SQL príkazom. Databázový server beží so svojou nezmenenou prioritou. A aj keby si mu prioritu znížil, nepomôžeš si, lebo sa to bude týkať aj všetkých ostatných SQL príkazov, ktoré súbežne s tým databáza vykonáva, takže to pôjde ostatným rovnako pomaly ako predtým.

Obísť by sa to mohlo dať tak, že dané INSERT-y sa rozbijú na menšie časti a medzi spustením jednotlivých príkazov sa chvíľku počká, aby mali šancu dobehnúť príkazy ostatných používateľov:
INSERT INTO maintab2 SELECT * FROM tab1 ORDER BY ... LIMIT 1000 OFFSET 0;
sleep(1);
INSERT INTO maintab2 SELECT * FROM tab1 ORDER BY ... LIMIT 1000 OFFSET 1000;
sleep(1);
INSERT INTO maintab2 SELECT * FROM tab1 ORDER BY ... LIMIT 1000 OFFSET 2000;
sleep(1);
...
A fine is a tax for doing wrong. A tax is a fine for doing well.
rADOn avatar 12.11.2012 10:40 rADOn | skóre: 44 | blog: bloK | Praha
Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
Pokud je to MySQL, misto sleepu staci pouzit INSERT LOW_PRIORITY …
"2^24 comments ought to be enough for anyone" -- CmdrTaco
10.11.2012 17:35 jekub
Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
nešlo by pro maintab2 místo tabulky použít pohled?
10.11.2012 21:11 jano
Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
skusil by som to uzavriet do transakcie ak sa tam vytvaraaju indexi...
mess avatar 10.11.2012 22:06 mess | skóre: 43 | blog: bordel | Háj ve Slezsku - Smolkov
Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
... bez indexů ...
Problém bude v I/O operacích disku. S tím se moc nedá dělat, pokud do toho nechceš investovat prachy.
Cez párne mesiace zošíváš vaginy, cez neparne montuješ hajzle.
11.11.2012 08:54 VM
Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
Když to nemá index a nepoužívá se, proč se to musí aktualizovat? Pokud se jedná o zálohu, nebylo by lepší vykopírovat data na jiný fyzický disk, čímž by se vyřešilo to zahlcení I/O operacemi?
12.11.2012 19:40 dusan456 | skóre: 12 | Poprad
Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
Ďakujem všetkým za info.

Rozhodli sme sa zobrať novú vykonnejšiu mašinu, dúfam, že to pomôže celkovo, nielen v tomto prípade.

Tiež mám ináč tušenie, že to je do veľkej miery v HDD, lebo atop mi už dlhšiu dobu ukazuje 99% vyťaženie a to aj keď tieto nárazové operácie vôbec nerobím.

To, že sa tieto tabulky nepoužívajú, som mal na mysli, že v tom danom momente insertu nie sú používané, ináč potom samozrejme áno.
12.11.2012 20:21 Tomáš
Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21

DB výkonnost je obvykle limitována především rychlostí a množsvím IO operací (s diskem), nikoliv CPU výkonností. Snaha je, aby IO operace (zápisy na disk) byly co nejvíce seskupené, aby hlavička disku se nemusela zbytečně hýbat a mohli se projevit optimalizace pro minimalizaci pohybu hlaviček na disku (sekvenční zápis, NCQ, ...).

Při zápisu se obvykle musí najít volné místo (blok) na disku, do kterého se data zapíší. Fungující cache pro hledání volného místa k zápisu a bufferování zápisu je základem pro efektivní hromadný zápis.

Hledání google: innodb insert hned druhý odkaz Something awesome in InnoDB, dává info o tomto problému.

Zkusil bych zvětšit innodb_change_buffer_max_size, buffery a cache, tak aby se celá cílová tabulka vešla do paměti (2GB není zase tak moc). Bude to útok na alokovanou paměť. Ale přitom systém (OS) nesmí swapovat, jinak bude Vaše snaha swapováním OS pohřbena.

Moc MySQL neznám, ale PK typu auto increment by možná taky mohl pomoci. Bohužel netuším jak se MySQL chová k tabulkám typu multiset(bag).

Jdu si nalít další sklenku. Je pozdě večer. Berte moje rady s rezervou.

Aleš Janda avatar 13.11.2012 15:14 Aleš Janda | skóre: 21 | blog: kýblův blog | Kralupy nad Vltavou
Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
Technická: nice --19 nastavuje prioritu -19, což je druhá nejvyšší. Kdyby to tedy fungovalo tak jak jsi očekával, server by přestal reagovat úplně. Zřejmě jsi měl na mysli prioritu 19, což se nastavuje přes nice -19 (pouze jedno minusko).
13.11.2012 16:15 Kit
Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
Priorita -19 se mu povede pouze za předpokladu, že je šílenec a spouští uvedené příkazy jako root.
15.11.2012 14:09 dusan456 | skóre: 12 | Poprad
Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
mal som na mysli 19, čiže low priority, pomylil som sa.

14.11.2012 09:04 cronin | skóre: 48
Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
Zmena prebieha v transakcii? Ak áno, nie je možné robiť commit po každej tabuľke? Ak to ide rýchlo a potom to spomalí, pravdepodobne to prerástlo pamäť a db to musí začať písať do temporary tabuliek na disku.
Řešení 1× (Michal Buchtík)
15.11.2012 14:13 dusan456 | skóre: 12 | Poprad
Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
Takže len na vysvetlenie, celé tie problémy boli spôsobené starým hardware.

Máme nový stroj, problémy zmizli, rýchlosť normálna, ako má byť.

Ponaučenie, že z h.... koláč neupečieš.
Řešení 1× (l0gik)
15.11.2012 15:45 lh
Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
Neslo by zmenit tabulku maintab2 na typ MERGE a data proste takto nekopirovat?

môj blog
15.11.2012 17:51 Kit
Rozbalit Rozbalit vše Re: záťaž > nice --19 > INSERT INTO maintab2 SELECT * FROM tab1 až tab21
Vzhledem k tomu, že se tabulka maintab2 nepoužívá, možná by stačil dump - třeba tabulky typu MERGE, ať to má pohromadě.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.