abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    včera 17:22 | IT novinky

    Josef Průša oznámil zveřejnění kompletních CAD souborů rámů tiskáren Prusa CORE One a CORE One L. Nejsou vydány pod obecnou veřejnou licenci GNU ani Creative Commons ale pod novou licencí OCL neboli Open Community License. Ta nepovoluje prodávat kompletní tiskárny či remixy založené na těchto zdrojích.

    Ladislav Hagara | Komentářů: 2
    včera 17:00 | Komunita

    Nový CEO Mozilla Corporation Anthony Enzor-DeMeo tento týden prohlásil, že by se Firefox měl vyvinout v moderní AI prohlížeč. Po bouřlivých diskusích na redditu ujistil, že v nastavení Firefoxu bude existovat volba pro zakázání všech AI funkcí.

    Ladislav Hagara | Komentářů: 0
    včera 10:11 | IT novinky

    V pořadí šestou knihou autora Martina Malého, která vychází v Edici CZ.NIC, správce české národní domény, je titul Kity, bity, neurony. Kniha s podtitulem Moderní technologie pro hobby elektroniku přináší ucelený pohled na svět současných technologií a jejich praktické využití v domácích elektronických projektech. Tento knižní průvodce je ideální pro každého, kdo se chce podívat na současné trendy v oblasti hobby elektroniky, od

    … více »
    Ladislav Hagara | Komentářů: 1
    včera 03:11 | Komunita

    Linux Foundation zveřejnila Výroční zprávu za rok 2025 (pdf). Příjmy Linux Foundation byly 311 miliónů dolarů. Výdaje 285 miliónů dolarů. Na podporu linuxového jádra (Linux Kernel Project) šlo 8,4 miliónu dolarů. Linux Foundation podporuje téměř 1 500 open source projektů.

    Ladislav Hagara | Komentářů: 0
    včera 02:11 | Zajímavý článek

    Jean-Baptiste Mardelle se v příspěvku na blogu rozepsal o novinkám v nejnovější verzi 25.12.0 editoru videa Kdenlive (Wikipedie). Ke stažení také na Flathubu.

    Ladislav Hagara | Komentářů: 0
    včera 02:00 | Nová verze

    OpenZFS (Wikipedie), tj. implementace souborového systému ZFS pro Linux a FreeBSD, byl vydán ve verzi 2.4.0.

    Ladislav Hagara | Komentářů: 0
    včera 01:00 | IT novinky

    Kriminalisté z NCTEKK společně s českými i zahraničními kolegy objasnili mimořádně rozsáhlou trestnou činnost z oblasti kybernetické kriminality. V rámci operací OCTOPUS a CONNECT ukončili činnost čtyř call center na Ukrajině. V prvním případě se jednalo o podvodné investice, v případě druhém o podvodné telefonáty, při kterých se zločinci vydávali za policisty a pod legendou napadeného bankovního účtu okrádali své oběti o vysoké finanční částky.

    Ladislav Hagara | Komentářů: 4
    18.12. 14:44 | IT novinky

    Na lepší pokrytí mobilním signálem a dostupnější mobilní internet se mohou těšit cestující v Pendolinech, railjetech a InterPanterech Českých drah. Konsorcium firem ČD - Telematika a.s. a Kontron Transportation s.r.o. dokončilo instalaci 5G opakovačů mobilního signálu do jednotek Pendolino a InterPanter. Tento krok navazuje na zavedení této technologie v jednotkách Railjet z letošního jara.

    Ladislav Hagara | Komentářů: 6
    18.12. 12:22 | Bezpečnostní upozornění

    Rozšíření webového prohlížeče Urban VPN Proxy a další rozšíření od stejného vydavatele (např. 1ClickVPN Proxy, Urban Browser Guard či Urban Ad Blocker) od července 2025 skrytě zachytávají a odesílají celé konverzace uživatelů s AI nástroji (včetně ChatGPT, Claude, Gemini, Copilot aj.), a to nezávisle na tom, zda je VPN aktivní. Sběr probíhá bez možnosti jej uživatelsky vypnout a zahrnuje plný obsah dotazů a odpovědí, metadata relací i

    … více »
    Ladislav Hagara | Komentářů: 5
    18.12. 05:22 | Zajímavý software

    QStudio, tj. nástroj pro práci s SQL podporující více než 30 databází (MySQL, PostgreSQL, DuckDB, QuestDB, kdb+, …), se stal s vydáním verze 5.0 open source. Zdrojové kódy jsou k dispozici na GitHubu pod licencí Apache 2.0.

    Ladislav Hagara | Komentářů: 6
    Kdo vám letos nadělí dárek?
     (13%)
     (0%)
     (0%)
     (0%)
     (6%)
     (6%)
     (19%)
     (31%)
     (25%)
    Celkem 16 hlasů
     Komentářů: 11, poslední dnes 07:16
    Rozcestník

    Dotaz: Import dat z XML do MySQL v PHP

    1.8.2009 08:36 Open Mage | skóre: 24 | Lom
    Import dat z XML do MySQL v PHP
    Přečteno: 1697×

    Ahoj, řeším situaci kdy mám cca 30MB XML soubor s tisíci dat a potřebuji jej rozparsovat, některá data upravit a následně - ideálně v jednom cyklu - naimportovat do předpřipravené tabulky v MySQL. Teoreticky nějaké cesty vím, ale řeším správnou cestu z pohledu výkonu (operační paměť, konektivita k DB, doba trvání skriptu, ...). Mohl by někdo prosím poradit jaký zvolit pro takový moloch nejvýkonnější XML parser (DOM v PHP5, SimpleXML, SAX ...) ? Další otázkou je zda se u každého importováného záznamu připojovat k MySQL zvlášť - nevím jak by to zvládlo perzistentní připojení - a taky zda se vyplatí využít prepared statements? Spíš takový průzkum jak na to jít opravdu nejlépe, aby nestrádal server, DB, ... Ještě poznámka : omezení hostingu jsou - max. execution time 360s a memory limit 75 - obávám se, že na jeden zátah to ani neudělám.

    Díky

    Stanislav Puffler, DiS. specialista na internet marketing a ecommerce www.openmage.cz tel. 773 565 747

    Odpovědi

    Heron avatar 1.8.2009 09:39 Heron | skóre: 53 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Import dat z XML do MySQL v PHP
    Na tohle SAX, DOM se ti nevleze do paměti. Pak persistentní spojení (nové spojení trvá dlouho), určitě PreparedStatement (ať to DB nemusí pořád kompilovat a optimalizovat) a ještě je vhodné to insertovat po více záznamech (100 naráz, 500 naráz, to chce vyzkoušet). Po jednom to bude trvat dlouho. 1000x záznamů není tak moc, to je do těch 6 minut musí vejít.

    Kolik dat v té tabulce je teď? Možná by stálo za to dropnout před tímto insertem indexy a pak je opět vytvořit.
    1.8.2009 10:58 Open Mage | skóre: 24 | Lom
    Rozbalit Rozbalit vše Re: Import dat z XML do MySQL v PHP

    Osobně se mi pracuje líp s DOM, ale vim, že na tyhle věci optimální neni, tak sáhnu po SAXu. Po více záznamech to nějak určitě udělám, zkusim najít optimální počet. Naštěstí to bude takhle fungovat denně (resp. nočně :) a ta tabulka bude prázdná a vždycky se naplní od nuly znovu (přírustkově-úbytková metoda v tomhle případě není možná asi), tak s tím by problém být neměl. Záznamů bude něco kolem 13 tisíc, tak snad to do těch 6 minut projde.

    Stanislav Puffler, DiS. specialista na internet marketing a ecommerce www.openmage.cz tel. 773 565 747
    MaT avatar 1.8.2009 11:14 MaT | skóre: 28
    Rozbalit Rozbalit vše Re: Import dat z XML do MySQL v PHP

    Mě ještě napadlo si něco na ten import pouštět někde u sebe, na vlastním stroji, kde by člověk nemusel řešit maximální dobu běhu a memory limit. Pak z toho udělat normální SQL dump a ten přenést na hosting. Ale když teď píšete, že se to bude dělat nějak pravidelně...

    Open source software for open minded people. :-)
    1.8.2009 11:18 Open Mage | skóre: 24 | Lom
    Rozbalit Rozbalit vše Re: Import dat z XML do MySQL v PHP

    Taky jsem si s touhle myšlenkou pohrával, ale právě ta denní pravidelnost vyžaduje prostě server + CRON a nestarat se o to.

    Stanislav Puffler, DiS. specialista na internet marketing a ecommerce www.openmage.cz tel. 773 565 747
    Heron avatar 1.8.2009 12:39 Heron | skóre: 53 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Import dat z XML do MySQL v PHP
    Ano, s DOMem se pracuje lépe, ale ten strom se nevleze do toho tvého memory limitu. A IMHO i kdyby se vlezl, tak na toto je i tak SAX vhodnější ("sekvenční" čtení celého souboru). Je totiž mnohem rychlejší.

    13k záznamů by neměl být problém. V javě by to bylo do 30s hotové. Tady už jen záleží na rychlosti MySQL DB, ale s tím ty nic neuděláš, to záleží na hostingu.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.