abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 18:44 | IT novinky

    Vojenské zpravodajství (VZ) se v březnu zapojilo do mezinárodní operace proti aktivitám hackerské skupiny APT28, která je spojovaná s ruskou vojenskou zpravodajskou službou GRU a která přes slabě zabezpečené routery prováděla kybernetické útoky na státní a další organizace v ČR i zahraničí. Operaci vedl americký Federální úřad pro vyšetřování (FBI) a jejím cílem bylo odebrat útočníkům přístup k napadeným zařízením a ty následně … více »

    Ladislav Hagara | Komentářů: 2
    dnes 16:44 | IT novinky

    Tvůrcem nejpopulárnější kryptoměny bitcoin, který se skrývá za pseudonymem Satoši Nakamoto (Satoshi Nakamoto), je britský kryptograf Adam Back. Na základě vlastní investigativní práce to tvrdí americký deník The New York Times (NYT). Několik indicií podle autorů jasně ukazuje na to, že Back a Nakamoto jsou stejný člověk. Jde mimo jiné o podobný odborný a osobnostní profil či totožné chyby a manýry v psaném projevu.

    Ladislav Hagara | Komentářů: 5
    dnes 14:44 | Nová verze

    Google Chrome 147 byl prohlášen za stabilní. Nejnovější stabilní verze 147.0.7727.55 přináší řadu novinek z hlediska uživatelů i vývojářů. Podrobný přehled v poznámkách k vydání. Vylepšeny byly také nástroje pro vývojáře. Přehled novinek v Chrome DevTools 145 až 147 také na YouTube.

    Ladislav Hagara | Komentářů: 1
    dnes 12:44 | Nová verze

    Vývojáři z Laboratoří CZ.NIC vydali nové verze aplikací Datovka (Datovka 4.29.0, Mobilní Datovka 2.6.2). V případě desktopové verze přibyly možnosti projít všechny uložené zprávy, zkontrolovat časy expirací časových razítek a přerazítkovat datové zprávy, které lze v ISDS přerazítkovat. Novinkou je také možnost vytahovat myší ze seznamu ZFO soubory datových zpráv, tento úkon jde udělat i pomocí tlačítek Ctrl+C. Nová verze Mobilní Datovky přináší jen drobné úpravy.

    VSladek | Komentářů: 1
    včera 21:55 | Nová verze

    MicroPython (Wikipedie), tj. implementace Pythonu 3 optimalizovaná pro jednočipové počítače, byl vydán ve verzi 1.28.0. Z novinek lze vypíchnout novou třídu machine.CAN.

    Ladislav Hagara | Komentářů: 0
    včera 10:22 | Komunita

    Michael Meeks, CEO společnosti Collabora, na apríla oznámil, nebyl to ale apríl, že nadace The Document Foundation zastřešující vývoj kancelářského balíku LibreOffice vyloučila ze svých řad všechny zaměstnance a partnery společnosti Collabora, tj. více než třicet lidí, kteří po mnoho let přispívali do LibreOffice. Nadace The Document Foundation po několika dnech publikovala oficiální vyjádření. Přiznává pochybení při zakládání

    … více »
    Ladislav Hagara | Komentářů: 10
    6.4. 05:33 | Pozvánky

    Protože je už po aprílu, můžou strahováci opět zveřejnit program další Virtuální Bastlírny, aniž by připravená témata působila dojmem, že jde o žert. Vězte tedy, že v úterý 14. dubna (změna!!!) od 20:00 proběhne VB, kde se setkají bastlíři, technici, učitelé i nadšenci do techniky a kde i vy se můžete zapojit do družného hovoru, jako by všichni seděli u pomyslného piva. Co mají bastlíři tento měsíc na srdci? Pravděpodobně by nás musel zasáhnout

    … více »
    bkralik | Komentářů: 3
    5.4. 23:33 | Nová verze

    Byla vydána verze 26.1 aneb čtvrtletní aktualizace open source počítačového planetária Stellarium (Wikipedie, GitHub). Vyzkoušet lze webovou verzi Stellaria na Stellarium Web.

    Ladislav Hagara | Komentářů: 1
    5.4. 23:00 | Zajímavý projekt

    VOID (Video Object and Interaction Deletion) je nový open-source VLM model pro editaci videa, který dokáže z videí odstraňovat objekty včetně všech jejich fyzikálních interakcí v rámci scény (pády, kolize, stíny...) pomocí quadmaskingu (čtyřhodnotová maska, která člení pixely scény do čtyř kategorií: objekt určený k odstranění, překrývající se oblasti, objektem ovlivněné oblasti a pozadí scény) a dvoufázového inpaintingu. Za projektem stojí výzkumníci ze společnosti Netflix.

    NUKE GAZA! 🎆 | Komentářů: 8
    5.4. 05:22 | Zajímavý software

    Design (GitHub) je 2D CAD pro GNOME. Instalovat lze i z Flathubu. Běží také ve webovém prohlížeči.

    Ladislav Hagara | Komentářů: 20
    Které desktopové prostředí na Linuxu používáte?
     (14%)
     (7%)
     (1%)
     (12%)
     (30%)
     (3%)
     (6%)
     (1%)
     (14%)
     (23%)
    Celkem 1244 hlasů
     Komentářů: 30, poslední 3.4. 20:20
    Rozcestník

    Dotaz: Import dat z XML do MySQL v PHP

    1.8.2009 08:36 Open Mage | skóre: 24 | Lom
    Import dat z XML do MySQL v PHP
    Přečteno: 1707×

    Ahoj, řeším situaci kdy mám cca 30MB XML soubor s tisíci dat a potřebuji jej rozparsovat, některá data upravit a následně - ideálně v jednom cyklu - naimportovat do předpřipravené tabulky v MySQL. Teoreticky nějaké cesty vím, ale řeším správnou cestu z pohledu výkonu (operační paměť, konektivita k DB, doba trvání skriptu, ...). Mohl by někdo prosím poradit jaký zvolit pro takový moloch nejvýkonnější XML parser (DOM v PHP5, SimpleXML, SAX ...) ? Další otázkou je zda se u každého importováného záznamu připojovat k MySQL zvlášť - nevím jak by to zvládlo perzistentní připojení - a taky zda se vyplatí využít prepared statements? Spíš takový průzkum jak na to jít opravdu nejlépe, aby nestrádal server, DB, ... Ještě poznámka : omezení hostingu jsou - max. execution time 360s a memory limit 75 - obávám se, že na jeden zátah to ani neudělám.

    Díky

    Stanislav Puffler, DiS. specialista na internet marketing a ecommerce www.openmage.cz tel. 773 565 747

    Odpovědi

    Heron avatar 1.8.2009 09:39 Heron | skóre: 53 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Import dat z XML do MySQL v PHP
    Na tohle SAX, DOM se ti nevleze do paměti. Pak persistentní spojení (nové spojení trvá dlouho), určitě PreparedStatement (ať to DB nemusí pořád kompilovat a optimalizovat) a ještě je vhodné to insertovat po více záznamech (100 naráz, 500 naráz, to chce vyzkoušet). Po jednom to bude trvat dlouho. 1000x záznamů není tak moc, to je do těch 6 minut musí vejít.

    Kolik dat v té tabulce je teď? Možná by stálo za to dropnout před tímto insertem indexy a pak je opět vytvořit.
    1.8.2009 10:58 Open Mage | skóre: 24 | Lom
    Rozbalit Rozbalit vše Re: Import dat z XML do MySQL v PHP

    Osobně se mi pracuje líp s DOM, ale vim, že na tyhle věci optimální neni, tak sáhnu po SAXu. Po více záznamech to nějak určitě udělám, zkusim najít optimální počet. Naštěstí to bude takhle fungovat denně (resp. nočně :) a ta tabulka bude prázdná a vždycky se naplní od nuly znovu (přírustkově-úbytková metoda v tomhle případě není možná asi), tak s tím by problém být neměl. Záznamů bude něco kolem 13 tisíc, tak snad to do těch 6 minut projde.

    Stanislav Puffler, DiS. specialista na internet marketing a ecommerce www.openmage.cz tel. 773 565 747
    MaT avatar 1.8.2009 11:14 MaT | skóre: 28
    Rozbalit Rozbalit vše Re: Import dat z XML do MySQL v PHP

    Mě ještě napadlo si něco na ten import pouštět někde u sebe, na vlastním stroji, kde by člověk nemusel řešit maximální dobu běhu a memory limit. Pak z toho udělat normální SQL dump a ten přenést na hosting. Ale když teď píšete, že se to bude dělat nějak pravidelně...

    Open source software for open minded people. :-)
    1.8.2009 11:18 Open Mage | skóre: 24 | Lom
    Rozbalit Rozbalit vše Re: Import dat z XML do MySQL v PHP

    Taky jsem si s touhle myšlenkou pohrával, ale právě ta denní pravidelnost vyžaduje prostě server + CRON a nestarat se o to.

    Stanislav Puffler, DiS. specialista na internet marketing a ecommerce www.openmage.cz tel. 773 565 747
    Heron avatar 1.8.2009 12:39 Heron | skóre: 53 | blog: root_at_heron | Olomouc
    Rozbalit Rozbalit vše Re: Import dat z XML do MySQL v PHP
    Ano, s DOMem se pracuje lépe, ale ten strom se nevleze do toho tvého memory limitu. A IMHO i kdyby se vlezl, tak na toto je i tak SAX vhodnější ("sekvenční" čtení celého souboru). Je totiž mnohem rychlejší.

    13k záznamů by neměl být problém. V javě by to bylo do 30s hotové. Tady už jen záleží na rychlosti MySQL DB, ale s tím ty nic neuděláš, to záleží na hostingu.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.