Dotaz: Jak vylepšit (zrychlit) aktualizaci cen v MySQL pomoci PHP ??

[bajt]

Mám soubor ceny.csv s cca 5000 řádky - co řádka to číslo zboží a jeho nákupní cena bez DPH podle ktere do DB zapisuji prodejni cenu s DPH.

Když spustím tento skript, tak běží neskutečně dlouho - kolem 4hodin.

Jak to naprogramovat lépe aby to trvalo kratší dobu? A jak také docílit toho, aby na obrazovku postupně vypisoval,které zboží zrovna aktualizuje? ...teď totiž když tento skript spustím v prohlížeči,tak ty echa nevypisuje postupně,ale zobrazí je všechny najednou až poté co skript aktualizuje poslední řádek.

$soubor = 'ceny.csv';

if (!File_Exists ($soubor)) { exit("Nelze najít soubor $soubor "); } $klika = fopen($soubor, 'r'); if ($klika == false) { exit("Nelze otevřít soubor $soubor ke čtení."); } $updated = 0; $notupdated = 0; while (!feof ($klika)) { $radek = fgets($klika, 4096); list ($objednavacicislo, $nc) = explode(';', $radek); connect(); $pocet = mysql_result(mysql_query("SELECT * FROM zbozi WHERE cislo = '$objednavacicislo' LIMIT 1 "), 0); if ($pocet == 0) { echo "NOT UPDATED - $objednavacicislo does not exist!"; $notupdated = ($notupdated + 1); } else { $moc = ($nc * 1.21 * 1.1); $moc = round($moc); $aktualizaceceny = MySQL_Query("UPDATE zbozi SET cenaDPH = '$moc' WHERE cislo = '$objednavacicislo' LIMIT 1"); echo "zbozi: $objednavacicislo aktualizovano cenou $moc"; $updated = ($updated + 1); } } fclose ($klika);

Odpovědi

[Sten]

Používat prepared statements. Nepoužívat LIMIT 1, ale mít cislo jako PRIMARY KEY. A nejspíš pomůže i používání transakcí (takhle se každá změna musí commitnout samostatně).

[Kit]

• Co pohledává funkce connect() v cyklu?
• Ten SELECT je tam úplně zbytečný.
• Čísla se nedávají do apostrofů
• Bylo by dobré sloupec `cislo` indexovat

[bajt]

Diky za rady!

- connect() je opravdu omylem blbe - uz je pred cyklem!

- ten select odstranim-je tam proto,aby mi to zobrazilo i ty co nenajde a tudiz nezaktualizuje....asi to jde napsat jinak a bez nej,ale zatim nevim jak.

- cislo $objednavacicislo neni ciste cislo,ale jen reference na kod zbozi od jednoho dodavatele, jedna se o smesici cisel a pismen, takze proto to je takto

[Kit]

Nevadí, že $objednavacicislo není čisté číslo. Hlavně musí být unikátní. Pak se může stát primárním klíčem.

[Josef Kufner]

Také můžeš do tabulky přidat sloupeček s timestampem poslední aktualizace ceny. Na počátku importu si uložíš aktuální čas a ten pak nastavíš všem modifikovaným položkám. Pak můžeš udělat jeden select na konci a uvidíš, které položky nebyly aktualizovány (budou mít starý timestamp).

Jen je potřeba počítat s tím, že timestampu trvá jednu sekundu, než se zvětší, takže je potřeba na začátku zkontrolovat, zda zvolený timestamp je větší než největší.

[Kit]

Místo explode() zkus ještě tohle:

list ($objednavacicislo, $nc) = fgetCSV($klika, 4096, ";");

[bajt]

Diky, vyzkousim!

A co to postupne vypisovani na obrazovku, nevite jak toho dosahnout?

[Kit]

Však to tam už máš. Zrušíš SELECT a v tom UPDATE si vždy zjistíš, kolik bylo ovlivněno řádek. Pokud 0 - neúspěch, 1 - úspěch. Pokud je "cislo" primárním klíčem, jiná situace ani nastat nemůže. Zruš ty "LIMIT 1" - jsou zbytečné.

[Josef Kufner]

Postupného vypisování lze dosáhnout voláním ob_flush(), pokud máš zapnutý output bufering, nebo flush() v opačném případě. Prohlížeče ale pŕi renderování HTML obvykle čekají s vykreslováním, než přijmou alespoň pár KB obsahu. U plain textu kreslí okamžitě.

[blondak]

A načíst ten csv soubor do tabulky přímo pomocí mysql a pak udělat jenom jednoduchý update?

TRUNCATE TABLE data_csv;
LOAD DATA INFILE 'file_name' INTO TABLE data_csv COLUMNS TERMINATED BY ";";
UPDATE zbozi INNER JOIN data_csv ON zbozi.cislo = data_csv. SET zbozi.cenaDPH = data_csv.nakupni_cena * 1.21 * 1.1;

[bajt]

Vyzkousim take, dikes!