Dotaz: Jak zjistím počet řádků v textovém souboru?

[ivitek]

Dobrý den, potřebuji zjistit počet řádků v textovém souboru - buď přes nějakou funkci PHP nebo nějaký linuxový příkaz. Prostě, když jsou tam 3 řádky, aby to vypsalo 3

---

---

Odpovědi

[Michal Čihař]

wc -l

[ivitek]

Tak spíš v PHP, exec mi to nějak nebere

[unchallenger]

Tak to holt musíš použít fopen(), fread() (není-li soubor velký, tak file_get_contents()) , ... a spočítat znaky \n, např. count_chars().

[wake]

co si třeba ten soubor otevřít v textovém režimu a počítat konce řádků ? co třeba místo wc -l pouštět /usr/bin/wc -l ?

[kafi]

Zdravim, toto vlakno uz je nejaky ten patek stare. Ale jelikoz jsem neco hledal a narazil jsem na nej tak bych chtel upresnit odpoved na otazku tykajici se formy PHP. Co takhle si nacist soubor do pole pomoci file a pak count (pole) a mame pocet radku. Protoze nacteni do pole celeho souboru se dela tak ze kazdy prvek pole obsahuje jeden radek. Priklad:

$pole_soubor=file ($jm_file);
$pocet_radku=count($pole_soubor);
echo $pocet_radku;

PS: kdyby nekdo nekdy tady neco hledal tak at najde komplet odpoved na toto vlakno

[Hynek (Pichi) Vychodil]

Geniální. To si načteme ten soubor celý, pak si ho samozřejmě celý uložíme do paměti a nakonec si zjistíme, kolik to má řádek. A na to jste přišel sám, nebo vám s tím někdo pomohl? Nějaký elegantnější způsob jak si říct o zásah OOM killera by nebyl?

[Vlastimil Ott]

Vytvořit si pole těchto polí a zjistit tak délky více souborů zároveň?

[Michal Kubeček]

Proč pole? Proč ne rovnou strom - hezky všechny soubory ve filesystému, pak už bude hračka vytáhnout z toho tu správnou hodnotu. :-)

[Michal Kubeček]

Už dlouho mne fascinuje, jak jsou někteří "programátoři", kteří nikdy nepoznali nic jiného než PHP, schopni produkovat konstrukce, které sice opticky vypadají elegantně, ale jejich skutečná implementace je zoufale neefektivní. Musím přiznat, že se vám právě podařilo toto umění pozvednout na kvalitativně novou úroveň…

[kubaak]

Vyřešil jsem to takto a funguje to.

$zaznamy=file("cenik2.txt");

$id=count($zaznamy);

[Michal Kubeček]

Vida, došel jste k stejně šílenému řešení jako kolega kafi. On má ovšem polehčující okolnost, že mu to trvalo jen rok, ne šest jako vám… :-)

[Atom321]

No, k obraně šílených kolegů si dovolím podotknout:

• Pro malé soubory to bude fungovat výborně.
• Správné řešení k tomuto dotazu zatím nikdo nenapsal.

[Atom321]

I tohle je řekl bych lepší než načítat celý soubor do paměti:

$lines = 0;
$f = fopen("soubor", "r");
if ($f) {
  while (fgets($f) != false) {
    line++;
  }
  fclose($f);
}

[mato]

a v samej podstate prave tak funguje aj wc

[Atom321]

Ano, ale wc nemusí být všude dostupné. (Typicky na hostingu se zapnutým safe_mode.)

[mato]

jasne; mojim komentom som nechcel 'zdrbat' autora .. prave naopak, principialne urobil to, co robi wc, teda kvazi optimalne (oproti horeuvedenym navrhom).

inak z orig. wc kodu:

                /*
                 * Line counting is split out because it's a lot faster to get
                 * lines than to get words, since the word count requires some
                 * logic.
                 */
                if (doline) {
                        while ((len = read(fd, buf, MAXBSIZE))) {

[rADOn]

Pořád je tam zbytečné tlačení celé řádky do paměti. Nepamatuji si už php přesně, ale určitě má funkci na čtení po znacích.

[stativ]

Taková fce tam myslím je, ale nepamatuji si jaká.

[Kit]

Čtení po řádcích (nebo blocích) je rychlejší, než po znacích.

[rADOn]

Po blocích ano. Po řádcích jen když jsou krátké. Proto taky znakové funkce v libc i kernel mají vlastní buffery, víme?

[Kit]

Soubor 58 MB, 1202011 řádek:

wc             ...  16.763 s
wc -l          ...   0.176 s
PHP file()     ... Allowed memory size of 134217728 bytes exhausted
PHP po řádcích ...   2.183 s
PHP po znacích ... 167.147 s

Nejsme v libc ani v kernelu, ale v PHP, víme?

[Michal Kubeček]

Fajn, a co takhle 58MB soubor o jednom řádku? :-)

Obecně nejefektivnější bude načítat soubor pomocí fread() po blocích, řekněme 4 KB, počítat LF a pak případně přičíst jedničku za poslední neukončený řádek.

[Kit]

Fajn, a co takhle 58MB soubor o jednom řádku? :-)

Tentýž soubor, nahradil jsem konce řádků tečkou:

wc             ...  17.088 s
wc -l          ...   0.137 s
PHP file()     ...   0.361 s
PHP po řádcích ...   0.250 s
PHP po znacích ... 165.240 s

Obecně nejefektivnější bude načítat soubor pomocí fread() po blocích, řekněme 4 KB, počítat LF a pak případně přičíst jedničku za poslední neukončený řádek.

Opět: Netuším, jak to bude v C, testy jsem dělal pouze v programech wc a PHP.

[Michal Kubeček]

To je docela zvláštní, že jednou se vám ten soubor do paměti nevešel a podruhé stejně velký ano…

Opět: Netuším, jak to bude v C, testy jsem dělal pouze v programech wc a PHP.

Ale já přece nemluvil o C, i PHP má funkci fread().

[Kit]

To je docela zvláštní, že jednou se vám ten soubor do paměti nevešel a podruhé stejně velký ano…

Nic zvláštního. Paměťový limit mám v PHP 128 MB. Pole s jedním 58MB řetězcem zabere méně místa, než pole s 1202011 řetězci o úhrnné délce 58MB.

Ale já přece nemluvil o C, i PHP má funkci fread().

Psát se mi to už nechce, ale vím, že to bude trvat dlouho. Dvojitý (příp. vícenásobný) cyklus ve skriptovacích jazycích celkem spolehlivě zabíjí výkon aplikace.

[Filip Jirsák]

Psát se mi to už nechce, ale vím, že to bude trvat dlouho. Dvojitý (příp. vícenásobný) cyklus ve skriptovacích jazycích celkem spolehlivě zabíjí výkon aplikace.

Myslíte, že když ten cyklus nevidíte (je schovaný v nějaké knihovní funkci), bude to s výkonem lepší?

[l4m4]

Je-li ta funkce nativní (což základní knihovní funkce bývají), tak určitě bude.

[Filip Jirsák]

Nemusí být. Navíc zrovna cyklus má JIT kompilátor šanci zoptimalizovat za běhu lépe, než jak to může zoptimalizovat statický kompilátor.

[Kit]

To je zažitý mýtus, který v PHP nefunguje. Proto se téměř vždy vyplatí najít alespoň přibližně vhodnou knihovní funkci místo vytváření dalšího vnitřního cyklu. Změř si to.

[Šangala]

Bohužel v PHP je každá smyčka while či for navíc citelně poznat. A od určité (dávné) verze je vhodnější na pole používat foreach, jen proto, že používá vnitřní iterátor a bývá většinou o kousek rychlejší než for.
Níže jsou výsledky z testu, které to dokazaují.

[Atom321]

Ale já přece nemluvil o C, i PHP má funkci fread().

Ještě mi docvaklo, že to půjde s fread() i jinak, než vnořeným cyklem a to s funkcí substr_count(). Výsledek 0.207 s pro jednořádkový 58MB soubor a 0.251 s pro původní soubor jsou velmi příznivé, vlastně u PHP nejlepší. Zároveň to bude bezpečně fungovat i pro velmi dlouhé soubory a velmi dlouhé řádky. A protože je to vítěz, zde je zdroják:

define('LF',chr(10));
$handle = fopen("soubor.txt","rb");
$lines = 0;
while (!feof($handle)) {
    $lines+=substr_count(fread($handle, 8192),LF);
}
fclose($handle);

Ovšem pro krátké soubory bych použil raději fgets(), výsledky budou přesné i v případě chybějícího LF na konci.

[Šangala]

Jo to bude ta správná kombinace pro PHP
U mě náhodně vytvořené filesy 58MiB:

                     fgetc(): 14.769s (po znacích/bytech)
      fread() 2×cyklus  4KiB:  9.326s 
      fread() 2×cyklus 32KiB:  9.248s (v C by toto bylo asi nejrychlejší)
         file_get_contents():  9.209s (načtení celého souboru a smyčka)
                         wc :  2.375s
              file() count():  0.222s (načtení do pole řádků)
                     fgets():  0.127s (čtení po řádcích)
 fread() substr_count() 8KiB:  0.060s
fread() substr_count() 32KiB:  0.051s
                      wc -l :  0.024s

[oookkk]

Já bych ještě doplnil, že kolega Michal Kubeček má jen blbé kecy, ale sám na žádné řešení nepřišel. :)

[Kit]

A já bych ještě doplnil, že oookkk nepřispěl ani blbými kecy k tématu, ale jen blbými kecy k diskutujícímu. Oba tyto naše příspěvky si zasluhují redakční smazání.