Dotaz: Štruktúra na uloženie klúčových slov

[Xgamer]

Zdravím

Ako semestrálny projekt z algoritmizácie som si vybral konvertor cčka do html+ zvyraznovač syntaxe. Trošku som sa však zasekol. Súbor s čkovským kodom chcem načitavat po riadkoch a po riadkoch to aj prevádzat. S čim mám však problem je ako čo najvhodnejšie implementovat slovnik klučových slov.

Totiž ked bude už riadok načitaný do nejakého bufferu budem potrebovat načitavat po jednotlivých znakoch vytvárať slova a potom ich porovnat zo slovami v slovníku. Kvôli zvýraznovaniu je asi potrebné mať rozličné slovniky na datove typy, operatory .... Preto by som pri hladaní či je slovo klučové prehladat všetky tieto "polia", čo by trvalo asi pomerne dlho. Napadlo ma ešte to uložit do hashovacej tabulky ale pre +- 50 slov neviem či sa mi to oplatí. Nejaký napad? Pravdou je aj to že nie som s hash tabulkou moc kamarát, preto hladám nejaké iné riešenie. Ďakujem

Odpovědi

[chrono]

Na takúto činnosť sa často používa gperf (ale sú aj iné možnosti).

[Ladicek]

Narvi si do Googlu výraz lexikální analýza. Přímá implementace (jeden veliký switch) nepotřebuje slovníky žádné, jen jednu množinu klíčových slov, protože ta vypadají stejně jako identifikátory (a rozlišit klíčová slova a ostatní identifikátory ihned je peklo).

[AraxoN]

Ja by som povedal, že na 50 pevne daných kľúčových slov sa neoplatí hash tabuľka. A ďalej by som povedal, že ak vstupom budú C-éčkové zdrojáky veľké rádovo v desiatkach kilobajtov, tak je neúčelné trápiť sa s nejakou prehnanou optimalizáciou. Ja by som to spravil tak, aby kód bol čo najprehľadnejší a najpriamočiarejší - ak teda zo zadania nevyplýva niečo iné.

[Xgamer]

Tá lexikálna analýza vyzerá zaujimavo, už som robil niečo podobné pre odstraňovanie komentárov z cčkovských zdrojákov, ale to bolo o dost jednoduchšie ako tento prevod. Chcem využiť takú metódu, ktorá sa v praxi využíva, aby ma ten projekt o niečo obohatil. Preto si myslim, že v praxi sa využivajú pri takýchto úlohach hlavne tie stavové automaty či sa mýlim?

[Martin Tůma]

Pro lexikální analýzu určitě použij konečný automat (ať už realizovaný řídící strukturou nebo tabulkou přechodů).

Nicméně lexikální analýza není všechno, pokuď chceš zdrojáky skutečně parsovat (například už jenom vědět, že na vstupu je skutečně zdroják C a ne jenom libovolná sekvence lexikálních elementů), budeš muset udělat i syntaktickou analýzu. Zkus se podívat na "rekurzivní sestup", to je asi nejjednodušší metoda (která ti na LL1 gramatiku tvé podmnožiny C bude stačit) asi ta nejjednodušší metoda.

Pak už ti stačí jenom doplnit implementovanou gramatiku o výstupní symboly a "obarvovač" je hotovej.

[Martin Tůma]

Ještě doplním odkaz na skripta na programovací jazyky z ČVUT FEL, která by ti měla odpovědět na všechny zvídavé otázky .

[Xgamer]

Ďakujem, to je skutočne pekný material :)

[Xgamer]

Myslím že sa zaobídem aj bez toho parsovania , Budem rád keď zvládnem tu lexikálnu analyzu:) Určite sa pozriem na ten rekurzívny zostup.. Ďakujem

[Josef Kufner]

Tady na abíčku vyšel o tomhle celý seriál. Jinak pro vyhledávání se mi celkem osvědčilo použít obyčejné seřazené pole stringů (char **) a pustit na to bsearch() – celkem rychlé a velmi jednoduché. Ale pokud klíčová slova nacpeš přímo do lexikálního analyzátoru (toho konečného automatu), tak převod vůbec nemusíš řešit a udělá to už ten automat a to stejně efektivně jako trie.