Dotaz: Jak funguje lexikografické třídění?

[Lukáš Zapletal]

Zdravím,

mam programátorský dotaz. Jak funguje lexikografické třídění řetězců? Vzpomínám si, že se to třídí nějak odzadu. Jedná se o adresní třídící algoritmus, ale nějak se nemohu na internetu dopátrat nějaké ukázky. Heslo lexicographics sorting nějak nezabírá. Ve skriptech co mám k dispozici je to jen trochu naznačeno a já bych to potřeboval trošku podrobněji.

Stačil by mi třeba odkaz na nějaký dobře napsaný (rozumněj okomentovaný) zdrojový kód.

Odpovědi

[Lukáš Zapletal]

Dotaz směřuje na algoritmus lex. třídění. Zejména pak na variantu s lineární složitostí. Jak je samotné lex. setřídění zadefinováno je mi jasné... díky.

[Kníže Ignor]

Dotazu moc nerozumím.

Třídící algoritmus můžeš snad volit jaký chceš. Jde akorát o to, co to znamená lexikograficky porovnat dvě slova. Pokud je slovo předponou druhého slova, je lexikograficky menší. Není-li tomu tak, existuje pozice, na které se liší. Vezmi první takovou pozici a porovnej odpovídající znaky. Lexikografické pořadí pak určí uspořádání na těch znacích.

Pokud mají slova neomezenou délku a mohou být jakákoli, nemůžeš nikdy dostat algoritmus s lineární složitostí.

[Lukáš Zapletal]

Jenže to bych musel použít některý z asociativních třídících algoritmů, které nemají lineární složitost. Jde mi tedy o tento konkrétní algoritmus (tzv. přihrádkové lexikografické třídění).

K té lineární složitosti - skutečně to tak je, čtu to tady ve skriptech od Dr. Snášela. Vtip je v tom, že se třídí odkazy (pointery), ne celé řetězce. Pak je složitost algoritmu skutečně lineární (i když jsou slova neomezené na délce)... O(L + m) kde L je součet všech délek řetězců a m je konstanta.

[Michal Kubeček]

Pak je složitost algoritmu skutečně lineární (i když jsou slova neomezené na délce)... O(L + m) kde L je součet všech délek řetězců a m je konstanta.

To je klasický příklad zavádějící formulace. Podobným způsobem byste totiž snadno došel k závěru, že každý algoritmus je (přinejhorším) lineární, pouze stačí vhodně zvolit, vůči čemu má být lineární… :-)

[Lukáš Zapletal]

U třídících algoritmů se časová složitost váže k počtu tříděných elementů. V tomto případě je to L, což je součet délek vstupních řetězců. Toto zjednodušení nijak nenarušuje celkový výsledek, a tedy že je to algoritmus s lineární složitostí, protože díky tomu, jak je složitost nadefinována (já použil např. O notaci), je naprosto korektní. Je to jen násobek dvou čísel, platí:

O(n*c) = O(n)

Předpokládáme pochopitelně třídění konečných řetězců.

Dalším prvkem je m, což je konstanta (v tomto případě celkový počet znaků abecedy/univerza). Tato konstanta představuje časovou náročnost finálního zřetězení výsledku tohoto asociativního algoritmu.

Takže dost dobře nechápu, co Vám na mé formulaci nesedí. Podle mě je to v naprostém pořádku.

[Michal Kubeček]

U třídících algoritmů se časová složitost váže k počtu tříděných elementů. V tomto případě je to L, což je součet délek vstupních řetězců.

Tak to tedy není. Nezlobte se na mne, ale počet řazených elementů je počet řazených řetězců. Neřadíte znaky, řadíte řetězce (tím spíš, že jste se minule sám zmiňoval o tom, že ve skutečnosti nebudete manipulovat se samotnými řetězci, ale pouze s pointery na ně).

Je to jen násobek dvou čísel, platí: O(n*c) = O(n)

Tak především součin a ne násobek - a to souvisí s tím zamlžováním, o kterém jsem mluvil, ono totiž O(kn) je ve skutečnosti něco podstatně jiného než O(n). Prohlášením nepohodlných kritérií rozsahu problému za konstanty a vhodnou volbou parametru, vůči němuž budeme časovou složitost vyjadřovat, lze prohlásit za lineární jakýkoli algoritmus… Pokud má mít ale takové tvrzení nenulovou informační hodnotu, musí být jasně řečeno, vůči kterému parametru je to lineární, jaké základní operace považujete za konstatní v čase a které parametry rozsahu problému považujete za konstanty.

[Lukáš Zapletal]

Prohlásit to můžu, protože jsem předpokládal na začátku, že řetězce budou konečné. Konečné číslo (průměrnou délku řetězce) mohu považovat za konstantu. A když je to konstanta, pak platí toto (vizte "Multiplication by a constant").

Nemohu si pomoci, ale pořád se mi zdá, že stavíte na vodě. Nechci se nějak sáhodlouze dohadovat, rád uznám chybu, ale prostě ji nevidím. Určitě bych asi měl lépe specifikovat, které operace považuji za konstatní v čase, ale to je tak vše. Co považuji za konstantu jsem už napsal...

[Kníže Ignor]

Já jsem teda měl pocit, že O-čko pochází z analýzy, takže to odkazování bude nejspíše zbytečné . Řekl bych, že zmatek do toho zavádíš ty. Vstupy (délky) řetězců sice vždy budou konečné, ale žádnou konstantou omezené nejsou. Přirozených čísel je taky nekonečně mnoho, ale žádné není nekonečné.

Když mluvíš o složitosti algoritmu, musíš říct vůči čemu tu složitost počítáš. Když se mluví o třídících algoritmech, tak pokud není uvedeno jinak, implicitně se myslí počet tříděných prvků (v našem případě řetězců).

[Lukáš Zapletal]

Ale vždyť já to napsal! L = n*c, tedy O(L*m), což je O(n*c*m). To c není žádná omezující podmínka, ale dá se chápat jako průměrná délka řetezce (přes všechny vstupní řetězce). To je přece předem dané, nic to neomezuje. No a n je přece počet vstupů (řetězců).

[Lukáš Zapletal]

Teďka na to koukám, já to vlastně nenapsal, nicméně je zřejmé, že když L je celkový součet délek, tak se to dá rozdělit na tento součin...

[Michal Kubeček]

Obávám se, že v tom sám nemáte úplně jasno. Původně jste napsal O(L+m), teď tvrdíte že O(Lm), to je docela podstatný rozdíl, nemyslíte? Celý problém je v neoprávněném zanedbávání parametrů, které považujete za nepodstatné, ale které se do časové náročnosti promítají a zanedbat je nemůžete.

[Lukáš Zapletal]

Má to být O(n*c+m), to byl překlep.

Bylo nerozumné zde prezentovat složitost algoritmu, aniž bych ho zde popsal. Bohužel ho tu mám rozepsaný na dvě strany a jak jsem se zběžně díval, tak lexicographical sorting je popsaný snad jedině v Knuthově třetím díle jeho ságy, a na tu bohužel odkaz nenaleznu. Tam také bude zřejmě uvedeno (z této knihy skripta čerpají), že je složitost lineární a hlavně proč: O(l_total + m). Asi nemá cenu obhajovat žádné stanovisko, když nejsou známy fakta.

[Michal Kubeček]

Pořád mi nerozumíte: nejde o to, že bych vám nevěřil, že ten algoritmus má časovou složitost O(nk+m), to vám samozřejmě věřím, to bude mít ostatně nejspíš i algoritmus, který jsem vám tu popsal hned na začátku. Jde čistě o to, že je nesmysl říct bez dalšího upřesnění lineární nebo dokonce tvrdit, že O(kn) je totéž co O(n).

[Lukáš Zapletal]

O algoritmu mohu prohlásit, že má (přinejhorším) lineární složitost vzhledem k nějakému vstupu. U té ekvivalence jsem uvedl, že je to konstanta... Začíná fotbal

[Michal Kubeček]

Není to konstanta, je to jeden z parametrů, na kterých časová náročnost závisí. Můžete ho sice formálně prohlásit za konstantu, ale to už byste pak klidně mohl udělat i s tím n.

[Lukáš Zapletal]

To o té analýze jsem nějak nepochopil

[Kníže Ignor]

Mám dojem, že Michal Kubeček vystudoval matematickou analýzu...

[Kníže Ignor]

jinak lexikografický se řekne lexicographical

[Michal Kubeček]

Možná by mohlo jít pro algoritmus, který se někdy používá pro řazení většího počtu záznamů s relativně malým počtem různých hodnot klíče. Představte si např., že budete mít za úkol seřadit větší počet čtyřciferných čísel. V prvním kroku je roztřídíte do deseti "přihrádek" podle poslední číslice, ve druhé je rozdtřídíte podle předposlední (ale s tím, že procházíte postupně jednotlivé přihrádky, aby v rámci nového rozřazení bylo zachováno pořadí podle poslední číslice), ve třetím podle třetí odzadu atd. Na konci budete mít seznam seřazený správně. Podobný algoritmus by bylo možné aplikovat i na řetězce, za předpokladu, že máte pevně danou jejich maximální délku (a ta není příliš velká). Pouze pak musíte dávat pozor, že zde neřadíte podle posledního (předposledního apod.) znaku, ale podle znaku na konkrétní pozici od začátku řetězce (začínáte od maximální), a na to, že musíte zvlášť zatřídit řetězce, kde příslušný znak není (protože jsou kratší). Doufám, že jsem to moc nezamotal.

[Lukáš Zapletal]

Je to tak, tohle je ono. Jinak s tím parametrem máte naprostou pravdu, proč jste to nenapsal přímo? Pořád mi nebylo jasné, proč jste psal, že O(kn) není O(n), ale už chápu - myslel jste případ, kdy k není konstanta, ale (závislý) parametr. Nebylo to z toho zřejmé a já furt omýlal to svoje...

[Martin Tůma]

Tohle je ale právě princip níže odkazovanýho radix-sortu. Pro třídění řetězců různé délky pak lze využít zobecněného radix-sortu. Popis algoritmu nalezneš v: Hudec: Programovací tecniky, ČVUT 2004. Složitost algoritmu je O(n + L), kde L je součet délek všech řazených slov.

[Lukáš Zapletal]

Pak je divný, proč to tu mám uvedený jako jiný algoritmus (Radix sort je hned v další kapitole). Princip je ale opravdu stejný, pořád jsem tam hledal nějaký rozdíl.

[Jiří Veselský]

Podle toho, co tady doposud zaznělo, předpokládám, že vám jde o skupinu algoritmů, kterým se říká radixsort.

[Lukáš Zapletal]

Radixsort jsem neměl na mysli, přesto děkuji.

[Lukáš Zapletal]

Prosím ještě o jednu radu ohledně složitosti. Uvažujme jednoduchý algoritmus přihrádkového třídění (ala spočítej výskyty znaků). Pro vstup n (počet znaků) z abecedy o m znacích je jeho časová složitost vzhledem k zařazování do "přihrádek" O(m + n). Doufám, že jsem to napsal správně a nic nechybí

Dále se praví, že je to algoritmus s lineární složitostí, ale pouze pokud m << n (je výrazně menší než n). Jak může mít algoritmus lineární složitost jen v některých případech? Vždyť i když bude prvků abecedy třeba milion, pořád s přibývajícím n poroste čas lineárně.

[Lukáš Zapletal]

Je jasné, že pokud bude znaků abecedy moc, bude to neefektivní. Ale pořád tam vidím lineární závislost mezi složitostí a počtem vstupujících znaků...