Dotaz: algoritmus pro vyhledání podobných obrázků a textů.

[dik]

Ahoj, mám tuny obrázků/textů a potřebuji se zbavit duplikátů. Rád bych nějakým vhodným algoritmem nahrubo vybral možné duplikáty - finální rozhodnutí udělá brigoš. Poradím mi někdo (python ideál) ,resp. stačí nasměrovat co a kde mám hledat/se naučit? Diky dik

Odpovědi

[dustin]

Duplicity obrázků hledá docela pěkně např. digikam.

[:::]

porovnani textu bych zkusil udelat po slovech:

1. pro kazdy text si vytvoris hashovaci tabulku (slovnik v pythonu)

2. projdes kazdy clanek po slovech a do tabulky si ukladas slova na ktery narazis, pripadne muzes ukladat i jejich pocet

2. porovnas ty 2 tabulky - pokud se hodne slov vyskytuje v obou, tak texty jsou podobne

[Marián Oravec]

Podobnosť textu: Levenshtein distance

Podobnosť obrázkov by som riešil už hore uvedeným digikamom.

[Ivan]

Pro podobnost textu se pouzivaji algoritmy zalozene na suffix tree(trie).

PS: neuvedl jsi kolik casu tomu hodlas sam venovat, jestli hledas nejakej hotovej tool anebo hodlas sam neco vyvijet.

[dik]

Ahoj, no nejradeji bych pouzil nejakou hotovku - idealne hotovy python nebo php modul. Tuto funkcionalitu potrebuju jako vychytavku pro pidi projekt a vyvoj se mi nevyplati. Dik

[l0gik]

php funkce similar_text + funkce gdi pro převod všech obrázků do jedný velikosti a tvaru.

[aa]

php funkce similar_text

Ta funkce je O(n^3) tudíž je použitelná jen pro krátké řetězce.

[aa]

Porovnávání textů lze založit na n-gramech. Jednoduchá implementace je součástí článku Writing a simple plagiarism detector in Haskell