Dotaz: C++ - AI a mining adries firiem

[hermes]

Ahojte mám taký nástroj, ktorý prejde niektoré stránky so zoznamami firiem napr.

1. https://www.zoznam.sk/katalog/Spravodajstvo-informacie/Abecedny-zoznam-firiem/
2. https://www.azet.sk/katalog/

a nahodí firmy štruktúrovane do mojej SQL databázy. Nahadzuje ich podľa:

krajina / kraj / mesto / firma

Každá položka oobsahuje:

1. Názov firmy
2. Adresu
3. Kontaktné údaje (tel, email)

S mojou SQL DB potom môžem ďalej pracovať a používať tento zoznam firiem v mojich aplikáciách. Problém je, že som odkázaný len na hotové weby s katalógom firiem. A vždy pre každý nový katalóg musím pripraviť šablónu, podľa ktorej sa budú dáta minovať.

Napadlo ma urobiť univerzálnejšie riešenie. Ktoré by fungovalo na akékoľvek weby. Nejakou heurestikou by sa mohla detegovať adresa. Adresa by sa dala nájsť podľa nejakého klúča. V adrese sú prítomné:

1. Meno fyzickej osoby / Názov firmy (právnická osoba) - v niektorých prípadoch viem detegovať (ak je na konci názvu s.r.o. alebo a.s. inak neviem ako by som to detegoval)
2. Ulica Číslo - viem detegovať regexom aj keď asi nie na 100%
3. Mesto - viem detegovať podľa nejakého zoznamu miest (informácia o meste mi dáva aj ďalešie info o kraji a krajine)
4. PSČ - viem detegovať regexom
5. EMAIL(y) - viem detegovať regexom
6. Telefón(y) - viem detegovať regexom

Možno by bolo fajn detgovať aj logo firmy a uložiť ho do DB ako blob, ale to asi zatiaľ vynechám a budem sa tomu venovať až na záver, lebo ma nenapadá spôsob ako na to

Rozmýšlam ako spraviť na jednej strane čo najpresnejšie a zároveň najuniverzálenejšie riešenie. Prechádzanie stránok, by fungovalo podobne ako pri google bote cez odkazy. To neni problém a viem si s tým ľahko poradiť. Ale ako na detekciu názvu firmy a jej adresy? Nedal by sa na detekciu použiť strojové učenie. Pozeral som si kedysi nejaké tutorialy pre technológiu CUDA a tam bolo dosť veľa deep learning frameworkov, neviete s ktorým začať niečo čo by bolo vhodné aj pre začiatočníka? Najlepšie nejaký framework pre C++

Odpovědi

[Olaf]

Není ML na tohle -- alespoň z počátku -- trošku kanón na vrabce? Zkraje mě napadalo, že to je jak počítat průměrné telefonní číslo ze seznamu, ale to bych ti asi křivdil.

Každopádně z počátku bych to zkusil z těch tvých zdrojů přes web scraping pomocí Pythonu (BeautifulSoup, Selenium, Pandas...). Pak tam můžeš zkusit nějaké ML pomocí SciKit-Learn či TensorFlow. A až si vybuduješ představu, jak by to mělo fungovat, přesuň se k C++ (ale k tomu asi nebude důvod).

[NUKE GAZA! 🎆]

hele spacy umí :O :O

[Olaf]

Ani jeden z nás mu vlastně neporadil. Já to domotal úplně. Ale to asi ty moje horečky v tom období. Nicméně kdyby to chtěl řešit Pythonem, tak jsme mu to vyřešili.

[Peter Golis]

Čo by mal byť výsledok? Na Slovensku máme Obchodný Register v ktorom sú tieto dáta pravidelne aktualizované. Pravda je že asi bez loga firmy, ale na ňom až tak nezáleží. A nejaké API by bolo tiež k dispozícii.

[AraxoN]

V obchodnom registri nie je e-mail a telefón.

[Peter Golis]

V Obchodnom registri sú zapísaní konatelia a vlastníci, ktorí majú obvykle utajený kontakt. Teda pokiaľ sa nejedná o živnostníkov alebo one man show sro.

Kontakt (email, fax alebo telefón) má firma obvykle na svojej stránke, aj keď sa v dnešnej dobe skôr prechádza na chatboty alebo kontakt cez facebook. Živnostníci majú svoje kontakty v dnešnej dobe u centrálnych dispečingov nech si nehľadajú prácu.

To je dôvod prečo som sa pýtal na účel takéhoto zberu údajov.

Ak je to len vyťaženie už existujúcich štrukturálnych zoznamov z Azetu a Slovenských Telekomunikácií (kedysi kúpili Zoznam), tak by som sa poobzeral u nich na pobočke či nemajú k dispozícii v elektronickej forme Firemný Telefónny Zoznam známy aj ako yellow pages. Pamätám časy keď bol zdarma v papierovej podobe.

A ak je to len budovanie zoznamu telefónnych čísel pre predaj bambusových ponožiek, tak sa zmenil Zákon o Reklame z roku 2005.

[AraxoN]

Ja nie som OP, takže neviem, čo s tým zamýšľa...

A ak je to len budovanie zoznamu telefónnych čísel pre predaj bambusových ponožiek, tak sa zmenil Zákon o Reklame z roku 2005.

Do frasa, kde si teraz kúpim tie bambusové ponožky? Kde budem môcť vyhrať dovolenku pre dvoch?? Kde sa dozviem najnovšie investičné typy???

[Peter Golis]

Ja nie som OP, takže neviem, čo s tým zamýšľa...

Pýtal som sa jeho, odpovedal si ty. Predpokladám že má dosť chcochmesu aby len nevyťažil hotový katalóg. Pri tom ho s najväčšou pravdepodobnosťou zabanuje minimálne Captcha.

Do frasa, kde si teraz kúpim tie bambusové ponožky? Kde budem môcť vyhrať dovolenku pre dvoch?? Kde sa dozviem najnovšie investičné typy???

Neviem. Mne zavolajú automatické vyvolávacie systémy (ktoré to prepoja na operátorku) tak max 2x za rok. A už mi chceli predať aj lisované rybacie kože ako zázračný zdroj vitamínu D (chodím na slnko), alebo výborný olej s antioxidantom (najlacnejší repkový olej s vymáchanou mrkvou ktorý je napustený tokofenolom). Produkty týchto rádobypredajcov sú ozaj rôzneho, a nezriedka humorného charakteru.