abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    včera 15:33 | Nová verze

    Open source platforma Home Assistant (Demo, GitHub, Wikipedie) pro monitorování a řízení inteligentní domácnosti byla vydána v nové verzi 2025.8.

    Ladislav Hagara | Komentářů: 2
    včera 14:22 | IT novinky

    Herní studio Hangar 13 vydalo novou Mafii. Mafia: Domovina je zasazena do krutého sicilského podsvětí na začátku 20. století. Na ProtonDB je zatím bez záznamu.

    Ladislav Hagara | Komentářů: 0
    včera 13:22 | IT novinky

    Operátor O2 má opět problémy. Jako omluvu za pondělní zhoršenou dostupnost služeb dal všem zákazníkům poukaz v hodnotě 300 Kč na nákup telefonu nebo příslušenství.

    Ladislav Hagara | Komentářů: 5
    včera 05:55 | IT novinky

    Společnost OpenAI představila GPT-5 (YouTube).

    Ladislav Hagara | Komentářů: 0
    včera 05:00 | Nová verze

    Byla vydána (𝕏) červencová aktualizace aneb nová verze 1.103 editoru zdrojových kódů Visual Studio Code (Wikipedie). Přehled novinek i s náhledy a videi v poznámkách k vydání. Ve verzi 1.103 vyjde také VSCodium, tj. komunitní sestavení Visual Studia Code bez telemetrie a licenčních podmínek Microsoftu.

    Ladislav Hagara | Komentářů: 0
    7.8. 17:33 | IT novinky

    Americký prezident Donald Trump vyzval nového generálního ředitele firmy na výrobu čipů Intel, aby odstoupil. Prezident to zdůvodnil vazbami nového šéfa Lip-Bu Tana na čínské firmy.

    Ladislav Hagara | Komentářů: 8
    7.8. 16:55 | Nová verze

    Bylo vydáno Ubuntu 24.04.3 LTS, tj. třetí opravné vydání Ubuntu 24.04 LTS s kódovým názvem Noble Numbat. Přehled novinek a oprav na Discourse.

    Ladislav Hagara | Komentářů: 0
    7.8. 16:44 | Nová verze

    Byla vydána verze 1.89.0 programovacího jazyka Rust (Wikipedie). Podrobnosti v poznámkách k vydání. Vyzkoušet Rust lze například na stránce Rust by Example.

    Ladislav Hagara | Komentářů: 0
    7.8. 12:22 | IT novinky

    Americká technologická společnost Apple uskuteční v USA další investice ve výši sta miliard dolarů (2,1 bilionu korun). Oznámil to ve středu šéf firmy Tim Cook při setkání v Bílém domě s americkým prezidentem Donaldem Trumpem. Trump zároveň oznámil záměr zavést stoprocentní clo na polovodiče z dovozu.

    Ladislav Hagara | Komentářů: 5
    7.8. 04:55 | Nová verze

    Zálohovací server Proxmox Backup Server byl vydán v nové stabilní verzi 4.0. Založen je na Debianu 13 Trixie.

    Ladislav Hagara | Komentářů: 0
    Kolik tabů máte standardně otevřeno ve web prohlížeči?
     (47%)
     (20%)
     (4%)
     (5%)
     (3%)
     (1%)
     (1%)
     (18%)
    Celkem 313 hlasů
     Komentářů: 23, poslední 4.8. 13:01
    Rozcestník

    Dotaz: C++ - AI a mining adries firiem

    hermes avatar 11.6.2022 13:30 hermes | skóre: 6 | blog: Elektro | BA
    C++ - AI a mining adries firiem
    Přečteno: 752×
    Ahojte mám taký nástroj, ktorý prejde niektoré stránky so zoznamami firiem napr.
    1. https://www.zoznam.sk/katalog/Spravodajstvo-informacie/Abecedny-zoznam-firiem/
    2. https://www.azet.sk/katalog/

    a nahodí firmy štruktúrovane do mojej SQL databázy. Nahadzuje ich podľa:

    krajina / kraj / mesto / firma

    Každá položka oobsahuje:

    1. Názov firmy
    2. Adresu
    3. Kontaktné údaje (tel, email)

    S mojou SQL DB potom môžem ďalej pracovať a používať tento zoznam firiem v mojich aplikáciách. Problém je, že som odkázaný len na hotové weby s katalógom firiem. A vždy pre každý nový katalóg musím pripraviť šablónu, podľa ktorej sa budú dáta minovať.

    Napadlo ma urobiť univerzálnejšie riešenie. Ktoré by fungovalo na akékoľvek weby. Nejakou heurestikou by sa mohla detegovať adresa. Adresa by sa dala nájsť podľa nejakého klúča. V adrese sú prítomné:

    1. Meno fyzickej osoby / Názov firmy (právnická osoba) - v niektorých prípadoch viem detegovať (ak je na konci názvu s.r.o. alebo a.s. inak neviem ako by som to detegoval)
    2. Ulica Číslo - viem detegovať regexom aj keď asi nie na 100%
    3. Mesto - viem detegovať podľa nejakého zoznamu miest (informácia o meste mi dáva aj ďalešie info o kraji a krajine)
    4. PSČ - viem detegovať regexom
    5. EMAIL(y) - viem detegovať regexom
    6. Telefón(y) - viem detegovať regexom

    Možno by bolo fajn detgovať aj logo firmy a uložiť ho do DB ako blob, ale to asi zatiaľ vynechám a budem sa tomu venovať až na záver, lebo ma nenapadá spôsob ako na to

    Rozmýšlam ako spraviť na jednej strane čo najpresnejšie a zároveň najuniverzálenejšie riešenie. Prechádzanie stránok, by fungovalo podobne ako pri google bote cez odkazy. To neni problém a viem si s tým ľahko poradiť. Ale ako na detekciu názvu firmy a jej adresy? Nedal by sa na detekciu použiť strojové učenie. Pozeral som si kedysi nejaké tutorialy pre technológiu CUDA a tam bolo dosť veľa deep learning frameworkov, neviete s ktorým začať niečo čo by bolo vhodné aj pre začiatočníka? Najlepšie nejaký framework pre C++

    Odpovědi

    11.6.2022 14:47 Olaf
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    Není ML na tohle -- alespoň z počátku -- trošku kanón na vrabce? Zkraje mě napadalo, že to je jak počítat průměrné telefonní číslo ze seznamu, ale to bych ti asi křivdil.

    Každopádně z počátku bych to zkusil z těch tvých zdrojů přes web scraping pomocí Pythonu (BeautifulSoup, Selenium, Pandas...). Pak tam můžeš zkusit nějaké ML pomocí SciKit-Learn či TensorFlow. A až si vybuduješ představu, jak by to mělo fungovat, přesuň se k C++ (ale k tomu asi nebude důvod).
    Gréta avatar 13.6.2022 14:30 Gréta | skóre: 37 | blog: Grétin blogísek | 🇮🇱==❤️ , 🇵🇸==💩 , 🇪🇺==☭
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem

    hele spacy umí :O :O

    13.6.2022 17:59 Olaf
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    Ani jeden z nás mu vlastně neporadil. :-) Já to domotal úplně. Ale to asi ty moje horečky v tom období. ;-) Nicméně kdyby to chtěl řešit Pythonem, tak jsme mu to vyřešili.
    13.6.2022 19:34 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    Čo by mal byť výsledok? Na Slovensku máme Obchodný Register v ktorom sú tieto dáta pravidelne aktualizované. Pravda je že asi bez loga firmy, ale na ňom až tak nezáleží. A nejaké API by bolo tiež k dispozícii.
    AraxoN avatar 14.6.2022 12:31 AraxoN | skóre: 47 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    V obchodnom registri nie je e-mail a telefón.
    14.6.2022 13:41 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    V Obchodnom registri sú zapísaní konatelia a vlastníci, ktorí majú obvykle utajený kontakt. Teda pokiaľ sa nejedná o živnostníkov alebo one man show sro.

    Kontakt (email, fax alebo telefón) má firma obvykle na svojej stránke, aj keď sa v dnešnej dobe skôr prechádza na chatboty alebo kontakt cez facebook. Živnostníci majú svoje kontakty v dnešnej dobe u centrálnych dispečingov nech si nehľadajú prácu.

    To je dôvod prečo som sa pýtal na účel takéhoto zberu údajov.

    Ak je to len vyťaženie už existujúcich štrukturálnych zoznamov z Azetu a Slovenských Telekomunikácií (kedysi kúpili Zoznam), tak by som sa poobzeral u nich na pobočke či nemajú k dispozícii v elektronickej forme Firemný Telefónny Zoznam známy aj ako yellow pages. Pamätám časy keď bol zdarma v papierovej podobe.

    A ak je to len budovanie zoznamu telefónnych čísel pre predaj bambusových ponožiek, tak sa zmenil Zákon o Reklame z roku 2005.
    AraxoN avatar 15.6.2022 07:40 AraxoN | skóre: 47 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    Ja nie som OP, takže neviem, čo s tým zamýšľa...
    A ak je to len budovanie zoznamu telefónnych čísel pre predaj bambusových ponožiek, tak sa zmenil Zákon o Reklame z roku 2005.
    Do frasa, kde si teraz kúpim tie bambusové ponožky? Kde budem môcť vyhrať dovolenku pre dvoch?? Kde sa dozviem najnovšie investičné typy???
    15.6.2022 18:29 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    Ja nie som OP, takže neviem, čo s tým zamýšľa...
    Pýtal som sa jeho, odpovedal si ty. Predpokladám že má dosť chcochmesu aby len nevyťažil hotový katalóg. Pri tom ho s najväčšou pravdepodobnosťou zabanuje minimálne Captcha.
    Do frasa, kde si teraz kúpim tie bambusové ponožky? Kde budem môcť vyhrať dovolenku pre dvoch?? Kde sa dozviem najnovšie investičné typy???
    Neviem. Mne zavolajú automatické vyvolávacie systémy (ktoré to prepoja na operátorku) tak max 2x za rok. A už mi chceli predať aj lisované rybacie kože ako zázračný zdroj vitamínu D (chodím na slnko), alebo výborný olej s antioxidantom (najlacnejší repkový olej s vymáchanou mrkvou ktorý je napustený tokofenolom). Produkty týchto rádobypredajcov sú ozaj rôzneho, a nezriedka humorného charakteru.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.