abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
    dnes 04:00 | Komunita

    Před necelými čtyřmi měsíci byl Steven Deobald jmenován novým výkonným ředitelem GNOME Foundation. Včera skončil, protože "nebyl pro tuto roli v tento čas ten pravý".

    Ladislav Hagara | Komentářů: 0
    včera 18:33 | Zajímavý článek

    Nové číslo časopisu Raspberry Pi zdarma ke čtení: Raspberry Pi Official Magazine 156 (pdf).

    Ladislav Hagara | Komentářů: 0
    včera 15:11 | Nová verze

    Armbian, tj. linuxová distribuce založená na Debianu a Ubuntu optimalizovaná pro jednodeskové počítače na platformě ARM a RISC-V, ke stažení ale také pro Intel a AMD, byl vydán ve verzi 25.8.1. Přehled novinek v Changelogu.

    Ladislav Hagara | Komentářů: 0
    včera 12:11 | IT novinky

    Včera večer měl na YouTube premiéru dokumentární film Python: The Documentary | An origin story.

    Ladislav Hagara | Komentářů: 0
    28.8. 23:33 | Nová verze

    Společnost comma.ai po třech letech od vydání verze 0.9 vydala novou verzi 0.10 open source pokročilého asistenčního systému pro řidiče openpilot (Wikipedie). Zdrojové kódy jsou k dispozici na GitHubu.

    Ladislav Hagara | Komentářů: 0
    28.8. 21:55 | Nová verze Ladislav Hagara | Komentářů: 2
    28.8. 14:11 | IT novinky

    Řada vestavěných počítačových desek a vývojových platforem NVIDIA Jetson se rozrostla o NVIDIA Jetson Thor. Ve srovnání se svým předchůdcem NVIDIA Jetson Orin nabízí 7,5krát vyšší výpočetní výkon umělé inteligence a 3,5krát vyšší energetickou účinnost. Softwarový stack NVIDIA JetPack 7 je založen na Ubuntu 24.04 LTS.

    Ladislav Hagara | Komentářů: 4
    28.8. 00:44 | Bezpečnostní upozornění

    Národní úřad pro kybernetickou a informační bezpečnost (NÚKIB) spolu s NSA a dalšími americkými úřady upozorňuje (en) na čínského aktéra Salt Typhoon, který kompromituje sítě po celém světě.

    Ladislav Hagara | Komentářů: 26
    27.8. 16:33 | IT novinky

    Společnost Framework Computer představila (YouTube) nový výkonnější Framework Laptop 16. Rozhodnou se lze například pro procesor Ryzen AI 9 HX 370 a grafickou kartu NVIDIA GeForce RTX 5070.

    Ladislav Hagara | Komentářů: 1
    27.8. 14:22 | IT novinky

    Google oznamuje, že na „certifikovaných“ zařízeních s Androidem omezí instalaci aplikací (včetně „sideloadingu“) tak, že bude vyžadovat, aby aplikace byly podepsány centrálně registrovanými vývojáři s ověřenou identitou. Tato politika bude implementována během roku 2026 ve vybraných zemích (jihovýchodní Asie, Brazílie) a od roku 2027 celosvětově.

    Fluttershy, yay! | Komentářů: 10
    Pro otevření více webových stránek ve webovém prohlížečí používám
     (79%)
     (8%)
     (3%)
     (4%)
     (5%)
     (1%)
    Celkem 107 hlasů
     Komentářů: 9, poslední 28.8. 11:53
    Rozcestník

    Dotaz: C++ - AI a mining adries firiem

    hermes avatar 11.6.2022 13:30 hermes | skóre: 6 | blog: Elektro | BA
    C++ - AI a mining adries firiem
    Přečteno: 754×
    Ahojte mám taký nástroj, ktorý prejde niektoré stránky so zoznamami firiem napr.
    1. https://www.zoznam.sk/katalog/Spravodajstvo-informacie/Abecedny-zoznam-firiem/
    2. https://www.azet.sk/katalog/

    a nahodí firmy štruktúrovane do mojej SQL databázy. Nahadzuje ich podľa:

    krajina / kraj / mesto / firma

    Každá položka oobsahuje:

    1. Názov firmy
    2. Adresu
    3. Kontaktné údaje (tel, email)

    S mojou SQL DB potom môžem ďalej pracovať a používať tento zoznam firiem v mojich aplikáciách. Problém je, že som odkázaný len na hotové weby s katalógom firiem. A vždy pre každý nový katalóg musím pripraviť šablónu, podľa ktorej sa budú dáta minovať.

    Napadlo ma urobiť univerzálnejšie riešenie. Ktoré by fungovalo na akékoľvek weby. Nejakou heurestikou by sa mohla detegovať adresa. Adresa by sa dala nájsť podľa nejakého klúča. V adrese sú prítomné:

    1. Meno fyzickej osoby / Názov firmy (právnická osoba) - v niektorých prípadoch viem detegovať (ak je na konci názvu s.r.o. alebo a.s. inak neviem ako by som to detegoval)
    2. Ulica Číslo - viem detegovať regexom aj keď asi nie na 100%
    3. Mesto - viem detegovať podľa nejakého zoznamu miest (informácia o meste mi dáva aj ďalešie info o kraji a krajine)
    4. PSČ - viem detegovať regexom
    5. EMAIL(y) - viem detegovať regexom
    6. Telefón(y) - viem detegovať regexom

    Možno by bolo fajn detgovať aj logo firmy a uložiť ho do DB ako blob, ale to asi zatiaľ vynechám a budem sa tomu venovať až na záver, lebo ma nenapadá spôsob ako na to

    Rozmýšlam ako spraviť na jednej strane čo najpresnejšie a zároveň najuniverzálenejšie riešenie. Prechádzanie stránok, by fungovalo podobne ako pri google bote cez odkazy. To neni problém a viem si s tým ľahko poradiť. Ale ako na detekciu názvu firmy a jej adresy? Nedal by sa na detekciu použiť strojové učenie. Pozeral som si kedysi nejaké tutorialy pre technológiu CUDA a tam bolo dosť veľa deep learning frameworkov, neviete s ktorým začať niečo čo by bolo vhodné aj pre začiatočníka? Najlepšie nejaký framework pre C++

    Odpovědi

    11.6.2022 14:47 Olaf
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    Není ML na tohle -- alespoň z počátku -- trošku kanón na vrabce? Zkraje mě napadalo, že to je jak počítat průměrné telefonní číslo ze seznamu, ale to bych ti asi křivdil.

    Každopádně z počátku bych to zkusil z těch tvých zdrojů přes web scraping pomocí Pythonu (BeautifulSoup, Selenium, Pandas...). Pak tam můžeš zkusit nějaké ML pomocí SciKit-Learn či TensorFlow. A až si vybuduješ představu, jak by to mělo fungovat, přesuň se k C++ (ale k tomu asi nebude důvod).
    Gréta avatar 13.6.2022 14:30 Gréta | skóre: 37 | blog: Grétin blogísek | 🇮🇱==❤️ , 🇵🇸==💩 , 🇪🇺==☭
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem

    hele spacy umí :O :O

    13.6.2022 17:59 Olaf
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    Ani jeden z nás mu vlastně neporadil. :-) Já to domotal úplně. Ale to asi ty moje horečky v tom období. ;-) Nicméně kdyby to chtěl řešit Pythonem, tak jsme mu to vyřešili.
    13.6.2022 19:34 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    Čo by mal byť výsledok? Na Slovensku máme Obchodný Register v ktorom sú tieto dáta pravidelne aktualizované. Pravda je že asi bez loga firmy, ale na ňom až tak nezáleží. A nejaké API by bolo tiež k dispozícii.
    AraxoN avatar 14.6.2022 12:31 AraxoN | skóre: 47 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    V obchodnom registri nie je e-mail a telefón.
    14.6.2022 13:41 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    V Obchodnom registri sú zapísaní konatelia a vlastníci, ktorí majú obvykle utajený kontakt. Teda pokiaľ sa nejedná o živnostníkov alebo one man show sro.

    Kontakt (email, fax alebo telefón) má firma obvykle na svojej stránke, aj keď sa v dnešnej dobe skôr prechádza na chatboty alebo kontakt cez facebook. Živnostníci majú svoje kontakty v dnešnej dobe u centrálnych dispečingov nech si nehľadajú prácu.

    To je dôvod prečo som sa pýtal na účel takéhoto zberu údajov.

    Ak je to len vyťaženie už existujúcich štrukturálnych zoznamov z Azetu a Slovenských Telekomunikácií (kedysi kúpili Zoznam), tak by som sa poobzeral u nich na pobočke či nemajú k dispozícii v elektronickej forme Firemný Telefónny Zoznam známy aj ako yellow pages. Pamätám časy keď bol zdarma v papierovej podobe.

    A ak je to len budovanie zoznamu telefónnych čísel pre predaj bambusových ponožiek, tak sa zmenil Zákon o Reklame z roku 2005.
    AraxoN avatar 15.6.2022 07:40 AraxoN | skóre: 47 | blog: slon_v_porcelane | Košice
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    Ja nie som OP, takže neviem, čo s tým zamýšľa...
    A ak je to len budovanie zoznamu telefónnych čísel pre predaj bambusových ponožiek, tak sa zmenil Zákon o Reklame z roku 2005.
    Do frasa, kde si teraz kúpim tie bambusové ponožky? Kde budem môcť vyhrať dovolenku pre dvoch?? Kde sa dozviem najnovšie investičné typy???
    15.6.2022 18:29 Peter Golis | skóre: 65 | blog: Bežné záležitosti | Bratislava
    Rozbalit Rozbalit vše Re: C++ - AI a mining adries firiem
    Ja nie som OP, takže neviem, čo s tým zamýšľa...
    Pýtal som sa jeho, odpovedal si ty. Predpokladám že má dosť chcochmesu aby len nevyťažil hotový katalóg. Pri tom ho s najväčšou pravdepodobnosťou zabanuje minimálne Captcha.
    Do frasa, kde si teraz kúpim tie bambusové ponožky? Kde budem môcť vyhrať dovolenku pre dvoch?? Kde sa dozviem najnovšie investičné typy???
    Neviem. Mne zavolajú automatické vyvolávacie systémy (ktoré to prepoja na operátorku) tak max 2x za rok. A už mi chceli predať aj lisované rybacie kože ako zázračný zdroj vitamínu D (chodím na slnko), alebo výborný olej s antioxidantom (najlacnejší repkový olej s vymáchanou mrkvou ktorý je napustený tokofenolom). Produkty týchto rádobypredajcov sú ozaj rôzneho, a nezriedka humorného charakteru.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.