abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×

dnes 10:00 | Nová verze

Byla vydána verze 10.5 open source alternativy GitHubu, tj. softwarového nástroje s webovým rozhraním umožňujícího spolupráci na zdrojových kódech, GitLab (Wikipedie). Představení nových vlastností v příspěvku na blogu. Zdůraznit lze integrovanou podporu Let's Encrypt.

Ladislav Hagara | Komentářů: 0
včera 12:33 | Komunita

Příspěvek na blogu Signalu (Wikipedie) informuje o založení neziskové nadace Signal Foundation, jež bude zastřešovat další vývoj tohoto svobodného bezpečného komunikátoru běžícího také na Linuxu (Signal Desktop). Brian Acton, spoluzakladatel WhatsAppu, věnoval nadaci 50 milionů dolarů [Hacker News].

Ladislav Hagara | Komentářů: 1
včera 05:55 | Zajímavý článek

Článek na Fedora Magazine krátce představuje programovací jazyk Rust a několik zajímavých v Rustu naprogramovaných terminálových aplikací. Jedná se o alternativu k příkazu grep ripgrep, moderní barevnou alternativu k příkazu ls exa, příkazem cloc inspirovaný tokei a zvířátko v terminálu ternimal.

Ladislav Hagara | Komentářů: 0
21.2. 23:55 | Zajímavý projekt

Byl spuštěn Humble Classics Return Bundle. Za vlastní cenu lze koupit hry Broken Sword 5 - The Serpent's Curse, Shadowrun Returns a Shadowrun: Dragonfall - Director's Cut. Při nadprůměrné platbě (aktuálně 8,48 $) také Shadowrun: Hong Kong - Extended Edition, Wasteland 2: Director's Cut - Standard Edition, Age of Wonders III a Xenonauts. Při platbě 15 $ a více lze získat navíc Torment: Tides of Numenera a Dreamfall Chapters: The Final Cut Edition.

Ladislav Hagara | Komentářů: 0
21.2. 00:11 | Bezpečnostní upozornění

Vývojáři linuxové distribuce Mageia na svém blogu upozorňují na narušení bezpečnosti Mageia Identity. Narušitel získal přístup k LDAP databázi a zveřejnil jména uživatelů, jejich emailové adresy a haše hesel. Hesla uživatelů byla resetována.

Ladislav Hagara | Komentářů: 3
20.2. 21:55 | Nová verze

Byla vydána verze 2.0.0 nástroje pro záznam a sdílení terminálových sezení asciinema (GitHub). Z novinek je nutno upozornit na nový zpětně nekompatibilní formát záznamu asciicast v2. S novým formátem si poradí nové verze asciinema-playeru a asciinema-serveru [Hacker News].

Ladislav Hagara | Komentářů: 0
20.2. 05:55 | Zajímavý projekt

Dle příspěvku na blogu zaměstnanců CZ.NIC byl spuštěn ostrý provoz služby Honeypot as a Service (HaaS). Zapojit se může kdokoli. Stačí se zaregistrovat a nainstalovat HaaS proxy, která začne příchozí komunikaci z portu 22 (běžně používaného pro SSH) přeposílat na server HaaS, kde honeypot Cowrie (GitHub) simuluje zařízení a zaznamenává provedené příkazy. Získat lze tak zajímavé informace o provedených útocích. K dispozici jsou globální statistiky.

Ladislav Hagara | Komentářů: 12
20.2. 04:44 | Komunita

Před týdnem společnost Feral Interactive zabývající se vydáváním počítačových her pro operační systémy macOS a Linux oznámila, že pro macOS a Linux vydají hru Rise of the Tomb Raider. Včera společnost oznámila (YouTube), že pro macOS a Linux vydají také hru Total War Saga: Thrones of Britannia. Verze pro Windows by měla vyjít 19. dubna. Verze pro macOS a Linux krátce na to.

Ladislav Hagara | Komentářů: 0
19.2. 21:33 | Nová verze

Byla vydána nová major verze 7.10 svobodného systému pro řízení vztahů se zákazníky (CRM) s názvem SuiteCRM (Wikipedie). Jedná se o fork systému SugarCRM (Wikipedie). Zdrojové kódy SuiteCRM jsou k dispozici na GitHubu pod licencí AGPL.

Ladislav Hagara | Komentářů: 0
19.2. 16:44 | Nová verze

Byla vydána nová verze 0.30 display serveru Mir (Wikipedie) a nová verze 2.31 nástrojů snapd pro práci s balíčky ve formátu snap (Wikipedie). Z novinek Miru vývojáři zdůrazňují vylepšenou podporu Waylandu nebo možnost sestavení a spouštění Miru ve Fedoře. Nová verze snapd umí Mir spouštět jako snap.

Ladislav Hagara | Komentářů: 0
Který webový vyhledávač používáte nejčastěji?
 (2%)
 (28%)
 (61%)
 (3%)
 (3%)
 (0%)
 (1%)
 (1%)
Celkem 433 hlasů
 Komentářů: 35, poslední 21.2. 19:51
    Rozcestník

    Dotaz: Jak uložit data z jiný stránky do databáze

    18.3.2011 21:41 beginer666 | skóre: 9
    Jak uložit data z jiný stránky do databáze
    Přečteno: 500×
    Ahoj, chtěl jsem se s Váma poradit jak uložit data z jiný stránky do databáze.

    Potřeboval bych uložit ty data abych je později přiřadil k hráčům.

    Rád bych to načítal z http://eu.leagueoflegends.com/ladders/solo-5x5 ale netuším jak by to šlo. Je tam totiž víc stránek etc. etc. docela pro mě problém, možná ale bude někdo vědět.

    Jde mi o to abych stáhnul hlavně nick a raiting ze všech stránek(cca 3500) co tam jsou.

    Takže aby byl výledek

    např.:
    -----------------------------
    ||Nick || Raiting || Pořadí||
    -----------------------------
    ||sOAZ || 2206    || 2     ||
    -----------------------------
    etc.
    
    Díky moc za nápady.


    Řešení dotazu:


    Odpovědi

    18.3.2011 21:45 beginer666 | skóre: 9
    Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
    Funkční odkaz je Zdrojová stránka
    19.3.2011 00:31 smartin | skóre: 1
    Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
    Za prve napis v jakem jazyce a databazi :)

    Za druhe pouzij regularni vyrazy a mas vyhrano :)
    19.3.2011 09:04 beginer666 | skóre: 9
    Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
    Je uplně jedno v jakym jazyce, prostě to potřebuju dostat do databáze a dál si stim umim poradit.

    Regulární výrazy neovládám - chápu že se to dá najít na netu , ale to bych u toho strávil mládí - proto jsem rád že existujou takovýhle poradny kde mě vždycky někde hezky nakopne.

    Nepotřebuju hotové řešení jen první kopanec.

    Třeba vůbec nechápu jak bych z bashe kontaktoval ten server. Přes telnet? A co dál?

    19.3.2011 10:08 tuxmartin | skóre: 38 | blog: tuxmartin | Jicin
    Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
    Třeba vůbec nechápu jak bych z bashe kontaktoval ten server. Přes telnet? A co dál?
    Co treba curl, nebo wget?
    wget -q -O - http://eu.leagueoflegends.com/ladders/solo-5x5
    
    Tim ziskas stranku, a pak uz jen zpacovani:
    wget -q -O - http://eu.leagueoflegends.com/ladders/solo-5x5 | grep XXXXX
    
    19.3.2011 12:43 beginer666 | skóre: 9
    Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
    Díky za tip, už jsem mezitím pracoval s curl. Těd už to stačí jenom vygrepovat, awk, cut etc. holt se u toho budu muset trošku vyvztekat.

    Jinak by mě zajímalo co je lepší použít když stim budu načítat cca 11000 stránek. WGET nebo CURL? Myslim co víc zatíží server.

    Díky
    19.3.2011 10:41 l4m4
    Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
    Když to shrnu:

    * Je úplně jedno, v jakém jazyce a do jaké databáze.

    * Nepotřebuješ úplné řešení, stačí nakopnutí.

    Mohou tyto věci platit současně, pokud neovládáš všechny existující databáze a všechny existující programovací jazyky? A je v tom případě takové problém naučit se k nim ještě regulární výrazy?
    19.3.2011 15:34 otakar | skóre: 6
    Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
    Zkus pohledat, jestli autoři neposkytují soubor se statistikou. Zpracovat jeden soubor je snadné, pokud to budeš tahat po kouskách wgetem, tak ve výsledku (v db) budou zmatky, nepřesnosti atd. + provozovatel servru tě nebude mít rád.
    19.3.2011 16:42 beginer666 | skóre: 9
    Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
    Bohužel neposkytují. Ta statistika je online a načítá se z jejich databáze. Přístup do databáze mi nedají. ):
    19.3.2011 18:39 otakar | skóre: 6
    Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
    Takhle je to u všech her :-)

    Některé herní servry poskytnou jednou za den výpis dat (komprimovaný) a je možné si dělat vlastní statistiky. Zkus se s nimi domluvit. Pokud je cílem historie statistik mohlo by to být výhodné i pro ně.

    Tady je ukázka jednoho servru, jak vypadá rozumný přístup příklad

    Ta adresa v nápovědě není všem na očích, ale kdo hledá - najde.
    19.3.2011 17:07 chrono
    Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
    Dá sa použiť napr. Scrapy, ale ako už bolo napísané, je tam príliš veľa stránok, takže tie údaje môžu byť nepresné (pretože počas spracovávania sa môžu tie údaje zmeniť) a je veľmi pravdepodobné, že ich server ťa zablokuje skôr, ako to stihneš prejsť aspoň raz.
    Řešení 1× (beginer666 (tazatel))
    19.3.2011 18:18 beginer666 | skóre: 9
    Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
    Tak už jsem to vyřešil, sice to trvá skoro hodinu ale průměrná zátěž na ten server je 200 kbit/s což by nemuseli ani zjistit.

    díky za pomoc
    19.3.2011 18:33 tuxmartin | skóre: 38 | blog: tuxmartin | Jicin
    Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
    Jestli to delas wgetem, tak se podivej do manualu na parametry:
    --limit-rate=
    --random-wait=
    --user-agent=
    Nasimuluj si tak treba Firefox a nahodne cekani mezi pozadavky => bude jim to min napadne.
    19.3.2011 18:49 otakar | skóre: 6
    Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
    nahodne cekani mezi pozadavky
    Tohle zvětší šanci na změnu dat - posun hráčů mezi stránkami => ve vlastní db budou chyby (nezachycený hráč a zdvojený hráč).
    19.3.2011 18:44 otakar | skóre: 6
    Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
    Nejde pouze o trafic. Každý tvůj požadavek musí zpracovat i databáze a (asi) taky php.
    19.3.2011 20:07 beginer666 | skóre: 9
    Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
    Před chvíli mi to doběhlo - trvalo to přesně 2 hodiny.
    
    | 88488 | 88488    | kanaris                | 2    | 2    | 1200   |
    | 88489 | 88489    | BEDbMAK007             | 2    | 2    | 1200   |
    | 88490 | 88490    | John Darck             | 2    | 2    | 1200   |
    | 88491 | 88491    | 150                    | 2    | 2    | 1200   |
    | 88492 | 88492    | Lemine                 | 2    | 2    | 1200   |
    | 88493 | 88493    | xFirefighterx          | 2    | 2    | 1200   |
    
    
    
    Všecky záznamy se mi načetli maximálně korektně. První sloupek je ID co si vytváří DB a druhé číslo je přímo pořadové šíslo ze stránek. Pro všech 88493 záznamů je to 1:1.

    Přemejšlim jak by se to dalo načíst rychleji. Je to celkem 3650 stránek takže kdybych je načetl po po deseti tak mi na to stačí pouze 360 jobů/scriptů. Teď ještě vymyslet jaký způsobem to rozdělit.

    Pokud má někdo zkušenosti s masivním dotazování rád se poučím.

    Těch 360 jobů zabere 360*200kbit/s takže celkem(72Mbit/s) jsem zvědavej jestli si toho už někdo všimne. ((;
    20.3.2011 00:47 maertien | skóre: 29 | blog: martinek
    Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
    Nebylo by lepsi se s provozovatelem ferove dohodnout, nez ho takhle bagrovat? :)
    20.3.2011 10:48 chrono
    Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
    Podobné otázky na ich fóre už boli a vždy boli ignorované.
    26.3.2011 22:47 Kit
    Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
    Před chvíli mi to doběhlo - trvalo to přesně 2 hodiny.
    Zkusil jsem příkaz
    curl "http://eu.leagueoflegends.com/ladders/solo-5x5?page=[0-3684]"\
        -o "solo#1.html"
    Stahovalo mi to rychlostí cca 1 stránku za sekundu. Tedy za hodinu by to curl měl zvládnout. S paralelizací možná i dříve. Celý výstup se dá snadno přesměrovat do dalšího procesu:
    curl -s "http://eu.leagueoflegends.com/ladders/solo-5x5?page=[0-3684]" |\
         zpracovani | ulozeni-do-databaze
    Řešení 1× (beginer666 (tazatel))
    27.3.2011 15:54 beginer666 | skóre: 9
    Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
    Už jsem to vyřešil v jinym dotazu. Problém byl hlavně v ukládání do DB s každym výsledkem.

    Založit nové vláknoNahoru

    Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

    ISSN 1214-1267   www.czech-server.cz
    © 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.