abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
eParkomat, startup z ČR, postoupil mezi finalisty evropského akcelerátoru ChallengeUp!
Robot na pivo mu otevřel dveře k opravdovému byznysu
Internet věcí: Propojený svět? Už se to blíží...
včera 16:24 | Nová verze

Byla vydána Mageia 5.1. Jedná se o první opravné vydání verze 5, jež vyšla v červnu loňského roku (zprávička). Uživatelům verze 5 nepřináší opravné vydání nic nového, samozřejmě pokud pravidelně aktualizují. Vydání obsahuje všechny aktualizace za posledního téměř půldruhého roku. Mageia 5.1 obsahuje LibreOffice 4.4.7, Linux 4.4.32, KDE4 4.14.5 nebo GNOME 3.14.3.

Ladislav Hagara | Komentářů: 3
včera 13:42 | Pozvánky

V Praze probíhá konference Internet a Technologie 16.2, volné pokračování jarní konference sdružení CZ.NIC. Konferenci lze sledovat online na YouTube. K dispozici je také archiv předchozích konferencí.

Ladislav Hagara | Komentářů: 0
2.12. 22:44 | Komunita

Joinup informuje, že Mnichov používá open source groupware Kolab. V srpnu byl dokončen dvouletý přechod na toto řešení. V provozu je asi 60 000 poštovních schránek. Nejenom Kolabu se věnoval Georg Greve ve své přednášce Open Source: the future for the European institutions (SlideShare) na konferenci DIGITEC 2016, jež proběhla v úterý 29. listopadu v Bruselu. Videozáznam přednášek z hlavního sálu je ke zhlédnutí na Livestreamu.

Ladislav Hagara | Komentářů: 22
2.12. 15:30 | Zajímavý projekt

Společnost Jolla oznámila v příspěvku Case study: Sailfish Watch na svém blogu, že naportovala Sailfish OS na chytré hodinky. Využila a inspirovala se otevřeným operačním systémem pro chytré hodinky AsteroidOS. Použita je knihovna libhybris. Ukázka ovládání hodinek na YouTube.

Ladislav Hagara | Komentářů: 8
2.12. 14:15 | Nová verze

Byla vydána verze 7.1.0 skriptovacího jazyka PHP používaného zejména k vývoji dynamických webových stránek. Jedná se o první stabilní verzi nejnovější větvě 7.1. Přehled novinek v dokumentaci. Podrobnosti v ChangeLogu. K dispozici je také příručka pro přechod z PHP 7.0.x na PHP 7.1.x.

Ladislav Hagara | Komentářů: 2
2.12. 12:55 | Nová verze

Google Chrome 55 byl prohlášen za stabilní. Nejnovější stabilní verze 55.0.2883.75 tohoto webového prohlížeče přináší řadu oprav a vylepšení (YouTube). Opraveno bylo také 36 bezpečnostních chyb. Mariusz Mlynski si například vydělal 22 500 dolarů za 3 nahlášené chyby (Universal XSS in Blink).

Ladislav Hagara | Komentářů: 4
2.12. 11:55 | Pozvánky

Máte rádi svobodný software a hardware nebo se o nich chcete něco dozvědět? Přijďte na 135. sraz spolku OpenAlt, který se bude konat ve čtvrtek 8. prosince od 18:00 v Radegastovně Perón (Stroupežnického 20, Praha 5). Sraz bude tentokrát tématický. Bude retro! K vidění budou přístroje jako Psion 5mx nebo Palm Z22. Ze svobodného hardwaru pak Openmoko nebo čtečka WikiReader. Přijďte se i vy pochlubit svými legendami, nebo alespoň na pivo. Moderní hardware má vstup samozřejmě také povolen.

xkucf03 | Komentářů: 0
2.12. 00:10 | Nová verze

Byla vydána verze 3.2 svobodného systému pro detekci a prevenci průniků a monitorování bezpečnosti počítačových sítí Suricata. Z novinek lze zmínit například podporu protokolů DNP3 a CIP/ENIP, vylepšenou podporu TLS a samozřejmě také aktualizovanou dokumentaci.

Ladislav Hagara | Komentářů: 0
1.12. 21:00 | Nová verze

Byla vydána beta verze Linux Mintu 18.1 s kódovým jménem Serena. Na blogu Linux Mintu jsou hned dvě oznámení. První o vydání Linux Mintu s prostředím MATE a druhé o vydání Linux Mintu s prostředím Cinnamon. Stejným způsobem jsou rozděleny také poznámky k vydání (MATE, Cinnamon) a přehled novinek s náhledy (MATE, Cinnamon). Linux Mint 18.1 bude podporován až do roku 2021.

Ladislav Hagara | Komentářů: 0
1.12. 16:42 | Nová verze

Byl vydán Devuan Jessie 1.0 Beta 2. Jedná se o druhou beta verzi forku Debianu bez systemd představeného v listopadu 2014 (zprávička). První beta verze byla vydána v dubnu letošního roku (zprávička). Jedna z posledních přednášek věnovaných Devuanu proběhla v listopadu na konferenci FSCONS 2016 (YouTube, pdf).

Ladislav Hagara | Komentářů: 0
Kolik máte dat ve svém domovském adresáři na svém primárním osobním počítači?
 (32%)
 (24%)
 (29%)
 (7%)
 (5%)
 (3%)
Celkem 768 hlasů
 Komentářů: 50, poslední 29.11. 15:50
Rozcestník
Reklama

Dotaz: Jak uložit data z jiný stránky do databáze

18.3.2011 21:41 beginer666 | skóre: 9
Jak uložit data z jiný stránky do databáze
Přečteno: 495×
Ahoj, chtěl jsem se s Váma poradit jak uložit data z jiný stránky do databáze.

Potřeboval bych uložit ty data abych je později přiřadil k hráčům.

Rád bych to načítal z http://eu.leagueoflegends.com/ladders/solo-5x5 ale netuším jak by to šlo. Je tam totiž víc stránek etc. etc. docela pro mě problém, možná ale bude někdo vědět.

Jde mi o to abych stáhnul hlavně nick a raiting ze všech stránek(cca 3500) co tam jsou.

Takže aby byl výledek

např.:
-----------------------------
||Nick || Raiting || Pořadí||
-----------------------------
||sOAZ || 2206    || 2     ||
-----------------------------
etc.
Díky moc za nápady.


Řešení dotazu:


Odpovědi

18.3.2011 21:45 beginer666 | skóre: 9
Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
Funkční odkaz je Zdrojová stránka
19.3.2011 00:31 smartin | skóre: 1
Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
Za prve napis v jakem jazyce a databazi :)

Za druhe pouzij regularni vyrazy a mas vyhrano :)
19.3.2011 09:04 beginer666 | skóre: 9
Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
Je uplně jedno v jakym jazyce, prostě to potřebuju dostat do databáze a dál si stim umim poradit.

Regulární výrazy neovládám - chápu že se to dá najít na netu , ale to bych u toho strávil mládí - proto jsem rád že existujou takovýhle poradny kde mě vždycky někde hezky nakopne.

Nepotřebuju hotové řešení jen první kopanec.

Třeba vůbec nechápu jak bych z bashe kontaktoval ten server. Přes telnet? A co dál?

19.3.2011 10:08 tuxmartin | skóre: 37 | blog: tuxmartin | Jicin
Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
Třeba vůbec nechápu jak bych z bashe kontaktoval ten server. Přes telnet? A co dál?
Co treba curl, nebo wget?
wget -q -O - http://eu.leagueoflegends.com/ladders/solo-5x5
Tim ziskas stranku, a pak uz jen zpacovani:
wget -q -O - http://eu.leagueoflegends.com/ladders/solo-5x5 | grep XXXXX
19.3.2011 12:43 beginer666 | skóre: 9
Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
Díky za tip, už jsem mezitím pracoval s curl. Těd už to stačí jenom vygrepovat, awk, cut etc. holt se u toho budu muset trošku vyvztekat.

Jinak by mě zajímalo co je lepší použít když stim budu načítat cca 11000 stránek. WGET nebo CURL? Myslim co víc zatíží server.

Díky
19.3.2011 10:41 l4m4
Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
Když to shrnu:

* Je úplně jedno, v jakém jazyce a do jaké databáze.

* Nepotřebuješ úplné řešení, stačí nakopnutí.

Mohou tyto věci platit současně, pokud neovládáš všechny existující databáze a všechny existující programovací jazyky? A je v tom případě takové problém naučit se k nim ještě regulární výrazy?
19.3.2011 15:34 otakar | skóre: 6
Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
Zkus pohledat, jestli autoři neposkytují soubor se statistikou. Zpracovat jeden soubor je snadné, pokud to budeš tahat po kouskách wgetem, tak ve výsledku (v db) budou zmatky, nepřesnosti atd. + provozovatel servru tě nebude mít rád.
19.3.2011 16:42 beginer666 | skóre: 9
Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
Bohužel neposkytují. Ta statistika je online a načítá se z jejich databáze. Přístup do databáze mi nedají. ):
19.3.2011 18:39 otakar | skóre: 6
Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
Takhle je to u všech her :-)

Některé herní servry poskytnou jednou za den výpis dat (komprimovaný) a je možné si dělat vlastní statistiky. Zkus se s nimi domluvit. Pokud je cílem historie statistik mohlo by to být výhodné i pro ně.

Tady je ukázka jednoho servru, jak vypadá rozumný přístup příklad

Ta adresa v nápovědě není všem na očích, ale kdo hledá - najde.
19.3.2011 17:07 chrono
Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
Dá sa použiť napr. Scrapy, ale ako už bolo napísané, je tam príliš veľa stránok, takže tie údaje môžu byť nepresné (pretože počas spracovávania sa môžu tie údaje zmeniť) a je veľmi pravdepodobné, že ich server ťa zablokuje skôr, ako to stihneš prejsť aspoň raz.
Řešení 1× (beginer666 (tazatel))
19.3.2011 18:18 beginer666 | skóre: 9
Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
Tak už jsem to vyřešil, sice to trvá skoro hodinu ale průměrná zátěž na ten server je 200 kbit/s což by nemuseli ani zjistit.

díky za pomoc
19.3.2011 18:33 tuxmartin | skóre: 37 | blog: tuxmartin | Jicin
Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
Jestli to delas wgetem, tak se podivej do manualu na parametry:
--limit-rate=
--random-wait=
--user-agent=
Nasimuluj si tak treba Firefox a nahodne cekani mezi pozadavky => bude jim to min napadne.
19.3.2011 18:49 otakar | skóre: 6
Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
nahodne cekani mezi pozadavky
Tohle zvětší šanci na změnu dat - posun hráčů mezi stránkami => ve vlastní db budou chyby (nezachycený hráč a zdvojený hráč).
19.3.2011 18:44 otakar | skóre: 6
Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
Nejde pouze o trafic. Každý tvůj požadavek musí zpracovat i databáze a (asi) taky php.
19.3.2011 20:07 beginer666 | skóre: 9
Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
Před chvíli mi to doběhlo - trvalo to přesně 2 hodiny.

| 88488 | 88488    | kanaris                | 2    | 2    | 1200   |
| 88489 | 88489    | BEDbMAK007             | 2    | 2    | 1200   |
| 88490 | 88490    | John Darck             | 2    | 2    | 1200   |
| 88491 | 88491    | 150                    | 2    | 2    | 1200   |
| 88492 | 88492    | Lemine                 | 2    | 2    | 1200   |
| 88493 | 88493    | xFirefighterx          | 2    | 2    | 1200   |


Všecky záznamy se mi načetli maximálně korektně. První sloupek je ID co si vytváří DB a druhé číslo je přímo pořadové šíslo ze stránek. Pro všech 88493 záznamů je to 1:1.

Přemejšlim jak by se to dalo načíst rychleji. Je to celkem 3650 stránek takže kdybych je načetl po po deseti tak mi na to stačí pouze 360 jobů/scriptů. Teď ještě vymyslet jaký způsobem to rozdělit.

Pokud má někdo zkušenosti s masivním dotazování rád se poučím.

Těch 360 jobů zabere 360*200kbit/s takže celkem(72Mbit/s) jsem zvědavej jestli si toho už někdo všimne. ((;
20.3.2011 00:47 maertien | skóre: 29 | blog: martinek
Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
Nebylo by lepsi se s provozovatelem ferove dohodnout, nez ho takhle bagrovat? :)
20.3.2011 10:48 chrono
Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
Podobné otázky na ich fóre už boli a vždy boli ignorované.
26.3.2011 22:47 Kit
Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
Před chvíli mi to doběhlo - trvalo to přesně 2 hodiny.
Zkusil jsem příkaz
curl "http://eu.leagueoflegends.com/ladders/solo-5x5?page=[0-3684]"\
    -o "solo#1.html"
Stahovalo mi to rychlostí cca 1 stránku za sekundu. Tedy za hodinu by to curl měl zvládnout. S paralelizací možná i dříve. Celý výstup se dá snadno přesměrovat do dalšího procesu:
curl -s "http://eu.leagueoflegends.com/ladders/solo-5x5?page=[0-3684]" |\
     zpracovani | ulozeni-do-databaze
Řešení 1× (beginer666 (tazatel))
27.3.2011 15:54 beginer666 | skóre: 9
Rozbalit Rozbalit vše Re: Jak uložit data z jiný stránky do databáze
Už jsem to vyřešil v jinym dotazu. Problém byl hlavně v ukládání do DB s každym výsledkem.

Založit nové vláknoNahoru

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.