Postavme si vlastni internetovy vyhledavac

18.1.2011 16:32 | Všechno možný

Porad jenom slysime jakyto je Google zly velky bratr, Seznam drabem Internetu ....

Je realny provozovat vlastni vyhledavac ? Aby hledal prozatim jen v TLD cz.

Neni uz neco k dispozici hotovyho na zpusob nejake distribuce a nebo VM ?

Zacit to programovat neprichazi v uvahu.

 

Jaka by to byla masinerie ? Kapacita uloziste, RAM, CPU ....

Bylo by to vubec pouzitelne (vypocetni vykon, konektivita domacich parametru ....) ?

 

Spis to vidim jako Sci-Fi.

Co vy na to ?

       

Komentáře

[Josef Kufner]

Podle wikipedie měl v roce 2004 cluster Googlu celkem 63 tisíc celkem obyčejných počítačů. Myslíš, že máš sebemenší šanci toho v domácích podmínkách dosáhnout? Nebo se tomu jen o pár řádů přiblížit?

Pokud něco okolo vyhledávání chceš dělat, tak máš šanci prohledávat cíleně a udělat něco, co by prohledávanému obsahu rozumělo (alespoň částeně). Možná něco ve stylu wiki, kde by místo psaní článků byly odkazovány celé stránky a byla by nad tím udělaná hodně dobrá navigace. Vlastně by to propojovalo weby místo toho aby to v nich hledalo.

[Riviera Kid]

Ted jich ma pry pres milion.

[Bedňa]

Plus jeden z najvýkonnejších kloudov na svete.

[kralyk z abclinuxu]

Ne plus, ale rovná se.

[Atom321]

Ted jich ma pry pres milion.

No taky už to není jen vyhledávač.

[Ladicek]

Pokud se dobře pamatuju, tak v jakémsi rozhovoru na nejmenovaném konkurenčním portálu se tvrdilo, že takový Seznam běží na řádově stovkách počítačů. Clustery Yahoo mají jednotky tisíc počítačů. Srovnávat se s Googlem je nesmysl (zvlášť když Google má třeba dneska kompletní index webu v paměti a vůbec při vyhledávání nesahá na disk).

Pokud jde o můj skromný názor: odhaduju, že vyhledávač ve významné podmnožině .cz by se vešel na několik desítek mašin. Začít můžete třeba tady.

[ʚĭɞ 🍉]

Seznam AFAIK indexuje jenom českou část webu.

Přeju příjemnou zábavu ohledně návrhu algoritmů a nějakého distribuovaného výpočetního výkonu + úložiště.

[Ladicek]

Seznam AFAIK indexuje jenom českou část webu.

O tom se tady taky mluví. Aby hledal prozatim jen v TLD cz.

Přeju příjemnou zábavu ohledně návrhu algoritmů a nějakého distribuovaného výpočetního výkonu + úložiště.

Zábava by to byla, ale open-source distribuované indexery a vyhledávače už existují. Pro amatérské použití dostačující až až. Link, odkud začít, jsem dával.

[Stepan Skrob]

Zdar boyz, myslim ze minimal konfigurace pro ciste vyhledavani jen v .cz jsou tak 3-5 nabušené stroje. latence odpovědí ale nebudou moc růžový

V Seznamu nam ted bezi test (vydeje) hledani asi na 6 strojich; databaze by se dala jeste trochu zmensit.

Myslim ze pro maly setupy bude spis vetsi zahul na stroje pro robota - obnova stranek, indexace a tak...

-- stepan

[alblaho]

Ale Jyxo svého času běželo řádově na jednotkách serverů v v cz. vyhledávalo slušně.

Nesouvisející poznámka: kdosi mi kdysi osvětlil, že p2p vyhledávač je utopie, prostě ty latenci to zabíjejí.

[Ladicek]

Asi jo. Já jsem to trochu nadhodnotil, protože jsem myslel na technologie kolem Hadoopu a spol. Ručně napsané to určitě musí být lepší.

[xkucf03]

p2p vyhledávač je utopie, prostě ty latenci to zabíjejí

Latence vzniká jednak pomalým uploadem od domácích uživatelů a jednak nízkým výkonem/kapacitou jejich počítačů.

Co se týče toho prvního, je jen otázka, co je pro nás přijatelná latence – ano, Google odpoví prakticky hned, ale je třeba zpoždění 2-3 vteřiny už nepřijatelné? Pokud bych dostal relevantní výsledky, tak za to budu rád a řádově vteřinovou dobu si bez problémů počkám.

A co se týče výkonu počítačů – jde o to, jak dobře ten systém umí škálovat, Google má sice „hodně“ serverů, ale používá ho „hodně“ lidí. Pokud by všichni přestali používat Google a místo toho obětovali nějaké procento výkonu svého počítače P2P vyhledávači, byl by celkový výkon mnohem větší, než co má Google teď.

[marbu]

Kdosi jiny ale zda se pouziva p2p pristup pri prohledavani webu, kdysi tu o tom byl zapisek: 80 nohou prohledává web z vašeho počítače.

[qiRzT]

Jen 63 tisíc? No tak pro začátek nebude indexovat porno a zvládne se to dvěma.

[pavlix]

Nebo se tomu jen o pár řádů přiblížit?

O pár řádů? Vždyť mi k tomu chybí jen jeden řád. A to google indexoval mnohem větší rozsah než pouhou .cz.

[Riviera Kid]

Google pry dava rocne do hledani asi 70% rozpoctu, tedy nekolik desitek miliard korun. Provozovat vlastni vyhledavac realny je, ale kdyz ziska 1%, budes mit muj velky obdiv.

[Riviera Kid]

Jeste dodam, ze samozrejme ma smysl neco podobneho delat, kdyz to nebude pouze pokus o kopii Googlu s podmnozinou jeho funkci.

[Bedňa]

Lenže Google robí vyhľadávanie na všetko a nič. Nefunguje to zle, občas to štve. Napr. hľadáš fotogalérie a musíš kua dobre zadať dotaz aby si nemal výsledky plné porna. Lokálny Československý vyhľadávací nástroj na Linux (HW/SW), OpenSource (HW/SW) a galerie by som uvítal a myslím že nie sám. Dá sa to zrealizovať aj za pár drobných, málo dát, len by to chcelo sa do toho obuť. Osobne by som do toho malými pokusmi/radami prispel, niečo také prevádzkujem pre svoju potrebu.

[gtz]

poslední dobou mám větší úspěchy v hledání na Yahoo/Bing než u Google. Google to najde taky, ale až po nutném upřesnění. Já jsem hodně používal lycos, ale ten jen přežívá

[Radek Miček]

Na MFF byl napsán vyhledávač Sherlock Holmes.

[Ladicek]

Na MFF byl napsán i vyhledávač Egothor. (Btw, zajímalo by mně, co si MJ myslí o Egothoru a Leo o Holmesovi )

[Michal Vyskočil]

(Btw, zajímalo by mně, co si MJ myslí o Egothoru ...)

Egothor is ... written entirely in Java.

Mám své podezření

[Johanius]

P2P open source vyhladavac
Po skuskovom mozme zacat :)

[Petr Tomášek]

Hehe, šílená myšlenka. Znamenalo by to ale hlavně: a) P2P indexátor, b) dostatečnou redundanci indexátorů, c) asi by se moc nedalo se bránit záškodnickým indexátorům (a tím SEO podvodům)...

[Johanius]

Poslem data na dva(n) nahodne nody a ked sa vysledky nerovnaju opakujem(&&vylucim chybovy node).

[Vikthor]

Nemusíš začínat stačí se připojit, už totiž existuje Yacy.

[Riviera Kid]

Petra Hejla znate - http://exotopedia.org/wiki/Petr_Hejl?

[MaFy]

A kouknete na ten zaznam poradu den D. TO je fakt exot

[SPM]

Jojo... původně jsem zápasil se stahovánim toho videa z archivu a nakonec když se povedlo, tak jsem to nevydržel a pouštěl jsem si to ještě v půl jedný ráno... ten je fakt hustej

[rADOn]

Pokud chces dneska provozovat poradny vyhledavac, problem neni ani tak indexace toho co chces najit, jako spis odfiltrovani toho co najit nechces. Nemaly mnozstvi subjektu je schopny investovat nemaly mnozstvi prace a penez aby ti vysledek zkurvili. Viz miliony MFA webu ktery spamujou vysledky google i kdyz maji nulovy vlastni obsah.

[deda.jabko]

jezismarja, nerikej to nahlas nebo se tu objevi Petr Hejl a jeho novy hledac. ;-]

[otasomil]

No to uz by tady chybel akorat Jara Cimrman

[Dormeg]

To můžeš být v klidu. Ten se tu neobjeví, protože tady z toho kouká jen práce a ne ten jeho požadovaný milión na chlast a děvky.

[limit_false]

Zna nekdo vyhledavac, ktery umi vyhledavat i specialni znaky, napr kdyz zadam: makefile $@ nebo bash $!, tak to najde definici te promenne? Ja jsem dlouho hledal a nic takove jsem nenasel.

[marbu]

Nejak takto?

[limit_false]

Hm, je to o neco bliz, ale treba to neumi "perl $/" nebo "bash $?"

Ne ze by to neslo nalezt nekde v dokumentaci, ale nejvice casu vubec zabere najit tu spravnou stranku, kde jsou ty promenny. Zrovna u makefajlu jsem mival pravidelne gulas s nekterymi exotickymi promennymi (v cizich makefajlech).

[marbu]

Az tak univerzalne to bohuzel nefunguje, ale porad je to na hledani v manualech docela dobre. Ten makefile to hned vyhodilo asi proto, ze ho to nahodou naslo na stackoverflow. Mozna by stalo za to se autora zeptat, jak velky problem by byl s tim neco udelat, kdyz uz je ten vyhledavac vice mene technicky zamereny.

Jinak ja mel tenhle problem s perlem, kdy dohledani nekterych konstrukci v cizim zdrojaku mi dalo docela zabrat. Neco se dalo dohledat pres 'perl special variables' nebo 'periodic table of operators', ale taky by mne potesilo, kdyby to slo vyhledat nejak primo.

[limit_false]

Autor propagoval duckduckgo na redditu. Je to o neco lepsi, zatim nejlepsi co znam, protoze Google Code Search umi hledat jenom ve zdrojacich. Nicmene lze porad vylepsit, ale stejne diky.

Treba 'man perlvar' si uz pamatuju, ale s makefajlama mi dlouho trvalo nez jsem se naucil, pod jakymi klicovymi slovy to hledat.

[manasekp]

myslim si ze hledat jenom cz je realne, je totiz daleko vetsi problem indexace rozumneho mnozstvi webu nez vytvorit "nejaky" vyhledavaci algoritmus. Samozrejme pokud se nebudes snazit kvalitou prekonavat google

[xkucf03]

A co takhle P2P vyhledávač – člověk by si přidal stránku do záložek a tím by ji zaindexoval – pak by ti chodily dotazy od ostatních a ty bys jim vracel případné výsledky. Čím oblíbenější by stránka byla, tím pravděpodobněji by se od někoho vrátila (protože ne všichni by měli zapnutý počítač).

Akorát až by se vyhledávač trochu víc rozšířil, uživatelé by dost trpěli, protože by se jejich počítačů neustále někdo dotazoval. Leda mít na svém počítači i části cizích indexů, ale odpovídat jen na některé dotazy (tzn. prohledávat víc dat, ale méně často).

[Josef Kufner]

Hlavně by trpěli uživatelé, kteří by hledali. Vyhodnocení dotazu by trvalo řádově minuty. Vedle toho je google tak rychlý, že poslat dotaz přes půl zeměkoule, nechat prohledat obrovský index a počkat si na odpověď je rychlejší, než dopisovat druhou polovinu názvu serveru...

Navíc tahle technologie už existuje. Gnutella, magnet linky na torrenty a DHT obecně.

[h.xman]

P2P vyhledávač už existuje: faroo.com. Nezkoušel jsem to - zatím mají jen verzi pro Windows a iOS, ale prý už mají dva milióny peers. Jestli máš náhodou Windows po ruce, můžeš vyzkoušet a pak dát vědět, jestli to k něčemu je.

[YYY]

Kdysi jsem si vlastni vyhledavac napsal. Indexoval jsem si jen ale z legrace nekolik domen, ktere meli alespon neco spolecneho s GNU/Linuxem. I na teto pomerne omezene mnozine za chvilku rostl objem dat databaze uctyhodnym zpusobem a na muj hw (jednojadro + pomale uloziste) to bylo uz moc. Zajimave reseni by bylo udelat to na zpusob Seti@Home, otazka ale zni, jestli by ta prace mela nejaky efekt. Googlu proste konkurovat tezko.

[User682]

zdravim,

pridam trochu sci-fi, ale na to nebudete slyset(berte to jako humoer z me strany):

Tak zalezi na tom, kolik mate penez ?? Venoval jsem se nejaky rok rozpoznavani a vytezovani dat z textu. To co chcete, je to prace na nekolik clovekoroku + nejaky strojovy vykon. Jo a pripravte si i nejaky markerting....

At tu neuvadim cenu: Rekneme ze za hezky vetsi byt na Vihoradech by se o tom dalo povidat.....

gf

[gtz]

+ nejaky strojovy vykon

Nějaké 5U pro 52 SATA disků , k tomu deska pro 4x XEON MP , ke každému tak 32GB ECC Ramky. Odhadem jsem u ceny kolem 700 000.- což by třeba pro začátek stačilo.

Case cca 100 000,-  52x disk 2000GB tj. cca 200 000.- , Deska + cpu + ram + Arecca zbytek 

+ nějaká pořádná GB-FC karta

Jako úložiště by to snad mělo prozatím stačit

marketing ech ech

V dnešní době kdy i seznam hledá kde by udal nějakou reklamu je toto jistě těžké a lokální vyhledávač se bez reklamy neuživí. Kdybych hodně spekuloval tak si musí na sebe vydělat aspoň na provozní náklady. Chtělo by to nějakého dobrého sponzora třeba stát

[User682]

tak podle me se uzivite i bez reklamy v prvnich kolech. Mozna, ze reklamu bych bral jako vedlejsi efekt. Ciste bych spise nabidl vyhledavani firmam v jejich dokumentech - dodat to jako vyhledavaci engine.

gf

[gtz]

Tyto věci nabízí u nás na trhu celkem hodně velká spousta firem. Jako velké CMS spojené s kopírkama, tiskárnama apod.

[Kvakor]

Když už sci-fi, tak pořádnou:

Dnes má jakýkoli běžný vyhledávač "googloidního" typu tu smůlu, že stojí proti Google, takže i velké firmy jako Microsoft se přes značné investované prostředky dostanou jen na řádově procenta (a i když Yahoo teď používá stejný engine, dohromady mají stale méně než deset procent).

Takže jediná možnost je mít vyhledávač radikálně odlišného typu, například disponující umělou inteligencí, tj. vyhledávač, který by opravdu porozuměl položené otázce a vrátil jen relevantní data. Takovému vyhledávači by stačil menší index (protože by, narozdíl od Googlu, tupě neindexoval hlouposti) a nejspíš by se jeho uživatelé smířili i s horší odezvou, alepoň pokud by byla kratší než čas, který by museli sami objetovat na protřídění výsledků z klasického vyhledávače.

Jedinou podmínkou by byla opravdu vyspělá umělá ínteligence, relativně srovnatelná (v tomto ohledu) s lidskou, která by byla schopná zpracovat data na sémantické úrovni a zpracovávat běžné dotazy v "lidské řeči". Některé specializované vyhledávače (jako WolframAlpha) to částečně umějí už dnes a nedávný úspěch superpočítače Watson ukazuje, že něco podobného už nebude daleko.

Jenže, na druhou stranu, dokážete si představit superpočítač s inteligencí srovnatelnou s lidskou, který by si musel nedobrovolně přečíst celý Internet, v případě "multimediálního" obsahu navíc ještě prozkoukat veškeré obrázky a videa, a i když by je nemusel zaindexovat jako celek, musel by přesto mít záznam o tom, co se v nich nachází a proč to nemá cenu indexovat.

Protože v důsledku druhého Sturgeonova zákona 90% obsahu stojí za starou bačkoru, musela by si umělá inteligence poradit i s věcmi jako blogísky o koníšcích (sic), praštěnými obrázky koček s ještě praštěnějšímy texty a videy lidí předvádějícími všechny druhy exktrementích funkcí a nezbláznit se z toho, což je úkor věru hodný nadčlověka.

Proto by nejspíš provozovatelé použili první verzi jako tzv. seed AI, aby se dokázala vyvíjet a vylepšovat sebe sama. Čímž by nejspíš jen oddálili okamžik, kdy by se v tomto případě už silně nadlidská inteligence zbláznila, v lepším případě nějakým neškodným způsobem, v tom horším ... no, řekněme, že to, jaký by takováto inteligence měla názor na lidstvo, asi nejlépe napsal Harlan Ellison (viz citát AM v článku). Na druhou stranu, umělá inteligence, která by si celý Internet přečetla a prohlédla dobrovolně a nebyla by držená "na uzdě", by mohla být ještě mnohem horší ...

[Bedňa]

Lenže toto by platilo len do chvíle, kedy by začal indexovať Jílkov blog, tam by sa zacklil a zhorel

[Josef Kufner]

… a jmenovala by se Skynet.

+1

[xxxs]

moorov zakon hovori, ze o dvadsat rokov mozes googlu konkurovat aj s domacim desktopom.

je tu jeden problem. pokusim sa ho priblizit na priklade z filmu: hlavny hrdina v obave z bojovych schopnosti vedlajsej postavy, poznamena: "mal by som sa zacat ucit karate." uplne ina vedlajsia postava: "to si mal pred tym, ako zacal on."

[SPM]

moorov zakon hovori, ze o dvadsat rokov mozes googlu konkurovat aj s domacim desktopom.

To není tak úplně pravda... za 20 let totiž může konkurovat googlu tak, jak vypadal před 20 lety... jelikož ten objem dat stále roste, tak mu to zase stačit nebude :)

[xxxs]

to som sa snazil vysvetlit v druhom odstavci.

[Miloslav Ponkrác]

Google odhadem indexuje sotva dvacetinu existujícího internetu.

Už dnes je vidět, jak Google se snaží zastírat, že může indexovat jen zlomek webu. Například se snaží preferovat určité weby. Krásně to poznáte v okmažiku, kdy rozjedete nový web.

Já pravidelně sleduji logy na mých stránkách co dělají vyhledávače (už jsem jich identifikoval přes 50). Není výjimka, že Google zařadí novou stránku na webu až po několika měsících.

Jsem pak docela rád, že mi je Google docela putna. Dokážu si docela představit, že kdyby můj web na Google závisel, že bych Google neměl rád – je to zcela v souladu s tím, jak si stěžují na Google mnozí majitelé webů.

A také si všímám, že jeho vyhledávání je měsíc od měsíce horší a že je čím dál lepší používat třeba Microsoftí Bing, nebo jiný, apod. Je jen otázkou času, kdy si toho všimne významný počet lidí, aby to Google trápilo. Jenže v tu chvíli už bude pro Google pozdě.

[pavlix]

A co teprv za jak dlouho po googlu se probudí seznam :).

[kralyk z abclinuxu]

No jestli naroste popularita Bingu, potažmo tedy MSN, tak to nechci vidět. Už teď si lidi stěžují na velkobratrskost Googlu a kdesi cosi,... Pokud by měl v budoucnu MS mít tu pozici, kterou má teď Google, bylo by to imho o dost horší, MS je imho o dost děsivější velký bratr než Google.

[Heron]

Měsíců? Google v logách vidím skoro každý den. Po nasazení nového webu na který vedou linky z již prosazených webů, tam jsou vyhledávače do několika dnů (většinou na druhý den). Všechny CMS dneska navíc posílají vyhledávacím robotům info o novém vydaném obsahu a ten je zaindexován v řádu hodin.

[Miloslav Ponkrác]

Udělat se dá cokoli.

Asi dosti utopické je chtít vyhledávač komerčně zhodnotit. A to i přesto, že nějakou dobu tvrdím, že je otázka několika let, než Google zkrachuje.

Pokud jde o to to dokázat technicky, pak to není až takový problém.

Základem je, že je třeba se vyhnout algoritmům profláknutým u Google, které způsobily bordel na webu obecně – například že už nikdo nechce odkazovat na zajímavé stránky, že namísto obsahu jsou všude klíčová slova pro lepší pozici v Google, a řadu dalších.

Výkony počítačů jdou natolik nahoru, že dnes není třeba na vyhledávač mít farmy tisíců počítačů – pro začátek to klidně může běžet na jediném, naostro pak na pouhých několika – pokud se omezíte na určitý výsek internetu.

Napsat vyhledávač není těžké. Chce to určitou znalost teorie. Co je těžké jsou algoritmy na kategorizaci a rozpoznávání co je podvod a co relevantní zařazení stránky.

Pokud máte znalosti, zkušenosti, dostatek času nebo peněz, pak vyhledávač není až tak složitý problém – navzdory tomu, co v této diskusi píší jiní.

Co je problém je potřeba těch zkušeností, které se obvykle získávají za mnoho let a v té době pak nadšenecky dělat moc nechcete. Já sám jsem se pokoušel v minulosti přidat k několika open source skupinám, ale už jsem poučen a už to nikdy neudělám.

Potřeba analýzy, nutnost navržení architektury, promýšlení apod. jsou u nezkušených mladých lidí do cca 30 let silně podceňovány a brány jako flákání. Jediná „správná práce“ je počet odseděných hodin u kódování. Následně Vás mladší a nadšenější nutí do postupů, o kterých už dávno víte, že vedou do WC (to samé se děje v řadě programátorských komerčních firem, kde to dělají vedoucí). Nenechají si to rozmluvit, nevysvětlíte – některé zkušenosti jsou nepřenositelné. Projekt pak dopadá tak, že po několika letech zjistí tudy ne – a raději se nemluví o mých protestech, které varovaly před něčím co se do puntíku vyplnilo.

Takže projekt vyhledávače není nic tak těžkého, jak se tu maluje. Důraz je třeba klást na návrh a analýzu. Na tom záleží.

Ale jak říkám, zkušenější do toho nepůjdou – své období nadšeneckých projektů mají za sebou. A bez zkušeností dobrý vyhledávač nevznikne.

Takže doporučuji studovat teorii a materiály, nebo vymyslet jak na vyýhledávači zbohatnout a zaplatit zkušené, nebo se na to vykašlat. Alternativa je, že stavění vyhledávače pro Vás bude cesta, jak pokročit v sw skills. Možná ho dokončíte do určité podoby, možná ne, ale to je jedno – vy se hodně naučíte.

[Martin Mareš]

Výkony počítačů jdou natolik nahoru, že dnes není třeba na vyhledávač mít farmy tisíců počítačů – pro začátek to klidně může běžet na jediném, naostro pak na pouhých několika – pokud se omezíte na určitý výsek internetu.

Jinými slovy pokud chcete navrhnout vyhledávač, který skoro nic nenajde, vystačíte si s jedním počítačem. Pravda pravdoucí

Napsat vyhledávač není těžké. Chce to určitou znalost teorie.

V zásadě ano. A také si umět poradit s obrovským množstvím dat, což už tak snadné není. A také s hromadou podvodníků, kteří se vás stále snaží ošidit. A s autory webových stránek, serverů a operačních systémů, kteří jsou neobyčejně kreativní v tom, jak si lze libovolný standard vyložit. (Něco maličko bych o tom věděl ;) )

Já sám jsem se pokoušel v minulosti přidat k několika open source skupinám, ale už jsem poučen a už to nikdy neudělám.

Nemohu se ubránit dojmu, že je to dobrá zpráva O

[Miloslav Ponkrác]

"Jinými slovy pokud chcete navrhnout vyhledávač, který skoro nic nenajde, vystačíte si s jedním počítačem."

Dál není třeba komentovat. Jednak jsem nepochopil na co reagujete, doporučuji si znovu mou větu přečíst, případně požádat někoho, kdo chápe český jazyk. Rozumím, že chápání sousloví jako "pro začátek", nebo "pokud se omezíte na určitý výsek internetu" jsou nad Vaše mentální možnosti.

"Nemohu se ubránit dojmu, že je to dobrá zpráva"

Je to velmi dobrá zpráva určitě pro mně. Jsem rád, že jsme dva co sdílíme nadšení.

[Martin Mareš]

Rozumím, že chápání sousloví jako "pro začátek", nebo "pokud se omezíte na určitý výsek internetu" jsou nad Vaše mentální možnosti.

Nikolivěk, jen říkám, že abyste podstatně ušetřil na objemu dat, bude ten výsek muset být tak malý, že v něm nic užitečného nenajdete. (Nebo budete prohledávat konkrétní skupinku několika webů, na což vám pak zase stačí grep.)

[Miloslav Ponkrác]

"A také si umět poradit s obrovským množstvím dat, což už tak snadné není. A také s hromadou podvodníků, kteří se vás stále snaží ošidit. A s autory webových stránek, serverů a operačních systémů, kteří jsou neobyčejně kreativní v tom, jak si lze libovolný standard vyložit. (Něco maličko bych o tom věděl"

A jaký je rozdíl v případě jakýchkoli reálných dat y téměř jakéhokoli prostředí?

Za svou praxi si nijak nevzpomínám, že by v jakémkoli projektu pracující kdekoli jakkoli s reálnými daty nebylo nutné řešit podobné věci.

Web je o to hůře, že ho bohužel standartizuje fušerská organizace W3C, která nebyla schopná ani nevrhnout gramatiku a způsob parsování HTML (to udělala až WHATWG). Není divu, že neexistující standardy jako je ypůsob parsování HTML si každý "vyložil po svém". W3C pak svou neschopnost svalila na autory browserů, snažila se zabít HTML a jela novou linku XHTML. Ale neschopnost se prostě nedá odestát, ten poslali do kopru ještě rychleji.

Kromě toho samozřejmě je silný tlak na prezentaci a reklamu stránek, takže je snaha podvádět a pomoci si i tak.

A k tomu samozřejmě, jako v každém oboru odchylky od standardu vzniklé nedůsledností.

Ukládání velkého množství dat je dnes snadnější, než kdy jindy. Kromě toho velikost dat se setsakra liší podle použitých datových struktur, což je část architektury hledače. Klidně i o mnoho řádů. Zde právě tvrdě závisí na zkušenostech a talentu člověka velmi mnoho.

[Martin Mareš]

A jaký je rozdíl v případě jakýchkoli reálných dat y téměř jakéhokoli prostředí?

Obvykle tvoří většinu dat náhodný šum, zde tvoří většinu zlomyslně vyráběný šum. To je velký rozdíl.

Web je o to hůře, že ho bohužel standartizuje fušerská organizace W3C, která nebyla schopná ani nevrhnout gramatiku a způsob parsování HTML

W3C se pokud vím standartizací nezabývá (není to spolek vexilologů), co se standardizace týče, není na tom zase tak špatně. Starší verze HTML dost jasně říkaly, že se jedná o speciální případ SGML, a SGML má parsovací pravidla definovaná přesně. Přesný standard existuje, jen ho zdá se skoro nikdo nedočetl do konce.

Ukládání velkého množství dat je dnes snadnější, než kdy jindy. Kromě toho velikost dat se setsakra liší podle použitých datových struktur, což je část architektury hledače. Klidně i o mnoho řádů. Zde právě tvrdě závisí na zkušenostech a talentu člověka velmi mnoho.

Obecné řeči. Pokud tvrdíte, že to umíte lépe než všichni na světě, račte to předvést. Pakliže předvedete, smekám před vaším talentem. Pakliže nikoliv, nejspíš vás budou považovat za tlučhubu.