KDE 4.4: Nepomuk – žrout CPU, nebo technologie budoucnosti? (diskuse)

[Andrej Herceg]

Stále netuším, k čomu to je dobré (a nečudujem sa, že sa to ľudom nepáči, keďže ani tvorcovia nedokážu zrozumiteľne vysvetliť, na čo je to dobré). ;)

Nezapisujem si napr. to, kedy som bol v lese a ako dlho som tam bol, kedy som bol vysypať smeti, čo som pozeral v TV, ..., takže netuším, prečo by som si v počítači mal udržiavať podobne "dôležité" údaje.

[AraxoN]

Možno je to úplne geniálne a chce to len ďalší čas, kým to nadobudne nejaké praktické využitie. Niečo ako keď nám na Matematickej analýze II. vysvetľovali Z-transformáciu a všetci sme si klopkali na čelo, že na čo nám to asi bude. No a potom prišla Teoretická elektrotechnika II. a ejhľa - ten "nezmysel" sa veľmi dobre hodí na prechodové javy. (Ak som to doplietol tak ma nebite - už je to 10 rokov, čo som tieto vedomosti nechal z hlavy vyšumieť).

[Hynek (Pichi) Vychodil]

To byla Laplaceova transformace (to je ta s tím p). Z-transformace je na diskrétní jevy, to ve elektrotechnice moc neužiješ.

[moira]

Já myslím že užije (číslicové filtry).

[thingie]

„Je to nesmírně užitečné (ale už jsem to zapomněl)“

[belisarivs]

Ono je spousta nesmirne uzitecnych veci, ktere presto v hlave nenosis. Co je na tom divneho?

[pakanek]

Mozek se snaží zapomínat nepotřebné, tedy neužitečné věci. To je na tom úsměvné.

[Marek Bernát]

Neviem ako cudzie mozgy, ale ten môj sa snaží zabudnúť úplne všetko

[default]

To se nevylučuje.

[JoHnY2]

Je to v podstate twitter pro vsechny desktopovy aplikace (vykecavaj se mu co zrovna delaj a co zjistily) nad kterym jde delat velmi zajimavy dotazy.

Nejvetsi problem KDE4 obecne spociva v tom, ze backend a frontend vznikal a vznika ve stejnou chvili. Jak chcete po programatorech aby pouzivali backend, kdyz je o 3 milestony pozadu za jejich frontendem a API vypada jako emental.

[JoHnY2]

Pokud jsem kdysi davno funkci nepomuku pochopil spatne tak me nebijte a napiste nejak lidsky co je to za zvire.

[nikdo]

Obecný framework pro zprávu metadat.

[xyz]

Není nad hřejivé lidské slovo...

[muhehe]

ze by neco jako plumber v operacnim systemu plan9 ?!

[Lord]

Kdyby k tomu byl dodělaný frontend, tak to slouží jako prohledávač obsahu hdd. Nejen jako fulltextový, ale i strukturovaná data. A tím, že to má metadata uložená ve své db, tak je to pekelně rychlý. Pokud chcete vidět funkční implementaci, tak se podívejte na Spotlight od Apple.

[Espinosa]

Nemusíte se dívat tak daleko. Linux má už dlouho spolehlivého indexera a vyhledávače - Beagle. Alespoň co se kontetového indexování týče.

[Let_Me_Be]

Hlavni vec co tahle technologie (ne konkretne tyto programy a jejich aktualni stav) umoznuje je vyhledavani a prochazeni podle pribuznosti.

Napriklad si muzes nechat vyhledat soubor: "ktery mi poslal karel emailem minuly mesic". Nebo si pri kliknuti na fotku nechas najit jine fotky, ktere si odfotil v danem meste, nebo na kterych je dana osoba.

[jehovista]

Problem je ale v tom, ze vyjmenovane ukony se daji velmi snadno(a radove rychleji) vyresit beznou tabulkovou databazi(pravda, ontologie take vyuzivaji v backendu beznou databazi, ale stavi do cesty dalsi(a to pekne tlustou) vrstvu). Nejvetsi problem semantickych technologii dneska je podle me nalezeni vhodnych pripadu pro demonstraci jeho prinosu a ospravedlneni miliardovych nakladu na vyvoj technologii.

[Let_Me_Be]

No, IMHO presne tvuj prispevek vyjadruje ten hlavni problem. Nemuzes mit demonstrace bez technologie. Semanticke technologie a presun metadat k samotnym datum je proste dalsi krok ve vyhledavani. Od prohledavani souboru k desktop search (coz je v podstate to same, jenom diky pluginum umis koukat dovnitr nekterych souboru) k semantickemu desktopu.

Ty priklady ktere jsem dal jsou jeste dost jednoduche, ale napriklad "soubory ktere jsem dostal pres internet (IM, Email) od kolegu z prace" je uz dotaz ktery nemas sanci beznym vyhledavanim realizovat, protoze nemas ani metadata ani jejich vztahy (hlavne pokud jde o nejakou nestandardni situaci - napriklad vic zamestnani).

[jehovista]

Porad ale nepotrebuju ontologii na to, abych tyto vztahy popsal. Staci obycejna relacni databaze a SQL jazyk. Problem je akorat v tom, ze nemuzu naraz pristupovat ke vsem datum, ktera se me tykaji. Tohle ale nevyresi ontologie, ale proste ustanoveni standardu pro zapis a uchovavani takovych dat. Ja vidim vyhodu v tom, ze se pak daji dotazy zapisovat prirozenejsi formou, oddelenou od fyzickeho ulozeni dat. Porad ale clovek musi znat ten SPARQL a to se neda chtit po beznem uzivateli(zvlast kdyz na slozitejsi dotazy potrebuje chapat ruzne abstraktni pojmy jako blank node apod.) No a pokud jde o popsani struktury dat ontologii, tak tam vidim spis zadrhele, nez prinosy. Staci aby mi nejaka aplikace dovolila do databaze pridat udaj, ktery zpusobi, ze pak bude nekonzistentni. Nevim, jak funguje zrovna nepomuk, ale kdyby se mela konzistence kontrolovat pri kazdem pridani axiomu, tak by to asi bylo dost vypocetne narocne.

[BrainLess]

No v podstate je to hloupym zpusoben vytvorena snaha o chytrou vyhledavaci sluzbu. Proc pisi hloupym ? No na to co to ma umet se mi zda kolem velke mnozstvi kodu. Sveho casu jsem se snazil uvest v zivot moji ideu. Pridat ke kzademu souboru na filesystemu 2 atributy (typ souboru a skupina do ktere patri). Potom by muselo existovat kernel api kter by pres nejky frontovaci mechanismus umoznovalo aplikaci hooknout se na dany typ souboru. Takze kdyz by clovek spustil grep mohl by rici ze chce hledat pouze v "textovych souborech" nebo naopak ze zrovna chci grepat "bin/so". Mohl by povesit na event vytovreni "jpegu" skript ktery ho resizen popripade movne do archivu apod. Vyhoda oproti te silenosti s nazvem nepomuk, jasna neni to zavisle na KDE ale na kernelu + sade userspace utilit/procesu.

[retroslava]

Tím třetím vzadu je Virtuoso, psaný v C++, který kombinuje výhody obou – C++ a vysoký výkon. Což je, uznávám, poměrně neobvyklá věta. S Javou se na desktopu obvykle spojuje jiné slovo než rychlost. Důvodem je, že Sesame2 implementuje řadu různých chytrých optimalizací, které jeho kolega Redland nemá, takže je přes deficit virtuálního stroje rychlejší.

Nemá náhodou místo C++ a vysoký výkon tedy být napsáno JAVA a vysoký výkon ? Něják mi to takhle jak to je nedává smysl.

[Ash]

Já tipuji že Virtuoso je v C++ a kombinuje výhody C++ (jako Redland) a vysokého výkonu (jako Seasame2). Zbytek je balast který asi původně patřil o odstavec výš.

[pht]

výhody C++

např. správu paměti a ochrany mezí

[vencas]

{tr1,boost}::shared_ptr, STL?

[grim]

Z Redlandu bere Virtuoso to lepší, což je C++, a z druhého (Sesame2) bere pro změnu taky to lepší, což je rychlost. O pár řádků níž autor zdůvodňuje, proč je javovský Sesame2 rychlejší - narozdíl od Redlandu implementuje nějaké optimalizace (čímž není řečeno, že java je rychlejší než C++).

Prostě: "Nastoupil vystoupil, nevím co je na tom nejasného" (c) Cimrman,Švestka

[Ash]

Jde o to že to "o pár řádků níž" je ve skutečnosti "o jednu větu dál" a autor tam zcela mimo kontext (je řeč o Virtuosu) opakuje to, co už jednou řekl o odstavec výš o Redlandu a Sesame2.

Nastoupil vystoupil, je zřejmé že tam došlo k nějaké duplicitě a odstavec je tak nelogický.

[Ash]

KDE 4.4: Nepomuk – žrout CPU, nebo technologie budoucnosti?

Já už myslel že to je anketa o KDE4 a chtěl klikat na žrouta :)

[pht]

Problém nepomuku (a některých dalších hvězdných technologií KDE4) je, že tím plašili od dob, kdy 4.0 nebyla ani beta. Tenkrát nebylo asi ještě nic naimplementováno, tak se vše zdálo slibné, elegantní a revoluční.

Pak bylo dlouho ticho po pěšině. Kolem 4.2 se začaly ozývat hlasy že snad už jako jo (něco to dělá), ale přitom ještě ne (nefunkční backend, bordel v architektuře).

Dnes je na obzoru 4.4 a do dnešního dne není k dispozici ani normální use case (mimo prohledávání RSS přes command line či co), není k tomu normální dokumentace a článek sám zasazuje použitelnou technologii do verze 4.5, nebo reálněji 4.6.

A to jsou, přátelé, již tři roky od původního představení s mažoretkami. Já vím, že nová technologie potřebuje vývoj, ale proč to nechápou distributoři a cpou to lidem pod nos defaultně zapnuté celé ty 3 roky?!

[Marián Kyral]

Mám dojem, že kromě dolphinu to funguje i v gwenview. Alespoň tagování a vyhledávání fotek.

[Rezza]

Ver mi, ze distributori jsou z toho taky smutni Redland je lepsi vubec nepoustet, Sesame2 je Java - obri problem ve Fedore - vse se musi buildit ze zdrojaku a dokazat to u Sesame neni sranda. Mary Ellen Foster na tom ted dela a klobouk dolu - dari se (coz mi pripomina, ze jsem ji slibil par review na ty miliony zavislosti). Virtuoso neni taky vyhra, aspon co se tyce balickovani - je to kompletni SQL server, celkem pekny bumbrlicek, nastesti se da celkem rozkouskovat. Kazdopadne uz se tesim, technologie je to vskutku zajimava, dela na tom celkem dost lidi a hlavne - platime si to! Nepamatuji si cisla, ale miliony euro z EU to jsou :D

[Michal Vyskočil]

a hlavne - platime si to! Nepamatuji si cisla, ale miliony euro z EU to jsou :D

11.500.000 EUR - pro hnidopichy podotýkám, že většina peněz šla jinam, než do KDE implementace .

[Let_Me_Be]

IMHO do KDE implementace z techto penez neslo nic. Resp. do zadne konkretni implementace s vyjimkou te ukazkove.

[Michal Vyskočil]

Nevím, jak to v takových grantových projektech EU chodí, ale Mandriva je uvedená na stránce přispěvatelů. Z toho usuzuji, že mohla nějaký grant dostat.

[nikdo]

KDE4 není KDE4.0 či KDE4.4. Až to bude hotové a připravené pro usery, tak to bude. Což bude dle mého soudu kolem 4.6. Proč jste tak nedočkavý? Chci vše a chci to teď? Říká se tomu inkrementální vývoj, pokud vím.

Proč něco cpou distributoři se ptejte distributorů. Například OpenSUSE má vše kolem nepomuku v 11.2 v defaultu vypnuté, protože to není připravené pro uživatele. Jakou distribuci používáte vy?

[pht]

Proč jste tak nedočkavý? Chci vše a chci to teď?

Ani ne. Ale jsou i lepší příklady, kde se inkrementální vývoj zvládl líp. Tady se totiž nenabaluje end user funkcionalita, ale nabalujou se mezivrstvy, a end user věci přijdou na řadu až jako poslední. Tenhle syndrom se opakuje i u některých dalších částí KDE.

Nejdřív nemáme uživatelům vůbec co ukázat, pak něco máme ale nefunguje to, takže to uživatelé ignorují, pak už mámě něco, co ukážeme, ale dělá to něco úplně jiného, než uživatelé čekají, protože jsme na začátku ani neřekli co to přesně je.

Například OpenSUSE má vše kolem nepomuku v 11.2 v defaultu vypnuté, protože to není připravené pro uživatele

Tím myslíte nezakompilované? Přál bych si, aby to tak zůstalo, ale viz 1 2.

Navíc spousta dister se tím neřídí a kompilují úplně všechno. A pokud to zakompilujete tak default v kde 4.3 je že po startu kde se strigi vrhne mlsně na procesor.

[Jirka]

Az to bude fungovat, tak to prejmenujou na KDE 5.

[loki]

vadi mi, ze vsichni distribuce jedou na kde4. ktere je co si budem povidat stejne derave uplne vsude jinde, nejen v nepomuku (ktery se da vypnout). plnohodnotnou nahradou kde3 proste nejsou (chybi must-have featury a misto toho se dela na nice-to-have). osobne jedu stale na ubuntu 8.04 s kde3.

jo a neverim, ze by distributori tak nadsene prechazeli na kde4, kdyby jim pred temi roky rekli 'dejte jako default tuhle sragoru, co bude furt padat, bude nekompletni a mooozna za 4 roky to bude k pouzivani'. skutecne si myslim, ze i distributori nalitli na kde4 hype a jak to bude hned hotove a super.

TO mi vadi.

[fettgesicht]

Jediný smysluplný využití téhle neuchopitelné fíčury vidím při hledání něčeho, o čem zaboha nevím, jak se to jmenovalo a kam jsem to uložil. To se mi stane tak jednou do roka.

[Amarok]

+1

[alblaho]

Periodická reindexace disku je blbost. I když chápu, že inotify má nějaká omezení, tak jsem nezažil aby můj Tracker reindexoval z nuly. Naopak indexace nových souborů je v praxi vždy okamžitá.

[mig]

Problém nastává, když indexujete např. adresář download, který obsahuje 7000 souborů. Pak se při přidání jediného souboru sice nereindexuje celý disk, ale stačí tento adresář... Je to v tomhle stavu celkem na prd, protože právě tyhle adresáře bych chtěl indexovat, v těch s menším počtem souborů se vyznám a indexer nepotřebuji. Už aby to fanotify bylo.

[belisarivs]

Mne na KDE 4 sere (a to tak, ze nezkutecne) ze snad s kazdou novou verzi vznikne problem pri pouziti konfiguraku te stare.

Takze clovek musi smazat .kde aby to fungovalo a nekdy mu .kde smazou i samotna KDE. Uz jsem tak prisel o logy v kopete. A to nasere. Ano, nezalohoval jsem, ale to mam denne zalohovat logy?

Jinak, Nepomuk mi slape (ve smyslu ze indexuje, ale nevim co vic s tim) a narocny mi opravdu neprijde. Nemam kdo vi jake delo, ale opravdu nemam problem.

[xm]

Já tedy nevím, ale od verze 4.1 jsem konfiguráky nemazal a rozhodně mi je nikdy nesmazalo KDE. Že by problém v distribuci?

Smazat konfiguráky (a snad jenom konfiguráky Plasmy, né celého KDE) bylo jestli se nepletu potřeba jen při přechodu z KDE 4.0.

[Xerces]

Tak proto není ještě Kaffeine a K3B pro KDE4 No kluci a holky jsou vizionáři a fandím jim, ale taky je to nad moje chápání. Každopádně díky za pěknej článek.

[xm]

Kaffeine ani K3B nejsou oficiální KDE aplikace, na nich dělají jiní lidé.

[belisarivs]

Neni K3B dilem prave Sebastiana Truega?

[nikdo]

Je, ale jak ho chcete donutit, aby dělal na K3B pokud nechce? U Mandrivy ho navíc teď platěj prostě za něco jiného. A nedivím se mu, škoda plýtvat takovým talentem na vypalovací program, to zvládnou i jiní :)

[belisarivs]

Reagoval jsem na:

Kaffeine ani K3B nejsou oficiální KDE aplikace, na nich dělají jiní lidé.

Nikoho k nicemu nutit nechci.

[multi]

ja pouzivam k3b na na kde4 od zacatku co pouzivam kde4

[jozka]

A opravdu to je k3b z kde4?

[multi]

Mam mandrivu a ta (ostane jak je videt i z toho clanku) do komunity a KDE pilne prispiva a snazi se hlavne tam kde to vazne. A prave i na k3b delala. Takze to byla nejspise prvni distribuci kde k3b v KDE4 bylo.

[Milan Lajtoš]

Příloha:

• k3b.png (52168 bytů)

Určite.

[jozka]

Jenze on psal, ze ho vyuziva od zacatku. Moznost, ze uziva kde4 chvili jsem zanedbal.

[multi]

Mandriva nepospichala s nasazenim KDE4 a i pak bylo podporovano kde3, takze ja na nej taky nepresel hned. Myslim si ze na KDE4 jsem asi tak necely rok.

[jozka]

Tak to jo...

[Michal Vyskočil]

Jenom dodám, že jsem v mezičase našel aplikaci, která je postavená nad Nepomukem (a Phononem) - přehrávač bangarang. Nepomuk tam pohání knihovnu médií (či jak se to jmenuje), takže je celý program až srandovně malý (v porovnání třeba s Amarokem, který si teď sebou tahá i mysql).

[nikdo]

Hnidopišská poznámka - RDF je Resource Description Framework, ne Resource Definition Format a XML formát je jen jednou z mnoha serializací (jinou je například N3). Pak není nic překvapivého ani na tom, že je NRL serializované do JSON a ne XML.

Je to poměrně komplikované téma, ale pro uživatele bude jednou naprosto neviditelné.

[bhy]

složba je něco mezi složka a služba, nebo je to prostě něco, co člověka složí?

[jozka]

¨To je neco jako "cvicba". A obcas bejva i prepychova...

[bhy]

btw, jak se to má s indexováním na systémech s jiným jádrem než Linux? tuším třeba FreeBSD mělo KDE 4 dřív než většina distribucí, tak to asi mají nějak pořešené?

[m;)]

idealne by asi bolo pouzivat kqueue miesto *notify, gamin to dokonca mam pocit umoznuje, ale nie som si tym celym isty, je to predsa len okrajovejsia platforma, ale zasa mam pocit, ze kde4 je menej linux-centricke ako xorg s poslednym vyvojom.

[jim]

Bezva, konečně mi někdo trochu objasnil k čemu ten Nepomuk, který jsem pracně odpáral z KDE, je.

Ty články o KDE jsou výborné, jen tak dál, suplují neexistující dokumentaci.

Nevím, jestli jsem sám, ale mám dojem, že dokumentaci (a teď nemluvím o KDE) v poslední době nahrazuje jen hromada návodů?

[Kosič]

Tak to jsme mininálně dva. Já jsem za takové návody opravdu vděčný, protože bez toho je ovládání KDE4 někdy  opravdu "pokus-omyl"...

[Vlastimil Ott]

Psal jsem kapitolu o KDE do knihy Mandriva Linux 2010 CZ a mooooc jsem se snažil, aby to nebyla hromada návodů. Tím se nechci chlubit, ale sdělit, že jsem tam psal i sémantickém desktopu a tagování (což je dnes hlavní využití Nepomuku, když v meta- nejde snadno vyhledávat...). Seriál o KDE máme i na LinuxEXPRESu.

[Mazarik]

Najvacsim problemom cohokolvek, co si autori otituluju ako "semanticky" su kvalitne data. No a najkvalitnejsie data stale dokaze vytvarat iba clovek. Vacsina ludi je od prirody lenivych. Takze cele to "semanticke" cokolvek potom nema vyznam. Samozrejme sa najdu ludia, ktori maju velmi radi poriadok a taguju az sa im z klavesnice pari. Podla mna rovnaku funkcnost je tiez mozne dosiahnut veeelkym objemom dat mensej kvality. Toto vyuziva napr. google, facebook a ich odoberatelia dat:)

[petr_p]

Řekl bych, že ještě existuje třetí činitel, který ovlivňuje kvalitu vyhledávání, a to je ontologická databáze. Jednu poměrně dobrou má člověk ve své hlavě. S kvalitně definovanou ontologií je možné i z mála vstupních značek mnohé vydedukovat, protože skrze ontologii vypadnou nemožná nebo nepravděpodobná řešení. Problém kvalitní ontologické databáze ale je, že se musí průběžně doplňovat s tím, jak vznikají nové pojmy a události. Možná že všeobjímající ontologie a veeelky objem dat mensej kvality limitně splývají, máme-li výkonný odvozovací aparát.

[Mazarik]

Otazka, ktoru som v mojom komentari nacrtol je, kto to bude udrzovat a vyplnovat? Uz som zaznamenal par pokusov o nieco taketo a dokonca som sa na jednom zaujimavom ciastocne zucastnil a vzdy to skoncilo na chuti ludi to doplnovat. Ci uz by mala byt ta chut motivovana financne alebo nie.

[Josef Kufner]

Však lidi k tomu nesmíš pustit. S nima jsou akorát problémy...

[Mazarik]

Ako napisal petr_p, tak najlepsiu ontologiu ma clovek v hlave. A ani najlepsia indexacia Vam nezaradi napr. odkaz na oblubeny "blogisek o konoch" alebo "ten fajn film o upiroch" do skatulky (tagy, adresare, ontologie...) "fajn blogisky" alebo "filmy o upiroch" bez toho, aby ste to tam nenastavili, neurobili na to pravidlo ako a kam to zaradovat. No a bez spravnych pravidiel a dat je ten program len indexator a nie " magicka semanticka vec", pretoze Vam nedokaze ani len naznacit nejake doporucenie, kde by ste mali este hladat nieco podobne alebo toto je podobne tomu co hladam, ktore este nie je zaindexovane.

[Josef Kufner]

Ještě zapomínáš na možnost, že by se ta magická sémantická věc učila. Tedy ze začátku by to bylo celkem hloupé indexovátko, ale dávalo by si dohromady související věci. Jakmile by nasbírané souvislosti dosáhly kritické meze, bylo by to schopné bez problému odpovídat i na tak záludné dotazy jako jsi napsal.

Hlavně je nutné se vykašlat na uživatele a neočekávat od něj nic víc, než že bude něco chtít. Ta hvězdička v adresním řádku Firefoxu nebo u mailech v gmailu je tak na hranici maximální náročnosti.

[Mazarik]

Tak ako pisete by som to tiez robil, ale prakticky pokus jednoho doktoranta dokazal, ze dnes na to este nie je technika pripravena a musite tvorit rucne pravidla, inak to bude len hlupe indexovatko. Ked uz hovorime o tom Firefoxe velmi by ma zaujimal fakt, kolko ludi skutocne pouziva tagy pre zalozky pridane vo verzii 3, ktore s touto debatou troska suvisia.

[Josef Kufner]

Hm, řekl bych, že výkonu na to už máme dost. Asi by to muselo trošku hádat a nedokázalo to najít všecko perfektně, ale už jen propojení fulltextu a "inteligentního" tagování by mohlo mít značný přínos.

Btw, vyprodukoval ten doktorand o svém pokusu nějaký článek?

[Mazarik]

Uz to bohuzial nefunguje uio ale dokazalo to odpovedat aj na tie otazky, ktore su tam uvedene. Je to spojenie semantickeho webu a prirodzeneho jazyka. Pre dalsie info kontaktujte toho cloveka, ktory je uvedeny vpravo hore.

[Josef Kufner]

Tohle je čtyři roky staré (ale díky za odkaz), za tu dobu se ledascos už změnilo, takže určitě má smysl nad tím uvažovat znovu.

Přirozený jazyk bych do tohole však nemotal, je to docela komplikovaná věc. Stačilo by jen něco jako dělá Wolfram Alpha – dostane to pár pojmů a ty to zkusí nějak interpretovat. Pokud by se tyhle pojmy potkaly s tagy, případně se fulltextem dohledaly další tagy, nemuselo by to být výkonově nijak náročné a přitom by to mohlo být schopné dát dohromady vcelku zajímavé výsledky.

[Marek Bernát]

To je síce všetko pekné, ale stále je to skôr na úrovni zbožného priania, než fungujúceho programu A čo sa zmenilo za posledné 4 roky? Ľudia sa už každou možnou formou A.I. zaoberajú 50 rokov a zatiaľ sa kvalitatívne nezmenilo prakticky nič. Len všetci stále hovoria, že veľké objavy sú už za rohom (zrejme aby dostali peniaze na ďalší výskum). Až prídeš s funkčnou implementáciou, tak ti uverím; dovtedy to budú len kecy

[Marek Bernát]

A Wolfram Alpha je pekná ukážka toho, čo hovorím. Veľa hypu, výsledok prakticky nulový. Ten systém vidí súvislosti len tam, kde mu ich vložili tvorcovia. Presne ako hovoril kolega vyššie: základom sú ontológie, ktoré má človek v hlave. Dostať ich do programu je vysoko netriviálna úloha.

[deda.jabko]

Dostať ich do programu je vysoko netriviálna úloha.

ja bych byl trochu optimista... napr. u nas se dela na FCA... vicemene, je to docela propracovana teorie, existuji k ni (nove) i velice efektivni algoritmy... ted jenom, aby se nasel nekdo, komu se to bude chtet implementovat do nejakeho search enginu...

[Marek Bernát]

Tak to ja som silný skeptik, ale budem držať palce

[deda.jabko]

obecne, ohledne moznosti data-miningu jsem taky vcelku skepticky... (napr. jak se tu objevuji teorie, ze podle toho jak kdo jezdi metrem, stat pozna, ze nejaky clovek je podezrely... jsou podle me docela blbost)

ale v pripade zindexovani souboru na jednom desktopu bych to tak cerne nevidel...

[Let_Me_Be]

To jsou ciste statisticke metody a ano obcas se najdou velmi podivne korelace.

[Andrej Herceg]

Ked uz hovorime o tom Firefoxe velmi by ma zaujimal fakt, kolko ludi skutocne pouziva tagy pre zalozky pridane vo verzii 3, ktore s touto debatou troska suvisia.

Ja ich používam, ale len občas, keďže ich reálne využitie je minimálne. Síce sa ukladajú, ale rozumne použiť sa nedajú (rozšírenie TagSifter aspoň trochu umožňovalo ich využitie, ale ani to už nefunguje a ani ručné zostavenie záložky pre places nefunguje, pretože vývojári Firefox asi nemajú záujem sprístupniť tú funkčnosť).

[Mazarik]

mozete v nich predsa vyhladavat v adresovom riadku alebo nie? mate najake cislo bugu z bugzilla.mozilla.org pre toto? celkom by ma to zaujimalo..

[petr_p]

Přesně tak to používám. Dřív jsem třídil záložky do stromu. Když to začalo být neúnosné, přišly značky, takže každé záložce přidám několik značek a pak podle nich vyhledávám, protože si fakt nepamatuji, jak se která záložka jmenovala nebo z kterého serveru pochází.

[petr_p]

Tak mě napadlo, že ábíčkové značky, co jsou nad články, by měl redakční systém strkat do /html/head/meta[@name="keywords"] a webový prohlížeč by je mohl odtamtud použít.

[twg]

HandyTag? Má nějaké mouchy, ale umožňuje využít keywords.

Firefox podle mých pozorování k záložce ukládá pouze meta "description", v tomto popisu však nevyhledává.

[petr_p]

To je jedno, jde o systémový přístup, který může využít kdokoliv.

[twg]

Jasně, je to jistě dobrý přístup (a vypadá to, že Abíčko už "štítky" do meta "keywords" dává). Psal jsem jen k možnostem využití těchto "popisků". Firefox to nevyužívá (asi), to rozšíření využití umožňuje.

[default]

velmi by ma zaujimal fakt, kolko ludi skutocne pouziva tagy pre zalozky pridane vo verzii 3

Já nepoužívám ani ty záložky.

[petr_p]

Pokud budeme odlišovat uživatelská data (= co uživateli leze do počítače) a ontologii, tak ontologii stačí „udělat jednou“ (a pak centrálně aktualizovat). Že to bude trvat dlouho? Jistě. Ontologickou databázi, co máte v hlavě stavíte od svého narození. Počítačové implementace samozřejmě vyžadují neskutečné množství práce a pak se licencují za odpovídající neskutečnou cenu.

Pokud jde o tvorbu uživatelských dat (= značkování syrových dat, identifikace údajů), tak určité věci zvládne automat (hlavičky e-mailu), o určité věci se může pokusit (rozpoznávání předmětů na obrázcích), určité věci musí najít a označit uživatel (nejlépe již autor souboru, nikoliv jeho příjemce).

Spoustu věcí lze zautomatizovat, ale dokud je potřeba člověk a ten to odmítá, tak o to asi nestojí a můžeme ho z našeho ideálního světa odstranit.

V okamžiku, kdy uživatel nebude na identifikaci potřeba, protože automaty dokážou vše identifikovat a ontologická databáze zařadit a učící systémy najít v nových datech vzory a aktualizovat jimi ontologickou databázi, tak líný uživatel ztratí potřebu se sémanticky strojů ptát, protože stroje vyřeší vše za něj, protože bude lépe informovány než člověk (doporučuji od Clarka Proti pádu noci). Takže ať na to koukám tak nebo tak, tak pasivní člověk je z hlediska „centrálního mozku lidstva“ nezajímavý, neperspektivní a tudíž vaše otázka postrádá smysl ;)

[Mazarik]

Zaujimava uvaha. Ja som vsak lenivy a predsa si chcem nechat navrhnut nieco podobne tomu, co mam teraz. Viem napr. o sluzbe, ktora Vam doporuci podobnu knihu, o sluzbe, ktora Vam doporuci podobnu hudbu(napr. lastfm), ale stale to musi nikto otagovavat. Kto to podla Vas bude robit? Tvorcovia dat? Kolko roznych takych tagovacich systemov existuje? Ja byt tvorca dat, tak sa na to vykaslem a necham to na niekom inom. Podla mna je pokrok zalozeny na lenivosti, takze v tomto vidim najvacsi problem.

[Kvakor]

Ano, myslím, že práve to je největší problém sémantického desktopu - jen malé množství dat je "přirozeně otagované", takže ten zbytek buďto musí uživatel otagovat ručně. Pokud je uživatel pečlivý a pořádkumilovný*, tak si vše otaguje, jenže podobní uživatelé mají v datech pořádek a věci hledají spíše vyjímečně (leda že to jejich práce vyžaduje). Naopak uživatel-lenoch, který by vyhledávání využil velmi často, protože má v datech chaos a neví, co kde je, se na tagování vykašle, takže stejně nic nenajde.

*Aneb pro plné využití sémantického desktopu nemusíte mít obsedantně-kompulsivní poruchu osobnosti, ale pomáhá to

[nikdo]

sémantický desktop != tagování, to byste to značně redukoval.

[Peto_MiG]

Najväčší problém tagovania je nestálosť softvéru. Človek si napríklad prácne udržuje katalóg CD/DVD, aby po pár rokoch zistil, že softvér, ktorý nakŕmil dátami, sa prestal vyvíjať.

Podobne tagovanie fotiek - kedysi som chvíľu mal snahu ukladať metadáta ku fotkám v GQView, aby som čoskoro zistil, že vývoj programu viazne. Teraz sa všade pchá ten mono bastl F-spot, ale dokedy mu to vydrží?

Takže metadáta áno, ale tak, aby boli platformne a softvérovo nezávislé, a z čo najväčšej časti automatické.

[Andrej Herceg]

Program Geeqie by mal vedieť využívať metadáta GQView.

[astray]

Tyhle nepomuky a strigi zatím každého jen otravují, takže jsem je zakázal. Pro jejich používání bych musel mít svatou trpělivost jako Honza Nepomucký. Ale až to vývojáři dotáhnou do konce, věřím, že to bude bomba.

[Andrej Herceg]

Množstvo potencionálnych nových originálnych efektov (napr. pre kwin) je už pravdepodobne malé, tak treba nájsť novú hračku (opravovanie chýb je strašne nudné). Už sa teším, ako sa začnú objavovať úžasné spôsoby, ako zobraziť tie pozbierané informácie. Ako bolo napísané v iných príspevkoch, často budú tie údaje zbytočné, ale ich zobrazovanie bude určite veľmi kreatívne. :)

[tomash]

Skvely, takze dalsi veci, o ktere nikdo nevi k cemu to vlastne je, co to dela. Jedine co se vi, je ze ti zere CPU a ze v tom jsou chyby. To clovek, aby byl furt ostrazity. Po sra.kach typu beagle (nebo jak se vsechny ty indexatory jmenujou a ten sel aspon odinstalovat), se ted objevi vec, ktera ma snahu delat buhvi co. Vypina se to buhvi kde (killall -9 to resi vzdy), zapina automaticky buhvi odkud (mam KDE 4.3.4 a ta vec se tam spousti). Cili jen dalsi pochybna vec. Ja nevim, proc lidi vymyslej nejaky dalsi shromazdovani informaci. To si to plati google nebo co? Uz na windowsech se indexoval obsah (a byla to prvni vec, ktera se vypinala). Dalsi mrcha, kterou nejspis nikdo nechce. Na linuxu (a unixech obecne) se mi libi jejich pruhlednost a svoboda. Ted to vsechno speje k nepruhlednosti s vecma o kterych nikdo nevi co to dela - typicky dbus, polofunkcnim vecem typu NetworkManager, pochybne fungujiciho pulseaudio a stavu znameho ze sveta windows - "Kdyz nevis co s tim, tak to restartni. Kdyz to nepomuze, preinstaluj". Sakra tak se linux nikdy nechoval - tohle je pokrok?

[Mazarik]

Je to pokrok. Priblizujeme sa k desktopu a beznym uzivatelom ;)

[Michal Vyskočil]

Vypina se to buhvi kde (killall -9 to resi vzdy)

Vypnutí je popsáno v článku.

o kterych nikdo nevi co to dela - typicky dbus, polofunkcnim vecem typu NetworkManager, pochybne fungujiciho pulseaudio

Řekl bych, že já nevím co to dělá != nikdo neví co to dělá. NM a PA dost trpí/trpěly nekvalitou ovladačů, protože mívají tendenci používat funkce, které se předtím obvykle vůbec nepoužívaly a které byly drobátko nefunkční.

a stavu znameho ze sveta windows - "Kdyz nevis co s tim, tak to restartni. Kdyz to nepomuze, preinstaluj". Sakra tak se linux nikdy nechoval - tohle je pokrok?

Není to důsledek typu uživatelů, kteří to radí, než (ne)kvalit software?

[Peto_MiG]

+1

[Josef Kufner]

Btw, zajak dlouho myslíte, že si index googlu uvědomí sám sebe?

[xm]

Konečně se vyplní další z Clarkeových předpovědí, už takhle má na kontě hezké skóre

Viz povídka ...a ozve se Frankestein (Dial F for Frankenstein), která u nás vyšla ve sbírce Zpráva o třetí planetě. Bylo to snad první sci-fi, kde si počítač či počítačová/telekomunikační síť uvědomila sama sebe. Skynet není nic originálního

[vencour]

Máte asi pravdu, Clarke napsal Franknsteina v roce 1964 a Heinlein Měsíc je drsná milenka v roce 1966.

[jozka]

Existuje jeste lepsi povidka

Uz nevim, kdoto napsal, byla to snad jedna stranka, ale nemelo to chybu. Jednalo se o to, ze se postavil supervykonny pocitac a pri slavnostnim uvedeni do provozu ten, co mel tu cest ho zapnout zaroven smel i polozit otaku. Zapnul ho a zeptal se: "Existuje Buh?". Odpovedi byl blesk, ktery natrvalo zatavil vypinac do polohy zapnuto a shury se ozval hlas "Ano, ted uz existuje".

Vyslo to v podobne sbirce, jako byla "Zprava o treti planete", mozna ji mam doma, ale hledejte seno v kupce jehel...

[Marek Bernát]

 

...ale hledejte seno v kupce jehel...

S Nepomukom by to malo ísť ľahko

 

[petr_p]

Šlo to i s Googlem, který našel strukturovaný záznam na Wikipedii, z kteréhožto jsem se dozvěděl autora a název a opět Googlem našel text (i když na povídku je to nějaké useknuté).

[jozka]

To je ono! Ja zkousel hledat fragmenty ceskeho textu, takze jsem neuspel.

Jinak si myslim, ze tomu neschazi nic.

[Vin]

Něco podobného (ale s pokračováním) napsal Harlan Ellison: I Have No Mouth, and I Must Scream. Takový drsnější SkyNET :)

[stativ]

A co teprve hra…

[univerz]

skusil som si to zgooglit ;). zrejme to bude ono> Fredric Brown's single-page story Answer (1954)

[JiK]

Btw, zajak dlouho myslíte, že si index googlu uvědomí sám sebe?

To se snad uz davno stalo, ne? Nebo myslite, ze tu firmu fakt ridi dva zidovsti kluci s nedodelanym doktoratem, jeden z Moskvy a druhy z Michiganu? Tomu snad preci nikdo neveri...

[torvalds_sucks]

KDE is a fucking shit popular mainly among dumb clickoids and other losers.

[Gilhad]

Nejdulezitejsi udaj o Nepomuku aspon pro me je, kde se to da vypnout.
V Gentoo: USE=-semantic-desktop
Skoda, ze i ostatni "ach tak nove a uzasne" veci nejdou takto snadno smest ze stolu :(

[mirec]

Už ide? Mám vždy z overlayu a tam niektoré balíky mali napevno nadrátovanú podporu nepomuk-u (musel som si sám napísať patch, ktorý pridal ifdef-y na správne miesta inak ani nešlo skompilovať).

[honyczek]

Mě by zajímalo, jestli také vývojáři přemýšlí nad zabezpečením těchto technologií. Takhle když by se Vám do krásně zaindexovaného počítače někdo naboural, zjistí ještě více informací o Vašem soukromí, než doposud, bez indexace... Máte o tom někdo zprávy?

[pht]

To se patrně bude řešit až PAK, kolem verze 4.20.x

[Michal Vyskočil]

Takhle když by se Vám do krásně zaindexovaného počítače někdo naboural,

tak si tam může dělat co chce, index neindex.

[Ash]

takže ontologie jsou vlastně k ničemu?

[Michal Vyskočil]

Jako bezpečnostní technologie zcela jistě

[Ash]

Takže jsme se vlastně nic nového nedozvěděli a stále platí původní tvrzení, že pokud se někdo nabourá do počítače jehož uživatel pod vidinou lepší a ještě lepší budoucnosti ruku v ruce s nástroji k tomu určenými pěkně taguje a indexuje každou blbost na svém hardisku, tak pak je snažší se o něm leccos dozvědět.

Pomiňme možnost že pokud se tam někdo nabourá a uživatel NEpoužívá ontologií, tak může po nocích postupně zkopírovat všechna jeho data a prostřednictvím sociálního inženýrství od něj získat i věci které díky NEpoužívání ontologií na disk nezaznamenal, a postupně se třeba i po letech dopracovat k podobným výsledkům JAKO kdyby uživatel býval byl ongologie používal... :S

[belisarivs]

Tuhle logiku jsem nepobral.

Uzivatel pouziva semanticky desktop pro _sve_ pohodli. To, ze se mu tam nekdo naboura je zalezitost neceho uplne jineho.

To bys taky mohl rici, ze uzivatel, ktery pouziva GUI a heslo kratsi nez milion znaku zjednodusuje utocnikovi zjistovani informaci o sve osobe.

[Ash]

Odpověď vizte níže, trochu jsem se tam do vás opřel. Vzhledem k tomu, že sám říkáte že nabourání je záležitost něčeho jiného se ptám, proč tedy diskutujete mimo téma? Proč říkáte obecně známou pravdu že "když se tam někdo nabourá je to problém"? To ví každý, ne?

Otázka zněla, zda je nějaká zvláštní pozornost věnována zabezpečení citlivých dat (která jsou produkována touto technologií) pro případ, že se k nim dostane někdo nepovolaný.

Obecně známou technologií pro ochranu dat, ke kterým se dostane někdo nepovolaný, je jejich šifrování. Lidé šifrují data právě proto, aby "až se tam někdo dostane" to "nebyl tak velký problém" ne "NEmohl si s nimi dělat co chce."

Jsou metadata a index šifrované? Je uděláno něco pro to aby šly snadno šifrovat, bez ohledu na to v jakém stavu je zbytek systému?

[Raduz]

Můžu vědět, jakým logickým pochodem jsi došel ná základě téhle odpovědi k úvaze "takže ontologie jsou vlastně k ničemu?"? To je jako usoudit, že je lepší nevést evidenci ve skladu, protože pokud se k ní dostane zloděj, bude přesně vědět k jakému regálu a do které police jít, aby ukradl předmět o který mu jde. Ovšem evidence se nevede kvůli zlodějům, ale pro lepší přehled právoplatného majitele skladu.

Touhle logikou bys si mohl snadno odvodit i to, že je lepší úplně zrušit počítače, protože v deseti krabicích papírových dokumentů dole ve sklepě se nevyzná nikdo a už vůbec je rychle neodnese, zatímco při útěku s počítačem v podpaždí zloděj snadno a rychle získá vše na jednom místě.

[Michal Vyskočil]

Děkuji, sám bych to nedokázal vyjádřit lépe.

[Ash]

Logika je následující:

otázka zněla, jestli si lidé (vývojáři) uvědomují, že případný útočník "zjistí ještě více informací o Vašem soukromí, než doposud, bez indexace", a zdali jsou ty technologie nějak zabezpečené.

Osobně bych čekal odpověď ano (uvědomují) a zabezpečení je například šifroavný index, nebo je index a metadata umístěn tak, že jej lze snadno zabezpečit jinými prostředky, nebo odpověť ne (neuvědomjí) a žádné extra za bezpeční není, vše je v plaintextu.

Asi je jasné, že když mám (nekryptovaném) disku stopadesát dvd s filmy a mezi tím nějaké informace, které díky tagování a indexování a ontologiím začnou dávat smysl nejen mě, ale i cizím lidem, stálo by za to tato metadata nějak zabezpečit, a kryptovat kvůli tomu celý disk je minimálně diskutabilní a tak podobně.

"Odpověď" (dá-li se to tak nazvat) Michala Vyskočila se sice netýkala vůbec otázky (sic!), ale naznačil, zcela mimo dotaz, že zabezpečování této technologie (např. metainformací) "nemá smysl", protože případný útočník si tam "může dělat co chce, index neindex".

Nevím co tím chtěl kolega říct, vzhledem k tomu že jsem jeho odpověď považoval za mírně hloupou, jsem mu stejně hloupě odpověděl, že když tam útočník může dělat co chce, tak nejspíš je schopen stejně dobře zmapovat a "dát do souvislostí" data na disku a to tak, že k tomu žádné tagování, indexování a ontologie nejspíš nepotřebuje, takže jsou tedy ontologie k ničemu...?

Sám za sebe odpovídám že to není pravda, indexováním, tagováním a aplikací ontologií (což všechno zahrnuje třeba i přidáváním časových značek různým událostem, ukládání těchto informací, zjednodušení hledání těch správných souvislostí mezi jinak roztroušenými daty) opravdu je užitečné, a to nejen oprávněným uživatelům, ale i případným útočníkům, a proto by tyto technologie měly zahrnovat nějakou formu zabezpeční.

To, že "když se tam dostane útočník je to problém" jak naznačil kolega nijak nepopírám, to snad ví i malé dítě. Reaguji tedy pouze na to, jestli mu použití ontologíí KDYŽ UŽ SE TAM DOSTANE bude k něčemu užitečné, a jestli by mu přístup k ním měl být stížen (za sebe odpovídám ano, ano).

[petr_p]

Asi je jasné, že když mám (nekryptovaném) disku stopadesát dvd s filmy a mezi tím nějaké informace, které díky tagování a indexování a ontologiím začnou dávat smysl nejen mě, ale i cizím lidem, stálo by za to tato metadata nějak zabezpečit, a kryptovat kvůli tomu celý disk je minimálně diskutabilní a tak podobně.

Majitel zašifruje index a nechá otevřená zdrojová data (sto padesát DVD). Útočník se zmocní disku a nechá si zdrojová data zaindexovat vlastním nástrojem.

Najděme deset rozdílů mezi majitelovým zašifrovaným indexem a útočníkovým nově spočítaným indexem.

[Andrej Herceg]

Napr. čas kedy tie filmy pozeral, čítal email, s kým a kedy si písal...

[Ash]

Právě že nejde jen o prostoduché indexování, ale za umožnění tagování (informace dodaná uživatelem), časových značek (zpětně nelze znovuvytvořit). Kdyby to bylo tak jednoduché jak naznačujete, tak samozřejmě rozdíl je pouze v tom, že ukrást megový index a pětiterabajtový obsah je cca pět terabajtů dat :D

[petr_p]

Pravda, na temporální logiku jsem zapomněl. Ale klasické statické značky patří do metadat souboru. Do indexu až následně. Třeba abych si mohl dovolit ztratit index, zkoušet konkurenční sémantické stroje nebo soubor i s metadaty někomu poslat. Vůbec mě nenapadlo, že by někdo krmil index a nevěnoval pozornost samotným souborům.

[pht]

Nepomuk to tak dělá, samozřejmě, protože xattr asi není dost sexy.

[petr_p]

Dík za info. Píšu si do diáře o hned po naučit se portugalsky.

Ale příliš optimistický nejsem, z wgetu mě s xattr vyhodili. I když Micah Cowan odstupil, takže bych mohl zákeřně převzít správu a svůj patch si povolit sám :D

[pht]

z wgetu mě s xattr vyhodili

Link?

[petr_p]

gmane.comp.web.wget.general: Extended attribute support

Celá pravda je ta, že Micah měl vizi wgetu jako nástroje pro frontové stahování s možností pozastavit a obnovit činnost, na to potřeboval dostat do wgetu jakousi databázi relací, kam by se všechno ukládalo. A mně řekl, že není starost wgetu spolupracovat, ať se ostatní aplikace naučí jeho databázi a metadata si tahají odtamtud. Na to jsme se trochu pohádali, protože takový wgetocentrický pohled jsem nestrávil.

Teď když Micah odstoupil, tak přiznal, že celý (součástí bylo roztrhat wget na drobné nástroje, které si budou data předávat rourami) to je natolik šílené, že by se to muselo udělat jako úplně nový nezávislý wget 2.

Jinak já ten patch pořád udržuji a na svém desktopu používám, takže jestli je zájem, není problém jej nasadit na poslední verzi wgetu.

[Semo]

Nepomuk to tak dělá...

To znamena, ze uklada do suborov alebo iba pre seba do DB? Preco sa vlastne nerozmohli xattrs, ked univerzalnym sposobom pridavaju metadata ku lubovolnemu suboru?

[pht]

Pro sebe.

Asi ze stejného důvodu proč se nerozmohly ACL.

[honyczek]

to jo, ale nemusí tam najít nic tak závažnýho. v případě indexování chování uživatele to je jeste nebezpečnější, než si přečíst historii v prohlížeči. prostě se tak může dozvědět o uživateli mnohem víc... stejně jako na facebooku :-!

[Michal Vyskočil]

Nesrovnával bych to s facebookem, tam uživatelé vystavují data dobrovolně - investovat do speciální ochrany Nepomuk indexu je zbytečné, když ten největší problém je skutečnost, že se do počítače někdo naboural.

[Ash]

Ale tady se snad srovnávají dva případy:

předpoklad: do počítače uživatele se někdo naboural (předpoklad, s tím prosím nehýbejte jinak mluvíte o koze a my o voze a odporuje to jakékoliv logice)

a) první možnost: uživatel indexuje a taguje

b) druhá možnost: uživatel neindexuje a netaguje

[Michal Vyskočil]

Asi nejlépe můj postoj shrnul Raduz.

[Ash]

To mi přípomímá to Bushovo "nějvětší příčinou kriminality jsou kriminálníci" nebo jak to bylo :)

Myslím že šifrovat data na disku pro případ průniku je zbytečné, protože největším problémem je, že se do počítače někdo naboural.

-- Michal V.

=:-O

[Michal Vyskočil]

Na webu existuje hezká věc s názvem hypertext, díky které není třeba psát komentáře cizích lidí znova. To je vysoce náročná práce náchylná k chybám. A chyby pak vyvolávají dojem, že mi vkládáte do úst/klávesnice něco, co jsem nikdy neřekl/nenapsal.

Zkusím to raději sám, když dovolíte

Myslím, že šifrovat data na disku investovat do speciální ochrany Nepomuk indexu pro případ průniku je zbytečné, protože největším problémem je fakt, že se do počítače někdo naboural, tudíž je nejlepší investovat do zabezpečení celého systému.
-- skutečný Michal V.

Pokusím se to naposledy napsat tak stručně a jasně, jak jenom umím. Extra ochrana Nepomuk indexu je k ničemu, bezpečnější je mít chráněná všechna data.

[Ash]

Mně připadá, že prostě data generovaná Nepomukem nepovažujete za citlivé data, a z toho vychází celá tato vaše teze.

Někdo zase nepovažuje za citlivá data hesla, takže je ukládá v plaintextu, a investuje do ochrany systému. Nemá problém, dokud se mu do systému někdo nabourá. Pak je otázka, zda stále bude hesla považovat za necitlivá data, nebo svůj názor změní.

Takže pokud nejste přesvědčen o citlivosti těch dat, logicky je budete chránit stejně důkladně, jako spamy ve vašem inboxu, své empétrojky a fotky vaší kočky.

Nic proti tomu.

[Espinosa]

> Takhle když by se Vám do krásně zaindexovaného počítače někdo naboural, zjistí ještě více informací o Vašem > soukromí, než doposud, bez indexace

Pokud se vám někdo do počítače nabourá, je uplně jedno jestli je naindexovaný nebo ne. Pokud není, útočník si ho lehce naindexuje sám. U mě trvá indexace uživatelského adresáře < 10min (řádově gigabite relevantních dokumentů).

Disk musí být šifrovaný, jinak máte smůlu. Sni strigi ani Beagle neindexuje zašifrované soubory (ODT, DOC,..) jen jejich jména (stejně jako locate).

[pht]

Pokud se vám někdo do počítače nabourá, je uplně jedno jestli je naindexovaný nebo ne. Pokud není, útočník si ho lehce naindexuje sám.

Bezpečnostními problémy s indexovacími službami se to v historii jen hemží. Program locate se dal znásilnit k odhalení nepřístupných souborů. Existuje známá metodika zvaná Google hacking. Ani neočekávám že strigi bude v něčem lepší.

Navíc nepomuk není jen o indexovaní. Někdo tu vykřikoval, že nepomuku budou postupně všechny aplikace bonzovat co uživatel dělá. Budou k dispozici informace "tento soubor přišel mailem tehdy a tehdy od toho a toho", atd. To je spousta privátních informací k ochraně.

Konečně, jednoho slunného dne nějakou skopovou hlavu napadne, že by ta sémantická data mohli uživatelé SDÍLET...

Disk musí být šifrovaný, jinak máte smůlu.

To může a nemusí pomoct, indexer bude muset mít stále přístup k původním datům, aby něco zaindexoval.

[petr_p]

Zcela neočekávaně tento problém již řeší stávající „hloupé“ statistické (obvykle relační) databáze, které mají vypracované způsoby různého stupně utajení dat, zamlžování odpovědí nebo odmítnutí vrátit příliš úzkou odpověď.

[pht]

To asi nebude v tomto případě moc použitelné.

Dotaz: Chci soubory s tagem "dovolená".

Odpověď: Je jich asi 60%.

[petr_p]

Trochu představivosti: Za prvé sémantické databáze neobsahují obsah souborů z dovolené, takže cizinec by maximálně tak dostal seznam názvů souborů. Za druhé tak, jako jakákoliv víceuživatelská databáze obsahuje řízení přístupu, tak sémantické umí odepřít výsledek pocházející z cizích dat (za příklad si vezměte perlový příznak tainted nebo selinuxové kategorie a systém Bel-La Padula) nebo týkající se cizích dat (například jako systém odmítne vrátit výsledek, který „nesouvisí“ s tazatelem). Samozřejmě, že to je výkonnostní penalizace, ale tak to je všude. Na konec může a (z počátku asi bude) každý uživatel mít vlastní sémantickou databázi.

[pht]

Já znám tu teorii kolem. Ale funguje tohle v nepomuku? (Jak?) Byla to jedna z otázek na KDE team, ale bez odpovědi.

Bel

Bell

[petr_p]

Co já vím? Já to nepoužívám :)

[Michal Vyskočil]

Za druhé tak, jako jakákoliv víceuživatelská databáze obsahuje řízení přístupu

A to přesně Nepomuk není - indexuje to pouze a výhradně data jednoho uživatele. Jediné, co jsem našel ohledně sdílení je nápad push tag clouds on the web. Ale to je pořád sdílení na úrovni dat, nikoli možnost dotazování se na uživatelově počítači.

[petr_p]

Takže problém se redukuje na problém uživatelských účtů a přístupu k souboru s databází. Pak nechápu, co je tu za problém.

[pht]

GOTO 10

[petr_p]

Nerozumím. Buďto k databázi má přístup jen jeden uživatel, pak problém není z definice, nebo se sdílí, ale pak jsem možná řešení naznačil, přičemž bylo poukázáno, že ve skutečnosti se nesdílí, tudíž problém opět neexistuje.

Pokud máte problém s tím, že si uživatel vědomě zaindexuje citlivá data, citlivá data uklidí a někdo mu vykrade index, tak to je problém uživatele, že si nechal zaindexovat něco, co nechtěl, potažmo stupidita indexovací služby, že jí není možné vysvětlit, která data nemá indexovat.

[pht]

Buďto k databázi má přístup jen jeden uživatel, pak problém není z definice

A to zase ne, jelikož i uživatel může mít pro různé programy různá práva k souborům; dejme tomu že prohlížeč webu nebude mít přístup k dokumentům, ale z nějakého úchylného důvodu bude mít přístup k indexeru, takže se bude moct dovědět co máte za soubory.

Neříkám, že taková zranitelnost existuje, nebo že by nešla jednoduše ošetřit. Říkám, že indexer a sémantická databáze k tomu je další kanál kterým můžou proudit data a jen budoucnost ukáže, jestli tím k nějakému problému dojde nebo ne.

přičemž bylo poukázáno, že ve skutečnosti se nesdílí

Jasně, ale zároveň si myslím, že to jednou k takovému požadavku dojde a pak děj se vůle boží.

tak to je problém uživatele, že si nechal zaindexovat něco, co nechtěl, potažmo stupidita indexovací služby, že jí není možné vysvětlit, která data nemá indexovat

Viděl bych to na kombinaci obojího, jednak bezpečnost toho zmetka zatím opravdu asi nikdo neřešil a jednak neexistuje v tomto směru žádná osvěta. Po spuštění je default indexovat všechno co mu přijde pod ruku a pokud se po něm nepídíte, tak vypínač nenajdete.

[Espinosa]

Můžete uvést nějaký konkrétní příklad jak to může být nebezpečné? Že bych se třeba začal bát.

Indexer (file crawler) jednoduše vidí to co vidí aktuálně přihlášený uživatel pod kterým je spuštěn, o nic víc o nic míň. Každý uživatel má svého démona a ten mu indexuje jeho domácí adresář, soubory indexu jsou uložené v ~/.beagle a k souborům indexu má přístup zase jen ten jediný uživatel, takhle je to přednastavené. Uživatelé naindexovaná data nijak nesdílí. Běh indexeru pod rootem je silně nedoporučován. Pokud se vám někdo nabourá do účtu,

V praxi přináší indexer tam maximálně nebezpečí, že odhalí nějaký "zapomenutý" soubor. Například P-čko o kterém jste ani netušili, že ho tam máte, protože vás nenapadlo prohledat jeden starý zapadalý adresář ze studentských let, a co čert nechtěl, přítelkyně se napotvoru překlepla se ve slově "karma" na "kama" a indexer to pravostranně automaticky rozšířil a našel "kamasutra" :)

To je jen takový malý demonstrativní příklad. Já vím, stačilo mít oddělené uživatele a neprozradit svoje heslo, ale to není realistický předpoklad pro domácí laptop.

>> Disk musí být šifrovaný, jinak máte smůlu. > To může a nemusí pomoct, indexer bude muset mít stále přístup k původním datům, aby něco zaindexoval.

Soubory indexu jsou samozřejmě na tom zašifrovaném disku :) Takže kdo se dostane k indexu, dostane se i k samotným datům, takže je to jedno. Předpokládal jsem standardní situaci: zašifrovaný /home a soury indenxu v /home/user/.beagle (.strigi či .kde/nepomuk/strigi).

[pht]

Jak jsem říkal, pokud se na to díváte s granularitou jednoho UID, tak je to zatím "v pohodě" (takhle se na to asi dívají tvůrci), pokud zvýšíte granularitu nebo dostanete nápad sdílet (k obojímuž spějeme) tak začnete mít problém a to jak bez šifrování tak s.

přítelkyně se napotvoru překlepla se ve slově "karma" na "kama" a indexer to pravostranně automaticky rozšířil a našel "kamasutra"

Tady by asi zabrala ta výše zmíněná MLS/PI databáze: pokud byste porno označil jako důvěrné, tak by Vám bez příslušné úrovně přístupu databáze řekla že v tom adresáři jsou fotky zahradního nábytku.

[thingie]

No, takže to mám chápat tak, že běh indexování pořád dokola není vada, ale feature? Zajímavé.

A také. Dejme tomu, že věnuju obrovské úsilí značkování všeho možného, a co s tou databází, pak? Tady je to jeden obrovský binární gigabajtový soubor. Abych byl ochoten se s tím trápit, potřeboval bych jistotu, že cokoliv se stane, tak o nic nepřijdu, a v případě prvního problému (zdravíme firefox) nedostanu krásnou radu, zkuste smazat databázi a udělat novou.

[Espinosa]

To je dobrá poznámka.

Pokud jen indexujete obsah souborů, pak o nic nepřijdete, dáte vygenerovat index znovu. To je naštěstí zcela automatická záležitost.

Pokud aktivně tagujete, pak o ně asi přijdete. A pokud se budou objevovat s novými verzemi KDE rady typu "smažte si celý adresář .kde jinak vám nová verze nebude chodit" pak bych se o ty indexy skutečně bál, hádám, že se ukládají právě do adresáře .kde.

Něco podobného se mi stalo u Digikamu, ten už léta funguje podobně, je to postavení nad SQLite, a o dost tagů jsem přišel. Od nových verzí zapisuje (lze nastavit explicitně i automaticky) tagy a komentáře i přímo do fotky (EXIF, IPTC, XMP), takže i při smazání indexu (databáze tagů) nebo přesunů fotek mezi externími disky nic se neděje, o nic jste nepřišel, lze vygenerovat znovu. Bohužel, jen málo formátů umožňuje ukládat metadata sama do sebe - jpg, png, MSO (?), ODF, ogg (?), matroška (?).

> běh indexování pořád dokola

Bylo myšleno tak, že démon indexer je stále aktivně číhá na změny ve sledovaných adresářích a jen ty pak případně indexuje, pokud rozpozná nový nebo změněný soubor. Alespoň tak funguje Beagle.

[pht]

hádám, že se ukládají právě do adresáře .kde.

Jak vidno z výše uvedeného jsem tyto informace poptával ale bez úspěchu.

[petr_p]

Ogg umožňuje vkládat obecné dvojice (nástroj vorbiscomment), matrjoška na tom určitě nebude hůře.

[J. M.]

Jiné jazykové přehmaty bych nechal být, ale tohle mi nedá - suverénně nejhloupější (a stále nevykořenitelnou) překladatelskou chybou posledních dvaceti let je anglické "pathetic" překládat jako "patetický". To snad autora při psaní muselo trknout, že "pateticky pomalý" je asi docela hloupost. Anglické "pathetic" znamená především ubohý. Je to tedy tedy žalostně pomalé, zoufale pomalé, ne "pateticky pomalé".

[Vlastimil Ott]

Přidávám všudypřítomné inženýry... :-/

[J. M.]

A manažery. Za mých mladých let na Linuxu ještě byli správci oken a správci souborů, dnes to je souborový manažer, okenní manažer, manažer nastavení... A to v lepším případě. V horším pak manager.

[Marek Bernát]

Ja nejak ale nevidím problém. Zrejme to nie je prvé a ani posledné cudzie slovo, ktoré sa stalo natívnym. Navyše tu nejde ani len o gramatiku ale o prachobyčajnú slovnú zásobu, ktorá sa celkom zrejme musí meniť s tým, jak sa mení svet. Chápem isté obavy o to, aby jazyk nezdegeneroval, ale tie sú vcelku nemiestne, pretože už sa tak dávno stalo Jazyk je proste živý a pravopis nemôže byť ničím iným ako pokusom o zachytenie jeho štruktúry v jednom konkrétnom čase. Možno by nebolo od veci, keby bol pravopis verzovaný, tak ako softvér. Potom by sa dalo rozlišovať medzi ľuďmi ako Vy, ktorí používajú stabilnú verziu z roku 1980 a ľuďmi na bleeding edge :-P

[J. M.]

Nejde jen o prachobyčejnou slovní zásobu, ale právě i o tu gramatiku. Stavbu výrazů. Slovosled. Mezi výrazy "souborový manažer" a "správce souborů" je rozdíl nejen ve slově manažer. To druhé je česky, to první je czengličtina, která vznikla prostě tím, že si hloupější člověk neuvědomil, že v angličtině se k dosažení daného významu často staví za sebou slova jinak než je to obvyklé (nikoli nutné, ale obvyklé a přirozené) v češtině, a prostě okopíroval ta slova jak jdou za sebou v originálu. I s tím manažerem.

Angličtina prostě naklade podstatná jména za sebou (např. slovo "window" a "manager"), čeština k tomu používá skloňování. Zatímco v češtině se říká třeba "produkce masa", v angličtině se běžně říká "meat production". To je naštěstí tak starodávný, známý a zavedený pojem, že snad nehrozí, že nějaký frikulín to začne z anglických textů kopírovat do czengličtiny jako "masová produkce". (Mimochodem, stejnou chybu, ale naruby, zase dělají Češi při překladech do angličtiny - se svojí počeštělou anglickou hatmatilkou pak třeba Knize džunglí říkají "Book of Jungle" místo originálního "Jungle Book". Aspoň však nemají tu drzost svoji hloupost či neznalost vydávat za "bleeding edge angličtinu současnosti".)

To jsou hlubší rozdíly než nějaké jedno nové počeštělé slovíčko. To je prostě nepochopení jemnějších rozdílů mezi dvěma jazyky, neznalost toho, jak čeština funguje, často vůbec neuvědomování si toho, že angličtina a čeština jsou dva rozdílné jazyky.

[Marek Bernát]

A čo keď to bude czenglish? To je akože argument proti? Vy si asi neuvedomujete, že angličtina je celkom náhodná spleť saxonštiny, staroangličtiny, francúzštiny, latinčiny a ja neviem čoho ešte a rovnako tak všetky ostatné európske moderné jazyky. Tisíce rokov sa nám tu vyvíjajú a výrazy a tvary sa prelievajú z jedného do druhého. Prečo zrazu musíte mať nad tým absolútnu kontrolu a všetok vývoj zastaviť? Nemám rád túto totalitu, čo nám tu vzniká na všetkých úrovniach Keby to zaviedli pred 2000 rokmi, tak tu dnes máme len gréčtinu a latinčinu, starogermánčinu, keltštinu a nejakú protoslovančinu a nič viac. Desiatky jazykov by vôbec nevznikli. Ste schopný aspoň toto pochopiť? Že pri Vašom dôslednom trvaní na nemennej gramatike by ani žiadna čeština, o ktorej zachovaní tu teraz diskutujete, nevznikla?

[J. M.]

To je velmi relativistický, až nihilistický přístup k věcem, kterým se dá omluvit úplně všechno. Můžu si vynalézt vlastní zpotvořenou hatmatilku se třemi chybami v každém slově a veškeré protesty odpálkovávat tím, že neuznávám jazykovou totalitu, že to je přirozený vývoj.

Ale tohle není přirozený vývoj. Mrzáckou czengličtinou se v naší zemi nemluví. Drtivá většina lidí tady stále mluví česky. Zmrzačenou czengličtinu používá jenom určitá velmi malá skupinka lidí. Malá skupinka lidí neurčuje to, jak se vyvine jazyk pro 99 procent ostatních lidí (když pomineme třeba pár výjimečných literátů, kteří jazyk obohatili o několik nových slov). Budoucí normou se nestane to, co používá jedno procento lidí. A žádný jazyk není po stránce gramatiky, slovosledu, větné stavby a staletých vnitřních zákonitostí od základu překopán během několika let. Čeština nevznikla během pěti let. To za prvé.

Za druhé se nejedná o běžný jazykový projev, ale z velké části překlady z angličtiny. A opět, vývoj jazyka není dán tím, jak někdo nějaký text nešikovně přeloží z jiného jazyka. Jazyk se vyvíjí tím, že je používán, je jím mluveno a psáno. Ani autoři těch překladů sami nemluví až tak, jak zní ty jejich překlady. Takový jazyk nepoužívají v mluveném nebo psaném projevu, kde něco říkají sami ze své hlavy. To jsou z velké části prostě jenom překladatelské neobratnosti a chyby, nikoli živý, reálný, skutečný, existující, používaný jazyk.

Často si pak člověk z těch neumělých překladů dokáže doslova zrekonstruovat originál, i když jej nečetl. Pěkný příklad jsou fanouškovské blogísky, kde autorky překládají články z cizí řeči:

"20letý říká: Jde to oběma způsoby. Nejsme žádní bratři, ale jednovaječná dvojčata. To dělá rozdíl. Byl to pro nás tvrdě pracující rok. Ale máme dobrý čas a to nás dělá šťastnými. Naše babička? Nikdy nebyla na žádném našem koncertě, věřím."

Ne, toto opravdu není přirozený vývoj jazyka. Ani autorka toho překladu není tak blbá, aby v běžném životě takhle mluvila (ani největší exoti neříkají "nikdy tam nebyla, věřím" nebo "to dělá rozdíl"). Jenom prostě neumí překládat.

A nastolené téma tady skutečně je překlad z cizího jazyka a chyby v něm. Takže abych se vrátil k tomu jedinému, co jsem měl původně na srdci (a mrzí mě, že se to téma tak strašně rozrostlo k úplně jiným věcem), je to totéž, jako když v českém překladu člověk vidí spojení "pateticky pomalý". Taky ani nemusí vidět originál, aby viděl, z čeho ta překladatelská chyba (slova ve dvou jazycích stejně vypadající, ale s odlišným významem) vznikla.

[pht]

Evitentně to není jen problém blogísků ;)

Paměť nemohla být "read".

Při zavedení povolit přihlášení.

[Marek Bernát]

Ja nič neospravedlňujem. Len Vám hovorím, že takéto kombinácie nie sú v jazykoch nič nové. Nevzniklo to príchodom internetu, ale deje sa to odkedy jazyky existujú. Ja sa pochopiteľne nebavím o rysoch jazyka, ktoré používa 1% obyvateľov (medzi ktoré patria prekladateľské chyby). Také sa pochopiteľne neuchytia. Ale keď už nejakú gramatickú chybu používa väčšina národa (a slovo manažer namiesto správa určite medzi takéto slova patrí), tak trvanie na gramaticky správnom tvare je choré. Gramatika má IMHO odrážať živý jazyk a nie nejaký jazyk idealistický spred 100 rokov. Stále hovoríte o logike jazyka, ktorá sa nesmie narúšať. To si skutočne myslíte, že niečo také existuje? Že jazyk spontánne sa vyvíjajúci bol schopný dosiahnuť formy, ktorá je matematiky presná až natoľko, aby sa dalo hovoriť o logike? Nechcite ma rozosmiať. Keby niečo také existovalo, tak by nebol problém s automatizovanými prekladmi (ktorý očividne je). Vám ide celkom proste a jednoducho o trvaní na nejakých ad-hoc pravidlách, lebo Vám pripadá, že sú dané odniekiaľ zhora a popisujú dokonalý Boží jazyk. Pritom to nie je nič iné ako neúplný popis jazyka živého v nejakom čase spred x storočí + drobné vylepšenia.

[m;)]

+1

[Michal Vyskočil]

Beru si vaše připomínky k srdci.

[Espinosa]

Proč nepoužili jako backend ověřené CLucene/Lucene? Je to zralý produkt (od 2001) hojně používaný od malých FOSS projektů po nadnárodní korporace. Poctivě dosažená verze 3.0 mluví za sebe. A hlavně, starý verze Strigiho byla postavená také na CLucene a ta fungovala na rozdíl od Nepomuku-Strigiho skvěle. Pravda, trpěla nedostatkem kvalitního UI ještě více než Nepomuk. Uznávám, Lucene není RDF storage manager, ale obecně pojaté úložiště a vyhledávač (reverzní index) ale asi by nebyl problém Lucene přizpůsobit (rozšířit).

Impozantní seznam kde všude se Lucene používá. Tomu ty rychlokvašky Virtuoso, Soprano a Seame & spol nesahají ani po kotníky.

[Michal Vyskočil]

Proč nepoužili jako backend ověřené CLucene/Lucene?

Něco málo je v zápisku Sebastiana Truega, kde popisuje možnost použít Virtuoso. Podle toho, co je tam napsáno to vypadá, že strigi naopak clucene používá pořád, ale dochází k nějakému mapování výsledků z RDF dotazů, či co.

Impozantní seznam kde všude se Lucene používá.

Lucene != clucene, to jsou dva různé projekty. Správný odkaz je Clucene: Powered by. Nicméně v tom seznamu je uvedeno i Soprano, takže nějak dokáže s Clucene pracovat.

Tomu ty rychlokvašky Virtuoso, Soprano a Seame & spol nesahají ani po kotníky.

Pozor, Virtuoso není rychlokvaška, naopak existuje už řadu let. Pouze byla v roce 2006 uvolněna jeho GPL edice (takže by mě zajímalo, za jak dlouho Oracle koupí i OpenLink Software).

[Espinosa]

Tohle mi tam taky chybělo. Pokud by to neumělo formáty MSO, ODF, PDF, je to reálně nepoužitelné. Txt a html pokládám za samozřejmost. Oficiální stránky Strigiho o podpoře DOC a XLS "hrdě" mlčí, ale moje empirická zkušenost je, že jejich obsah indexuje. Bohužel výsledky vyhledávání jsou proti Beagle silně neúplné, tak váhám kde je chyba.

Jinak za články moc děkuji, hlavně v těch backendech a vztahu k RDF jsem si udělal trochu jasno. Po dlouhé době jsem si na Abc přečetl něco kvalitního, přínosného a originálního.