Lehký úvod do MongoDB

1. 3. 2010 | Ladislav Thon | Programování | 22067×

MongoDB patří mezi dokumentové databáze, které nemají schéma, ale brzy uvidíte, že přejímá mnoho konceptů ze světa relačních databází. Pro lidi zvyklé na svět SQL je MongoDB pravděpodobně nejsnazší způsob, jak nahlédnout do světa dokumentových databází a nemuset přitom zahodit všechny svoje znalosti. Databázi Mongo využívá například známý server SourceForge.

Obsah

• Vytváření a vyhledávání dokumentů
• Úprava a mazání dokumentů
• Reference
• Závěr

V diskusích pod články ze seriálu o CouchDB jsem často zmiňoval MongoDB jako databázi, která řeší některé problémy mnohem lépe. V tomto článku ji tedy trochu přiblížím – nezvládneme sice popsat tak rozsáhlou část API jako v případě CouchDB, protože Mongo je o poznání rozsáhlejší, uvidíme toho ale dost na to, abychom si udělali rozumnou představu, v čem spočívají jeho silné a slabé stránky.

Nejdřív ale k instalaci: Z webu lze stáhnout zkompilovanou stabilní verzi (1.2.2) nebo vývojovou (1.3.2), s balíčky je to zatím horší. Zdrojový archiv už nějakou dobu obsahuje adresář debian a vytvořit si vlastní balíček pro Debian nebo Ubuntu tak není např. s pomocí pbuilderu žádný velký problém, ostatním bude prozatím stačit, když jednoduše spustí bin/mongod. Použijeme verzi 1.3.2, která je sice vývojová (Mongo používá konvenci sudých minor verzí pro označení stabilních vydání a lichých pro vydání vývojová), ale obsahuje řadu oprav a vylepšení a např. pro sharding je to dnes jediná použitelná možnost.

Mongo funguje jako klasický databázový server, ke kterému se klienty připojují přes síť (obvykle na portu 27017) a komunikují s ním speciálním protokolem (ovšem na portu 28017 najdete jednoduché HTTP rozhraní). Součástí instalace je knihovna pro C++, jako součásti projektu jsou ale vyvíjeny a podporovány i knihovny pro Javu, Python, Ruby, PHP a další jazyky. My si prozatím vystačíme s javascriptovou konzolí, kterou spustíme příkazem mongo.

Vytváření a vyhledávání dokumentů

Jednotlivé databáze není potřeba vytvářet, vzniknou při prvním zápisu. Směle do toho:

> use pokus
switched to db pokus

Aktuální databáze je přístupná jako objekt db, stručnou nápovědu získáte zavoláním db.help().

Databáze se skládá z kolekcí (paralela s tabulkami z SQL je nabíledni). Ani ty není nutné předem vytvářet, stačí do nich zapsat. Kolekce jsou přirozeně součástmi objektu db.

> db.bands.insert({name: "Old Blind Dogs", genres: ["celtic", "folk", "world music"], since: 1990})
ObjectId("4b76ef5780b71853fe6c89b6")
> db.bands.count()
1
> db.bands.find()
{ "_id" : ObjectId("4b76ef5780b71853fe6c89b6"), "name" : "Old Blind Dogs", "genres" : [ "celtic", "folk", "world music" ], "since" : 1990 }

Na kolekci lze také volat metodu help() (a klidně i na neexistující, zkuste db.foo.help()). Nepřekvapí, že Mongo ukládá JSONové dokumenty (uvnitř se ovšem používá BSON, binární serializace JSONu s několika přidanými typy, a velikost dokumentu je omezena na 4 MB), ani že jim automaticky přiřazuje UUID. Jedna věc už však zřejmá není, ale je velmi důležitá: Klientské knihovny kvůli výkonu nečekají na dokončení odeslaných příkazů („fire and forget“) a očekávají, že vše proběhne v pořádku. Je však k disposici bezpečný režim (safe mode), který po každém příkazu volá getLastError a zajišťuje tak, že se o případné chybě dozvíme ihned.

Vidíme ale už jednu zajímavější věc – find? Klasické dotazování není v NoSQL světě zrovna obvyklé, tady Mongo docela vyčnívá a stává se přístupnější lidem z SQL světa. Ať máme trochu víc dat a můžeme si pohrát:

> db.bands.insert({name: "The Pogues", genres: ["celtic", "punk"], since: 1982})
ObjectId("4b76f01480b71853fe6c89b7")
> db.bands.insert({name: "Planxty", genres: ["celtic", "traditional"], since: 1972})
ObjectId("4b76f01480b71853fe6c89b8")
> db.bands.insert({name: "The Bothy Band", genres: ["celtic", "traditional"], since: 1974})
ObjectId("4b76f01480b71853fe6c89b9")
> db.bands.insert({name: "The Chieftains", genres: ["celtic", "traditional"], since: 1962})
ObjectId("4b76f01480b71853fe6c89ba")
> db.bands.insert({name: "The Real McKenzies", genres: ["celtic", "punk"], since: 1992})
ObjectId("4b76f01480b71853fe6c89bb")
> db.bands.insert({name: "Cruachan", genres: ["celtic", "metal"], since: 1992})
ObjectId("4b76f01480b71853fe6c89bc")
> db.bands.insert({name: "Capercaillie", genres: ["celtic", "world music"], since: 1984})
ObjectId("4b76f01580b71853fe6c89bd")
> db.bands.count()
8

Dotazovací jazyk spíš než co jiného připomíná QBE. Je poměrně bohatý, takže ho zde nebudeme popisovat celý (vizte dokumentaci), ale pár příkladů si ukážeme:

// podle konkrétní hodnoty
> db.bands.find({since: 1990})
{ "_id" : ObjectId("4b76ef5780b71853fe6c89b6"), "name" : "Old Blind Dogs", "genres" : [ "celtic", "folk", "world music" ], "since" : 1990 }
// lze používat běžné operátory < ($lt), > ($gt), <= ($lte), >= ($gte) i <> ($ne)
> db.bands.find({since: {$gte: 1990}})
{ "_id" : ObjectId("4b76ef5780b71853fe6c89b6"), "name" : "Old Blind Dogs", "genres" : [ "celtic", "folk", "world music" ], "since" : 1990 }
{ "_id" : ObjectId("4b76f01480b71853fe6c89bb"), "name" : "The Real McKenzies", "genres" : [ "celtic", "punk" ], "since" : 1992 }
{ "_id" : ObjectId("4b76f01480b71853fe6c89bc"), "name" : "Cruachan", "genres" : [ "celtic", "metal" ], "since" : 1992 }
// hledat se dá i v poli
> db.bands.find({genres: "traditional"})
{ "_id" : ObjectId("4b76f01480b71853fe6c89b8"), "name" : "Planxty", "genres" : [ "celtic", "traditional" ], "since" : 1972 }
{ "_id" : ObjectId("4b76f01480b71853fe6c89b9"), "name" : "The Bothy Band", "genres" : [ "celtic", "traditional" ], "since" : 1974 }
{ "_id" : ObjectId("4b76f01480b71853fe6c89ba"), "name" : "The Chieftains", "genres" : [ "celtic", "traditional" ], "since" : 1962 }
// můžeme říct, že chceme jen některé položky
> db.bands.find({genres: "traditional"}, {name: 1})
{ "_id" : ObjectId("4b76f01480b71853fe6c89b8"), "name" : "Planxty" }
{ "_id" : ObjectId("4b76f01480b71853fe6c89b9"), "name" : "The Bothy Band" }
{ "_id" : ObjectId("4b76f01480b71853fe6c89ba"), "name" : "The Chieftains" }

Popis různých operátorů najdete v dokumentaci. Pokud se v tuhle chvíli ptáte, jak to bude s rychlostí v případě velkých databází, uvažujete správně. Mongo zpracovává dotazy poměrně tradičním způsobem: Vytvoří množinu prováděcích plánů, vybere z nich ten nejvhodnější a ten provede. Klíčovým prvkem pro rychlost provádění dotazu je, také tradičně, přítomnost indexů. Existuje pochopitelně i funkce explain – všimněte si zejména položek n a nscanned:

> db.bands.find({genres: "traditional"}).explain()
{
        "cursor" : "BasicCursor",
        "startKey" : {

        },
        "endKey" : {

        },
        "nscanned" : 8,
        "n" : 3,
        "millis" : 0,
        "allPlans" : [
                {
                        "cursor" : "BasicCursor",
                        "startKey" : {

                        },
                        "endKey" : {

                        }
                }
        ]
}

// -1 pro sestupné řazení, 1 pro vzestupné
> db.bands.ensureIndex({genres: 1})
> db.bands.find({genres: "traditional"}).explain()
{
        "cursor" : "BtreeCursor genres_1",
        "startKey" : {
                "genres" : "traditional"
        },
        "endKey" : {
                "genres" : "traditional"
        },
        "nscanned" : 3,
        "n" : 3,
        "millis" : 0,
        "allPlans" : [
                {
                        "cursor" : "BtreeCursor genres_1",
                        "startKey" : {
                                "genres" : "traditional"
                        },
                        "endKey" : {
                                "genres" : "traditional"
                        }
                }
        ]
}

Indexy lze vytvářet i nad více položkami najednou (složené indexy) či takové, které zajišťují jedinečnost dané položky (unikátní indexy). V jedné kolekci lze mít nejvýše 40 indexů, přičemž index nad položkou _id existuje vždy a není možné ho odstranit. Více informací naleznete jako obvykle v dokumentaci.

Určitě jste zaznamenali slovo kurzor. Mongo na dotaz nevrací ihned všechny výsledky, jak by se mohlo zdát z příkladů výše, ale právě kurzor, nad kterým lze iterovat:

// lze používat i regulární výrazy
> var c = db.bands.find({name: /^The.*/})
// teprve teď se skutečně začnou číst data
> c.forEach( function(doc) { print(doc.name); } )
The Bothy Band
The Chieftains
The Pogues
The Real McKenzies

Řazení? Stránkování? I to funguje tak, jak bychom mohli očekávat.

// počet nalezených výsledků
> db.bands.find({name: /^The.*/}).count()
4
// -1 pro sestupné řazení, 1 pro vzestupné, jako u vytváření indexů
> db.bands.find({name: /^The.*/}).sort({since: -1}).forEach( function(doc) { print(doc.since, doc.name) } )
1992 The Real McKenzies
1982 The Pogues
1974 The Bothy Band
1962 The Chieftains
// nejvýše 3 výsledky, a první 3 přeskočit
> db.bands.find({name: /^The.*/}).sort({since: -1}).limit(3).skip(3).forEach( function(doc) { print(doc.since, doc.name) } )
1962 The Chieftains

Úprava a mazání dokumentů

Viděli jsme, že možnosti dotazování jsou poměrně široké. Úpravy dokumentů se provádějí podobným stylem:

// nastavení hodnoty
> db.bands.update({_id: ObjectId("4b76ef5780b71853fe6c89b6")}, {$set: {albums: ["New Tricks", "Close To The Bone", "Tall Tails", "Legacy", "Five"]}})
// přidání jedné hodnoty do pole
> db.bands.update({_id: ObjectId("4b76ef5780b71853fe6c89b6")}, {$push: {albums: "The World's Room"}})
// přidání více hodnot do pole
> db.bands.update({_id: ObjectId("4b76ef5780b71853fe6c89b6")}, {$pushAll: {albums: ["Fit?", "The Gab o Mey", "Play Live", "Four On The Floor"]}})
> db.bands.find({name: "Old Blind Dogs"}, {name: 1, albums: 1})
{ "_id" : ObjectId("4b76ef5780b71853fe6c89b6"), "albums" : [
        "New Tricks",
        "Close To The Bone",
        "Tall Tails",
        "Legacy",
        "Five",
        "The World's Room",
        "Fit?",
        "The Gab o Mey",
        "Play Live",
        "Four On The Floor"
], "name" : "Old Blind Dogs" }

Ve své základní podobě má funkce update dva parametry: Dotaz, stejný jako ve funkci find, a samotný předpis, co a jak upravit. Aktualizace jednoho dokumentu tímto způsobem je atomická. Jednotlivé položky můžeme i mazat:

> db.bands.update({_id: ObjectId("4b76ef5780b71853fe6c89b6")}, {$unset: {albums: 1}})
> db.bands.find({name: "Old Blind Dogs"}, {name: 1, albums: 1})
{ "_id" : ObjectId("4b76ef5780b71853fe6c89b6"), "name" : "Old Blind Dogs" }

Operátorů je samozřejmě víc a jejich přehled najdete v dokumentaci.

Funkce update má dva další, nepovinné parametry: upsert a multi. Slovo upsert je zřejmě kombinací slov „update“ a „insert“, což dává celkem jasnou představu o jeho funkci: Pokud dokument zadaný dotazem existuje, pak ho upraví, jinak ho z dat dotazu a updatu vytvoří:

// třetí parametr je true => upsert
> db.bands.update({name: "Runrig"}, {$set: {since: 1973, genres: ["celtic", "folk", "rock"]}}, true)
> db.bands.find({name: "Runrig"})
{ "_id" : ObjectId("4b7860e762fecfdba45d39e8"), "genres" : [ "celtic", "folk", "rock" ], "name" : "Runrig", "since" : 1973 }

Trochu odbočíme od našeho příkladu: Jedním z použití, pro které je Mongo speciálně navrženo, jsou online statistiky. Upserty jsou zde jasnou volbou:

// $inc je přičtení zadaného čísla k položce
> db.stats.update({page: "index"}, {$inc: {views: 1}}, true)
> db.stats.find()
{ "_id" : ObjectId("4b78633662fecfdba45d39e9"), "page" : "index", "views" : 1 }

Proč se o tom zmiňuji: Mongo má ještě jednu zásadní vlastnost, o které nebyla řeč. Datové soubory jsou vždy mapovány do paměti (mmap), takže je předvedená inkrementace pekelně rychlá (přečtení jedné hodnoty z paměti a zápis na totéž místo). Pochopitelným důsledkem je, že pro větší databáze je nutné používat 64bitový systém, ale to už je dnes snad samozřejmost :-)

Zpět ke kvalitní hudbě. Poslední parametr (multi) umožňuje najednou změnit více dokumentů (ovšem pozor, atomická je změna jen jednoho dokumentu, ne všech dohromady!).

// $in -- hodnota položky musí být rovna jedné z uvedených
> db.bands.update({name: {$in: ["The Chieftains", "Planxty", "The Bothy Band"]}}, {$set: {stars: "6/5"}})
// upraven jen jeden dokument, ten, který databáze nalezla jako první
> db.bands.find({name: {$in: ["The Chieftains", "Planxty", "The Bothy Band"]}}, {name: 1, stars: 1})
{ "_id" : ObjectId("4b76f01480b71853fe6c89b8"), "name" : "Planxty", "stars" : "6/5" }
{ "_id" : ObjectId("4b76f01480b71853fe6c89b9"), "name" : "The Bothy Band" }
{ "_id" : ObjectId("4b76f01480b71853fe6c89ba"), "name" : "The Chieftains" }
// čtvrtý parametr je true => multi
> db.bands.update({name: {$in: ["The Chieftains", "Planxty", "The Bothy Band"]}}, {$set: {stars: "6/5"}}, false, true)
// upraveny všechny dokumenty odpovídající dotazu
> db.bands.find({name: {$in: ["The Chieftains", "Planxty", "The Bothy Band"]}}, {name: 1, stars: 1})
{ "_id" : ObjectId("4b76f01480b71853fe6c89b8"), "name" : "Planxty", "stars" : "6/5" }
{ "_id" : ObjectId("4b76f01480b71853fe6c89b9"), "name" : "The Bothy Band", "stars" : "6/5" }
{ "_id" : ObjectId("4b76f01480b71853fe6c89ba"), "name" : "The Chieftains", "stars" : "6/5" }

Mazání dokumentů pak pro nás bude už procházka růžovým sadem: Funkce remove přijímá jako parametr dotaz a smaže všechny nalezené dokumenty:

// bez dotazu = smazat všechno
> db.stats.remove()
> db.stats.count()
0
// punk'z dead
> db.bands.remove({genres: "punk"})
> db.bands.find({genres: "punk"}).count()
0

Reference

Občas se samozřejmě setkáme s potřebou provázat mezi sebou dva dokumenty ze dvou různých kolekcí. Přestože v našem případě by bylo lepší ukládat alba přímo k jednotlivým kapelám, jak jsme viděli výše, ukážeme si reference právě na tomto příkladě. Mongo definuje konvenci, která slouží právě k tomuto účelu. Jedinou momentální výhodou jejího použití namísto nějaké konvence vlastní je podpora pro automatické dereferencování (na klientu!), takže žádné JOINy z SQL nečekejte.

> db.bands.find({name: "Old Blind Dogs"}, {_id: 1})
{ "_id" : ObjectId("4b76ef5780b71853fe6c89b6") }
> db.albums.insert({name: "New Tricks", band: new DBRef("bands", ObjectId("4b76ef5780b71853fe6c89b6"))})
ObjectId("4b7b1d6bb345126b62fb2230")
// findOne vrátí právě jeden dokument
> db.albums.findOne()
{
        "_id" : ObjectId("4b7b1d6bb345126b62fb2230"),
        "name" : "New Tricks",
        "band" : {
                "$ref" : "bands",
                "$id" : ObjectId("4b76ef5780b71853fe6c89b6")
        }
}
// fetch načte referencovaný dokument
> db.albums.findOne().band.fetch()
{
        "_id" : ObjectId("4b76ef5780b71853fe6c89b6"),
        "genres" : [
                "celtic",
                "folk",
                "world music"
        ],
        "name" : "Old Blind Dogs",
        "since" : 1990
}
// a možná budeme chtít udělat vazbu obousměrnou
> db.bands.update({_id: ObjectId("4b76ef5780b71853fe6c89b6")}, {$push: {albums: new DBRef("albums", ObjectId("4b7b1d6bb345126b62fb2230"))}})
> db.bands.findOne({_id: ObjectId("4b76ef5780b71853fe6c89b6")})
{
        "_id" : ObjectId("4b76ef5780b71853fe6c89b6"),
        "albums" : [
                {
                        "$ref" : "albums",
                        "$id" : ObjectId("4b7b1d6bb345126b62fb2230")
                }
        ],
        "genres" : [
                "celtic",
                "folk",
                "world music"
        ],
        "name" : "Old Blind Dogs",
        "since" : 1990
}

Závěr

MongoDB sice patří do téže rodiny bezschémových databází jako CouchDB, ale zevnitř ani zvnějšku tyto dva produkty příliš podobné nejsou a rozhodně nejsou určené pro tatáž nasazení (vizte též srovnání). Tento úvodní článek pochopitelně není ani zdaleka vyčerpávající (nezmínili jsme například agregace, MapReduce pro dávkové zpracování dat, omezené kolekce, GridFS pro ukládání velkých souborů do MongoDB, provádění uživatelského kódu na straně serveru a řadu dalších věcí), přesto by měl dát čtenáři jistou představu o stylu práce s Mongem.

Vývoj MongoDB zašťiťuje firma 10gen, která je například spřízněna se serverem Business Insider, ovšem asi největším úspěchem je nasazení na serveru SourceForge.

       

Komentáře

[Mystify playboy]

Tak asi nepoznám SQL, keď sa to má podobať

[Ladicek]

Můžu vědět, kde konkrétně píšu, že se to má podobat? Píšu, že Mongo přejímá některé koncepty – možná jsem měl jasně napsat (i když je to IMHO jasně patrné z textu), že nikoliv teoretické (relační model), ale praktické (explicitně oddělené kolekce, dotazy, indexy, optimalizátor, profilování). Jestli vás to zmátlo, tak sorry, ale něco podobného si přečtete i na titulní stránce mongodb.org

[deda.jabko]

pekne, ale kdyby to umelo i transakce, tak by to bylo jeste hezci...

[dark]

Tak tato db mi přijde mnohem sympatičtější než couchdb, možná si i zaexperimentuju Trošku mě ale mrzí, že jádro je pod AGPL. Komerční app bych na takové komponentě nikdy nepostavil, i když driver je pod Apache.

[Ladicek]

Musím se přiznat, že licence jsem nezkoumal. Ale že je samotná databáze pod AGPL mi vůbec nevadí, to se naprosté většiny lidí nikdy nedotkne. Mnohem důležitější mi přijde, že dokumentace je pod Creative Commons. Každopádně díky za doplnění

[Let_Me_Be]

Ale že je samotná databáze pod AGPL mi vůbec nevadí, to se naprosté většiny lidí nikdy nedotkne.

Vazne? S ohledem na fakt, ze to rozhrani neni standardizovane, tak IMHO kazdy program spada do kategorie odvozeneho dila -> musi byt taky AGPL.

[Ladicek]

http://www.mongodb.org/display/DOCS/Licensing

[Let_Me_Be]

Hmm, ta jejich licence je dost divna. Pokud vydavaji ovladace za samostatny program, tak ten tezko muze byt pod licenci Apache. Navic to pak nesedi vuci te tabulce pod tim.

[Ladicek]

IMHO to tak klidně být může. BSON je specifikovaný na http://bsonspec.org/ pod licencí Creative Commons, celá dokumentace k Mongu je taky pod Creative Commons, a napsat ovladač by mělo být možné pouze s informacemi z dokumentace (databázi se posílají příkazy, což jsou vlastně BSONové dokumenty, a jak vypadají je v dokumentaci uvedeno).

[bobek]

MongoDB je pristupne i v Debianim repositari, zatim jenom v unstable.

http://packages.debian.org/sid/mongodb

[Ladicek]

Díky, to jsem nevěděl, taky podle PTS je ten balíček poměrně mladý. Viděl jsem tohle ITP, ale už před nějakou dobou, tehdy tam ještě ta tvoje zmínka nebyla

Když jsme u toho – když jsem si buildil balíček pro 1.3.2, tak jsem musel mazat debian/mongodb.upstart, protože o upstart zatím fakt nestojím. Koukám, že tvůj balíček na něm závislost má. Dá se to nějak řešit? Možná bych měl zase prudit u zdroje

[bobek]

Přiznám se, že jsem upstart moc neřešil, protože pokud neni na systému nainstalovaný funguje mi normálně init.d (osobně upstart nepouživám). Udělal jsem základní testy a fungovalo to dobře. Osobně zvažuju, že upstart z balíčků v Debianu úplně smahnu nebo z toho udělám option.

[alblaho]

Díky za pěkný článek, mám obzory zase o kousíček dál.

Dost užitečné mi přišlo to odkazované srovnání s CouchDB.