Quantian - prostředí nejen pro vědecké výpočty

20. 3. 2006 | Václav Kratochvíl

Články - Quantian - prostředí nejen pro vědecké výpočty  

Vznik Quantianu motivovala touha nabídnout zvýšení výkonu sdíleně prováděných počítačových operací, umožnění pouze dočasného použití počítačových laboratoří nabootováním z DVD nebo ze sítě či umožnění práce v jednotném prostředí s minimální administrací.

Quantian je variantou Knoppixu / Debianu pro numerické a kvantitativní výpočty z oblasti biologie, chemie, matematiky, fyziky i dalších příbuzných oblastí, samokonfigurující se a přímo bootovatelná cd-rom/dvd distribuce, umožňující počítači, toho bootu schopný, stát se plnokrevnou linuxovou pracovní stanicí. Quantian taktéž obsahuje clusterKnoppix a je přidána podpora pro openMossix, rozšíření jádra pro clusterování, včetně vzdáleného bootování tenkých klientů v rámci terminal serveru openMossix přes PXE. Distribuovaný systém lze v Quantianu použít jako "sneaker net" - spouštěním jobů na jednotlivých počítačích a sbíráním výsledků, jako "Beowulf" cluster - prostřednictvím MPI, PVM a dalších metod, které požadují vlastní paralelní kód (lze použít R wrappery), prostřednictvím openMossixu, který zprostředkovává celou nakonfigurovanou síť počítačů jako jako jeden počítač a nevyžaduje explicitní paralelní kód. Dřívější verze Quantianu zůstávají stále dostupné ke stažení. Nyní je dostupná verze 0.7.9.2, ve které je jádro 2.6.12 a KDE 3.5.1.

Stručné souhrné úvodní informace jsou dostupné mj. z DSC2005, Usenixu 2004 a v Politickém metodologovi.

Co najdeme v Quantianu?

Quantian je rozšířením Knoppixu a clusterKnoppixu, ze kterých si bere gigabyty softwaru i plně automatickou detekci a konfiguraci hardwaru. Na rozdíl od Knoppixu jsou na Quantianu umístěny mnohé programy podle zájmu teoretiků i praktiků ve zpracování dat. Přidané mnohostní, numerické a vědecké programy zahrnují:

• Soubor programů pro moderní statistické zpracování a zobrazení dat R, se všemi balíčky z CRANu (kromě neunixových balíčků, jako jsou MimR nebo ROracle, které potřebuje extra knihovny) a BioConductor nabízející početní kapacitu pro zpracování dat genomu. Dostupné verze jsou aktualizované k 25.2.2006, stejně tak jako další balíčky z R repozitáře, s podporou módů Emacs Speak Statistics - ESS pro XEmacs, Ggobi vizualizační program, Rpy - R Python interface, RSPearl, obousměrnou integraci s Perlem, úspěšné JGR - Java GUI pro R, Rserve - nehlavičkový R server, Rpad interaktivní webové rozhraní a počáteční podpora pro RKWard gui pro R.
• Bioinformatické nástroje - jmenovitě project BioConductor, BioPerl, BioPython, ARB a aplikace jako jsou BLAST2, ClustalW, ImageJ a HMMER.
• Octave s mnohými rozšiřujícími balíčky - octave-forge, octave-sp, octave-epstk, Matwrap a Inline::Octave a další maticově zaměřené jazyky.
• Početně algebraický systém Maxima i s X11 frontendovou a emacs podporou, Pari/GP, GAP, GiNaC, YaCaS, Axiom, Mathomatic a Calc.
• Gnu Scientific Library - GSL, obsahující i příklady.
• QuantLib, knihovnu pro kvantitativní a finanční operace, včetně jejího pythonského rozhraní.
• Geografický informační systém Grass.
• Vizualizační systémy OpenDX a Mayavi.
• TeXmacs pro WYSIWYG editory, jako jsou LyX a Kile pro (La)TeX.
• Rozličné moduly Pythonu včetně Scipy - vědeckého a numerického Pythonu.
• Cernlib - množství programů a knihoven z fyzikálních laboratoří CERNu.
• Emulátory Bochs, Wine a QEMU.
• Kancelářské balíky a nástroje OpenOffice.org 2.0 beta, KOffice, Abiword, Gnumeric, Inkscape, Sodipodi, Qcad, Gimp a Xfig.
• Mnohé další programy, jako jsou: A+ pro kritické aplikace, statický analyzer ftnchek pro programy ve Fortranu 77, ARIBAS s funkcemi pro řešení algebraických teorií čísel, euler, GTK+ Equation Grapher pro kreslení grafů, FreeFem pro řešení parciálních diferenciálních rovnic, AutoClass hledající komplexitu systému, modelační Surface Evolver, Dr. Geo pro interaktivní geometrii, Gambit pro analýzu her, interaktivní 3D prohlížecí Geomview, modelační Ghemical pro názorné zobrazování molekul, GNU Linear Programming Kit (GLPK) pro řešení problémů velkých čísel, Gnuplot pro obsluhu souřadnicového zapisovače, tabulka chemických prvků GPeriodic, technicky kreslící gri, Generic Mapping Tools (gmt) pro práci s kartografickými údaji, GNU Regression, Econometrics and Time series Library (gretl) pro ekonomickou analýzu, bitmapový ImageMagick, kreslící editor pro pdf a eps IPE, LAM/MPI Parallel Computing (mpi) pro zasíťování a používání paralelních počítačů, LP-solve pro řešení lineárních problémů, MCL pro práci s řídkými maticemi, MPICH s vylepšenou podporou clusterů, The Massively Parallel Quantum Chemistry Program (mpqc) počítající vlastnosti molekul, multimix pro hledání tříd ve vzorcích, RasMol pro zobrazení makromolekulární struktury, plotutils pro tvorbu 2D grafiky, knihovna PGAPack pro paralelní genetické algoritmy, PSPP pro statistickou analýzu, The Perl Data Language (PDL) pro práci s n-rozměrnými poli, rCalc, SQLite se zero-konfiguračním databázovým enginem, shell tclsh, programovací jazyk Yorick pro simulace či kalkulace, fraktálový zoomer a morpher XaoS a XPPAUT pro řešení deferenciálních a pravděpodobnostních rovnic.

Podrobněji o některých programech

• The Basic Local Alignment Search Tool (BLAST) hledá oblasti místní podobnosti mezi částmi genetického kódu. Program porovnává části nukleotidů nebo proteinů s databází a počítá statistickou podobnost shody. BLAST se používá k identifikaci vztahu funkční a vývojové sekvencí genomu stejně jako k identifikaci genomových kmenů.
• KLogic je simulační program pro kybernetiky.
• Chemici a elektrotechnici by mohli ocenit Kalzium, dosti podrobnou periodickou tabulku chemických prvků.



• Euler nabízí zpracování reálných i komplexních skalárů i vektorů, programový jazyk s lokálními proměnnými ai funkcemi, dvou a tří rozměrné grafy, animace, numerické integrování i diferencování, statistické funkce, diferenciální rovnice, interpolace i aproximace, rychlou Fouriérovu transformaci i postscriptový výstup a další funkce.



• Praat je program pro analýzu a syntézu řeči. Dokáže extrahovat z daného zvuku spektrogramy, kochleogramy, formanty i pauzy, zvládne artikulační syntézu jakož i používání fonetické abecedy. Pro komunikaci s dalšími programy obsahuje vlastní skriptovací jazyk.

Vychytávky z Knoppixu zůstávají i v Quantianu

• Samokonfigurující nastavení grafiky, zvuku, disků, sítě a pomocných zařízení, které nemá obdoby.
• Poslední verze KDE, v současnosti 3.5.1.
• Vybavení GNU vývojovým prostředím - gcc 3.3, gcc 3.4, gcc 4.0, g77, g++ včetně gcj. Přítomný je též KDevelop, DrScheme, Quanta, Guile a pro správu projektů Cervisia.
• Perl a Python se spoustou doplňků, k tomu další jazyky, jako je ruby, tcl a Lua.
• Nejen editory Emacs a Vim, ale i Kate, JED, NEdit a Zile.
• Kancelářské nástroje Gnumeric, Koffice se znovu přidaným OpenOffice.org.
• Balíček síťových utilit pro přístup přes drát i bezdrát, GPRS i UMTS, síťově vymezeno přes ethernet, isdn i dial-up.
• Kompletní teTex Tex / LaTeX nastavení pro vědecké publikování společně s wysiwyg frontendy jako jsou Kile a LyX / LyX-Qt, preview mód pro emacs editory,další nejen bibtexové nástroje, jako třeba prosper, pdfscreen a beamer.
• Z Kanotixu je doplněna podpora pro použití televizních karet s bttv čipsetem prostřednictvím xawtv a AleVT.

Nastavenou konfiguraci Quantianu lze uložit, v mém případě na flashku, pak ji lze při bootu načíst zadáním knoppix myconfig=/dev/sda1.

Drobné osobní poznámky

Při bootu jsou nabízeny volby mj. fb1280x1024, fb1024x768, fb800x600, je možné nastavit národní prostředí, vybrat si při startu wm z icewm, fluxbox, kde a twm, při 1GB++ RAM do ní vše nakopírovat, zapnout/vypnout DMA, zvolit podporu brailova písma, vybrat runlevel, otestovat médium v cd/dvd mechanice, otestovat paměť. Množstvím softwaru mne uchvátil. I taková hloupost, jako je učení se psaní na stroji, je v Quantianu obsažena (KTouch). Mapu oblohy nabídne Kstars - viz obrázek, dokáže i simulovat pohyb planet v naší Sluneční soustavě. V možnostech simulace je Celestia možná ještě dál. Internetová rádia zvládne Kaffeine. Jediné, co mi chybí, je htop (lze jej ovšem apt-getnout). Při hledání podkladů k Calcu jsem narazil i na stránku o Mersennových prvočíslech. Také jsem objevil staré pravidlo, že není pěkné jen to, co se třpytí, má lákavé gui a tak, například zmiňovaný autoclass hledá souvislosti v datech samotných, používá Bayesovskou klasifikaci systémů.

Používání takovéto distribuce mi přijde vhodné i pro začátečníky, budou jako já překvapeni, co vše pěkné už v open softwaru je. Přímo z menu lze spustit ssh, sambu a nx servery. Hračičkové by mohli ocenit přítomnost slušného počtu her, jmenovitě najdou Kgalaxa, Frozen-bubble, KAsteroids, Enigma, Monopoly, KAtomic, Tetravex.

Čerpáno z: Quantianu a Penguina, který mne na stopu Quantianu přivedl a tímto bych mu chtěl i poděkovat.

Diskuse k tomuto článku

[Cubic]

jako dobre, ale proc je na zacatku jako prvni ta fotka chromium? :)

[Vlastimil Ott]

Ilustrační fotka. Použil jsem všechny shoty, které autor dodal, a nechtěl jsem je všechny dát na konec.

[Jan Švec]

Tak nevím, zda autor poněkud nemluví z hladu, ale GLPK určitě není program pro řešení problémů velkých čísel, ale program pro řešení rozsáhlých úloh lineárního programování. Gnuplot určitě není program pro obsluhu souřadnicového zapisovače, nýbrž program pro vykreslování 2D a 3D grafů.

V části Podrobněji o některých programech se dozvíme podrobný popis KLogic je simulační program pro kybernetiky. Nevím co je na tomto popisu podrobného. Ani nevím, proč by KLogic měl být předsnostně určen kybernetikům.¨

Nakonec proč se autor tolik rozplývá nad obsaženými hrami včetně několika screenshotů, když se jedná o vědeckou distribuci? Proč nepoví, které nástroje v distribuci chybí apod. Osobně třeba bych postrádal nástroje typu GMTK nebo HTK, ty ale vzhledem k licencím není možné zahrnout do distribucí. Ale co nějaká náhrada?

[stanka]

Každý to vidíme jinak milý pane,mě se to co tu píše autor velice hodí.

[vencour]

Autor se hlásí a děkuje za kritiku

Výklad GLPK je špatně přeložený text (package for solving large-scale linear programming).

GnuPlot je program ... to samé , vim, že je na grafy, ale zmátl mne text "is a portable ... plotting utility ...".

KLogic jsem zkoušel, nabízel mi skoro stejné možnosti, jako jsme brali na Teorii řízení v Plzni u analogového počítače Meda-t, akže jsem ho popsal jako program pro kybernetiky.

Něco o hrách jsem přidal pro zdůraznění, že i pěkné hry jsou v linuxu.

Co v Quantianu není a nemohlo tam být, to zjistim časem. Zjistil jsem, že takové distro je a bylo mi divné, že se o něm na AbcL nepíše.

[Kyosuke]

Jistě, a "plot" je přece "graf"...

[Jan Švec]

Ano, chápu tě, moje kritika vycházela právě z mých zkušeností v Plzni na FAV - studijní program Kybernetika. Právě že logické obvody jsem potkal pouze u doc. Tůmy na Teorii řízení (pokud nepočítám předchozí předmět Číslicová technika na SPŠ a VOŠ Písek). Proto mi bylo divné, proč by ho měli upřednostňovat především kybernetici. Myslím si, že těm by se měl hodit především nástroj podobný Simulinku (tj. pro spojitou simulaci).

[vencour]

P.S. Mnou navrhovaný nadpis zněl Quantian navždy , čili líbí se mi jako univerzální řešení na (skoro?) vše.

[Isah]

Mně se ten článek líbí. Quantian vyzkouším, nabízí opravdu mnoho možností a to i pro začítečníky. Jasně, machři všechno zkritizují třeba s těmi hrami je to asi takhle :"Hračičkové by mohli ocenit přítomnost slušného počtu her, jmenovitě najdou Kgalaxa, Frozen-bubble, KAsteroids, Enigma, Monopoly, KAtomic, Tetravex..." Nevnímám, že by byl autor exaltovaný z množství her.

[Jiří (BoodOk) Kadeřávek]

Jen mala oprava jinak dobreho pocinu, s/Mossix/Mosix/g

[Kyosuke]

Mossix, není to ten tajný izraelský OS?

[vencour]

Teď se mi konečně podařilo Quantiana i spustit po instalaci (knoppix-installer) z disku. Nesedělo mu něco mezi lilo/ne reiserem/kernelem, Knoppix sám používá grub, při instalaci na harddisk je nabídnuta možnost vytvořit bootovací disketu, to jsem odmítl, jádro Quantianu (2.6.12) jsem nakopíroval do /bootu, upravil lilo a nic ... hrál jsem si se změnou file systému a nakonec mi naběhl s mym vlastnim 2.6.15, ale teprve až jsem nakopíroval i /lib/modules k němu na partišnu.

Bohužel je dost textů v menu atd. v němčině (na rozdíl od live verze na dvd!?), snad to jde změnit, až zjistim jak, dopíšu.

[vencour]

Ohledně němčiny/angličtiny jsem snad něco našel.

[vencour]

Tak s tim návodem jsem neuspěl, žádné preference jsem nenašel, ale aspoň tam byl tip, že to lze při bootu live distra změnit. Tudíž jsem zapátral po disku, našel staré lilo.conf na hda9, z toho dopsal do aktuálního "lang=en" do příslušné části, čili append="lang=en resume=/dev/hda9 splash=silent". Dokonce mi zbyly uložené sešny od terminálu s německým popisem

[Jan Samohýl]

Zajímalo by mě - jsou všechny ty balíčky v Debianu, nebo to obsahuje něco navíc?

[vencour]

Je toto dostatečnou odpovědí? (I (namátkou) yorick, který není zdá se v deb dostupný, lze přes apt-get stáhnout.) Tj. zřejmě toho obsahuje více, než je běžně dostupné.

cat /etc/apt/sources.list
# /etc/apt/sources.list for Knoppix
# If you want to do a "full upgrade", you should first
# upgrade the Packages from Debian/unstable (KDE & Co.)
# before doing a (dist-)upgrade for Debian/testing.
#
# See sources.list(5) for more information, especialy
# Remember that you can only use http, ftp or file URIs
# CDROMs are managed through the apt-cdrom tool.

# Security updates for "stable"
deb http://security.debian.org stable/updates main contrib non-free
deb http://security.debian.org testing/updates main contrib non-free

# Stable
deb http://ftp.de.debian.org/pub/debian stable main contrib non-free

# The non-US branch doesn't exist anymore since sarge. -KK
# deb http://ftp.de.debian.org/pub/debian-non-US stable/non-US main contrib non-free
# deb-src http://ftp.de.debian.org/pub/debian-non-US stable/non-US main contrib non-free
# deb-src http://ftp.de.debian.org/pub/debian-non-US testing/non-US main contrib non-free
# deb http://ftp.de.debian.org/debian-non-US unstable/non-US main contrib non-free
# deb-src http://ftp.de.debian.org/debian-non-US unstable/non-US main contrib non-free
# deb http://ftp.de.debian.org/pub/debian-non-US testing/non-US main contrib non-free

# Stable Sources
# deb-src http://ftp.de.debian.org/pub/debian stable main contrib non-free

# Testing
deb http://ftp.de.debian.org/pub/debian testing main contrib non-free

# Testing Sources
# deb-src http://ftp.de.debian.org/pub/debian testing main contrib non-free

# Unstable
deb http://ftp.de.debian.org/debian unstable main contrib non-free

# Unstable Sources
# deb-src http://ftp.de.debian.org/debian unstable main contrib non-free

# Experimental
deb http://ftp.de.debian.org/debian ../project/experimental main contrib non-free

# Experimental Sources
# deb-src http://ftp.de.debian.org/debian ../project/experimental main contrib non-free

# ndiswrapper source
deb http://ndiswrapper.sourceforge.net/debian ./

# KDE 3.4 (not in sarge)
# deb http://pkg-kde.alioth.debian.org/kde-3.4.1/ ./
# deb-src http://pkg-kde.alioth.debian.org/kde-3.4.1/ ./

# Unichrome graphics driver
# deb http://www.physik.fu-berlin.de/~glaweh/debian/ unichrome/
# deb-src http://www.physik.fu-berlin.de/~glaweh/debian/ unichrome/

# NX stuff
# deb http://www.kalyxo.org/debian/ experimental main
# deb http://www.kalyxo.org/debian/ unstable main

# ndiswrapper
# deb   http://rigtorp.se/debian unstable/
# deb-src       http://rigtorp.se/debian unstable/

# Blades Repository (pppoeconf & co)
# deb http://people.debian.org/~blade/testing ./
# deb-src http://people.debian.org/~blade/testing ./

# deb cdrom:[Debian GNU/Linux 2.2 r3 _Potato_ - Official i386 
        Binary-1 (20010427)]/ unstable contrib main non-US/contrib 
           non-US/main

# Knoppix special packages resource at LinuxTag HQ
# deb http://developer.linuxtag.net/knoppix ./
# deb-src http://developer.linuxtag.net/knoppix ./

# deb http://snapshot.debian.net/archive pool gcc
# deb-src http://snapshot.debian.net/archive pool gcc

# From the Kanotix archives
deb http://kanotix.com/files/debian/ ./
# deb-src http://kanotix.com/files/debian/ ./

# Packages from ubuntu. CAUTION, they don't mix well with Debian
# deb http://de.archive.ubuntu.com/ubuntu hoary main universe multiverse
# deb-src http://de.archive.ubuntu.com/ubuntu hoary main universe multiverse

[vencour]

Zadařilo se mi koupit IBM Thinkpad R51E, Quantian detekoval snad vše a vesele maká .

[vencour]

Pro prohlížení zabezpečných html stránek v mozille nutno apt-getnout "mozilla-psm".