Linuxové fotonovinky: pokrok ve vývoji programů digiKam, darktable i Rawtherapee

20. 4. 2015 | Michal Janoušek

Články - Linuxové fotonovinky: pokrok ve vývoji programů digiKam, darktable i Rawtherapee  

Tři čtvrtě roku uběhlo od vydání předchozího dílu našeho nepravidelného seriálu o novinkách v linuxových programech (nejen) pro zpracování fotografií. Je tedy nejvyšší čas podívat se, kam se ve svých funkcionalitách posunuly dva nejvýznamnější linuxové programy pro zpracování digitálních RAW souborů. Zejména pro darktable to byly opravdu plodné měsíce.

Rawtherapee 4.2.x.x

Od vydání přelomové verze 4 vývoj programu Rawtherapee poněkud zvolnil. Implementována je valná část „procesní“ funkcionality, program si nijak zásadně nehraje na komplexní nástroj ve stylu Lightroomu od Adobe, jako je tomu v případě darktable, a tak není divu, že od loňského dílu se objevila pouze jedna velká nová verze.

Rawtherapee 4.2, což v aktuálně nejnovější verzi znamená verzi 4.2.178 pro Windows, resp. například verzi 4.2.133-1 („rawtherapee-unstable“) v PPA repozitáři pro Ubuntu od Dariuse Dumy, přináší řadu novinek. Z nich vyzdviháváme obecně zrychlení běhu programu, zvýšení stability a kvality výpočtů a také optimalizace ve využití paměti. Stále platí, že autoři Rawtherapee doporučují s ohledem na paměťovou náročnost 96bit float výpočtů používat 64bitovou verzi, byť 32bitová je též dostupná.

Je zde nový nástroj pro barevné tónování, nastavení redukce jasového šumu pomocí křivky, lepší simulace filmového vzhledu či lepší práce s mrtvými/hot pixely. Program používá ve verzi 4.2 jako výchozí dcraw 9.22 1.467, což znamená podporu řady nových fotoaparátů, zmiňme hlavně přístroje Fujifilm s X-trans snímači. Kompletní přehled novinek následuje:

New features since 4.1
------------------------------
    Powerful color toning tool.
    Curve control of luminance noise reduction.
    Median filter in the noise reduction tool.
    Film simulation tool using Hald CLUT pattern files.
    Command-line option to define bit depth of output TIFF/PNG file.
    Multiple improvements to dead/hot pixel handling, see RawPedia.
    Filename of currently opened image shown in the titlebar.
    Clip control for the flat-field correction tool.
    Demosaic method "Mono" for monochrome cameras, and "None" for no demosaicing.
    Copy/paste processing profile keyboard shortcuts for right-handed users using Ctrl/Shift-Insert.
    Update to dcraw 9.22 1.467
    New or improved support for:
        Canon EOS 7D
        Canon EOS 7D Mark II
        Canon PowerShot G7 X
        Canon PowerShot SX60 HS
        Fujifilm cameras using the X-Trans sensor
        Fujifilm X30
        Hasselblad H4D-31
        Hasselblad H4D-50
        Hasselblad H4D-60
        Hasselblad H5D-40
        Hasselblad H5D-50c
        Mamiya Leaf Credo 40
        Mamiya Leaf Credo 50
        Mamiya Leaf Credo 60
        Mamiya Leaf Credo 80
        Monochrome cameras such as Leica Monochrome
        Nikon D610
        Nikon D700
        Nikon D750
        Nikon D800E
        Nikon D810
        Panasonic Lumix DMC-FZ1000
        Panasonic Lumix DMC-GM5
        Panasonic Lumix DMC-LX100
        Phase One IQ250
        Phase One P40
        Phase One P65+
        Sony Alpha ILCE-5100
        Sony NEX-C3
    RawTherapee-4.2 includes many speed, precision, stability and memory usage optimizations. As such, users of 32-bit operating systems may now find that they can enjoy more stability while using the most memory intensive tools. Of course users of 64-bit systems benefit from this as well. Refer to the full changelog for more information.

darktable 1.6 až 1.6.4

Verze 1.6 programu darktable přišla začátkem prosince 2014. Jako jeden z prvních programů reflektovala novou vlnu nastupujících monitorů tzv. kategorie „hi-dpi“, kterou zastupují zejména LCD monitory s rozlišením typu 3840×2160 či notebooky s rozlišením vyšším než 1920×1080. Program podporuje více než 32bitovou barevnou hloubku a dokáže nově otevřít TIFFy o velikosti až 26770×13383 (~385 Mpix), podobně jakou Rawtherapee autoři varují před takovými operacemi na 32bitovém systému. Vítanou novinkou je nástroj defringe, který slouží k eliminaci jevu „color fringing“ (pro ilustraci může posloužit toto starší video). Excelentní záležitostí je nepochybně nový režim rekonstrukce barev na přepálených oblastech snímku. Ten se nově pokouší při této kompenzaci přepalů rekonstruovat jak barevné podání, tak strukturu. Velký dík za tuto věc patří uživatel a1ex z projektu Magic Lantern. Podrobněji se rekonstrukci přepalů věnuje blogový zápisek na webu darktable. Z dalšího dodejme, že došlo k celkovému zlepšení výkonu mnoha částí programu buď nasazením vícevláknového zpracování, nebo přepisem kódu za využití instrukční sady SSE.

1.6 New features:
-----------------------
general/misc:

    high DPI monitor support
    signed OSX packages
    map view now allows to only show images from the current collection on the map
    slideshow
    darktable-cli now works without a running X server for use on headless systems
    support for audio notes playback
    sticky preview
    added the option to overwrite files when exporting to disk
    crawler that syncs all xmp files on start
    support huge images (> 32 bit pixel index). darktable can open 26770x13385 TIFFs and should in theory be able to process arbitrary sized images. don't try this on a 32 bit system though!
    lens iop presets are copy/pastable between different images

output:

    tiff read/write rewritten, works on 32-bit float now, supports compression
    allow setting PPI for exported JPEGs, defaulting to 300
    pwstorage libsecret
    use HTTPS when exporting to flickr

darkroom:

    new defringe image operation
    automatic mode for levels module
    allow to disable white balance
    new colour reconstruction mode for highlight recovery that tries to add both colour and structure to clipped areas. thanks to a1ex from magic lantern!
    better basecurve tool to create basecurves from raw/jpg pairs
    soft boundaries in sliders (right click and type 8 in exposure compensation for example)
    input colour gamut mapping to avoid problems with saturated blues causing purple artefacts

colour:

    color conversion speedup (openmp for lcms2 case)
    add linear Rec2020 as a build-in profile
    embedded icc profile support for png/tiff (read/write)

lua scripting:

    copy, move, reset and delete images via lua
    handle progress bars via lua
    limited manipulation of libs an views UI via lua
    import and export styles via lua
    trigger lua when the grouping mode changes
    trigger lua when the overlay mode changes
    trigger lua when the active view changes
    manipulate snapshots via lua
    handle more types of preferences, including enums, directories and file names
    lua API is now versioned: use darktable.configuration.check_version to check
    lua API incompatibilities: darktable.modules has been removed, use darktable.new_format and darktable.new_storage to access the constructors

performance improvements:

    many speed improvements by adding sse code for image operations
    make white balance work faster
    make invert work faster
    much faster exr export with optional compression (multicore support)
    speedup of pfm writing
    speedup of amaze. it is still slow but not as bad as it used to be

internal improvements:

    module parameter introspection
    clang/address-sanitizer/etc compiler warnings fixed
    flip iop used for raw auto-orientation (simplifies code)
    complete rawspeed migration for raw loading

bug fixes:

    hdr bracketing fixes
    masks cleanup and bugfixes
    correct lens detection for compact cameras
    avoid clipping in vignette, lowpass, shadows & highlights, a/b channels of colorcontrast and tonecurve

new cameras supported!

    initial support for x-trans sensors
    new demosaicing algorithms: markesteijn for x-trans and vng for x-trans and regular bayer raws
    There is support for several dozens of new cameras, and loads of new noise profiles for denoising have been added. Check out the full list in the release notes on github.

and of course also:

    updated usermanual
    lots of small performance improvements and code cleanup

Verze darktable 1.6.1 přinesla letos1. února několik dílčích vylepšení a podporu nových fotoaparátů, například nejnovější bezzrcadlovky, 28Mpix Samsungu NX1, nebo naopak stařičné zrcadlovky Pentax *istDL, uvedené na trh před 10 lety. darktable 1.6.2 se objevil o pouhý 1 den později a zejména opravoval některé drobnosti a přidával podporu RAWů z dalších fotoaprátů. Na darktable 1.6.3 jsme si následně počkali více než měsíc a opět šlo o menší aktualizaci. Aktuálně poslední verzí je darktable 1.6.4, která přináší aktualizovaný rawspeed, několik oprav a opět podporu dalších fotoaparátů. Zde je kompletní přehled novinek:

darktable 1.6.1:
---------------------
General improvements:

    Hide mouse in slideshow mode
    Show option for txt overlay in the preferences Bugfixes:
    ImageIO format TIFF: use scanline-based I/O. Fixes bug #10230
    exif: always try to use Exiv2's lens detection for Olympus
    demosaic: fix assertion
    Do not deadlock in input color profile on unsupported input profiles
    ensure that quick access preset menu is displayed correctly
    Properly disconnect from the mipmap signal when leaving tethering mode
    Avoid integer overflow on big images
    OSX HiDPI fixes
    Lua fixes

Modules:

    masks: enhance mouse hover detection
    masks: allow smaller radius for circle and ellipse
    spots: fix icon states bug #10216
    spots: rounded correction. Fix bug #10045
    spots: legacy_params(): adapt for latest mask changes
    flip: fix legacy presets update
    exposure: enable soft boundaries for black
    zonesystem: remove stale button_release() callback
    graduatednd: avoid rounding issues for rotation after moving whole line. Fixes bug #10241

Camera support:

    Pentax *istDL
    7D Mark II sRAW/mRAW
    Samsung NX1

White balance presets:

    7D Mark II
    Panasonic DMC-LX7

darktable 1.6.2:
---------------------

General improvements

    Better names for key accels
    Local gallery export limited to useful web formats (JPEG/PNG/WebP)
    Add a way to control the brush size with keys
    Default X-Trans Demosaic to markesteijn (single pass)

Bugfixes

    Fix IPTC Keyword reading for real
    rawspeed: support short values in DNG ActiveArea
    really disable parallel export
    remove special characters from style export
    Cropping aspect ratio fixes (#9942, #10265)
    Some fixes to lua/masks/brushes

Camera support

    Pentax *ist DS
    Pentax *ist DL2
    Pentax K110D
    Sony A7 II
    Sony ILCE-3500
    Nikon 1 S2
    Olympus E-450
    Panasonic LX1
    Panasonic G3 (aspect ratio modes)
    Samsung NX1 blackpoint finetuning
    Fuji X-E1 blackpoint finetuning

White balance presets

    7D Mark II (updated)
    Olympus E-M1
    Sony A99

darktable 1.6.3:
---------------------
Changes

    Make camera import window transient
    Allow soft limits on radius
    Fix soft boundaries for black in exposure
    Change order of the profile/intent combo in export dialog
    Support read/write of chromaticities in EXR
    Allow to default to :memory: db in config
    Add mime handler for non-raw image file formats
    Improved lens model name detection for Sony SAL lenses

Bug fixes

    Fix buffer overrun in SSE clipping loop for highlight handling
    Prevent exporting when an invalid export/storage is selected
    Hopefully last fix for aspect ratios in crop and rotate (#9942)
    No tooltip when dragging in monochrome (#10319)

RAW support

    Panasonic LX100 (missing non-standard aspect ratio modes)
    Panasonic TZ60
    Panasonic FZ1000
    KODAK EASYSHARE Z1015 IS
    Canon 1DX (missing sRAW modes)
    Canon A630 and SX110IS (CHDK RAW)

white balance presets

    Panasonic FZ1000
    Panasonic TZ60
    Panasonic LX100

standard matrix

    Canon Rebel T3 (non-european 1100D)

enhanced matrix

    nikon d750

noise profiles

    Canon EOS 1DX

darktable 1.6.4:
---------------------
General improvements:

    major rawspeed update
    facebook exporter update (first authentication usability should be much better now)
    first run opencl benchmark to prevent opencl auto-activation if GPU is obviously slower than CPU
    lensfun cornercase fixes
    some mask cornercase fixes
    zonesystem now updates it's gui when number of zones changes
    spots iop updates
    ui_last/gui_language should work more reliably now
    internal lua updated from 5.2.3 to 5.2.4 (distro typically use their own version of lua)
    gcc 5 should build now

Camera support:

    Canon Digital Rebel (non-european 300D)
    Nikon D5500 (experimental)
    Olympus E-M5 Mark II (experimental)
    Samsung NX500 (experimental)

White balance presets:

    Sony A77 II
    Fujifilm X-E2
    Olympus E-M5 Mark II

Noise profiles:

    Canon 7D Mark II

updated translations:

    German
    French
    Russian
    Danish
    Catalan
    Japanese
    Dutch

digiKam 4.2.0 až 4.9.0

Nejvíce novými verzemi si od loňského července prošel digiKam. Hned verze 4.2.0 ze srpna 2014 přinesla dvě podstatné novinky, a sice nové zobrazení v levém sidebaru pro rychlé vyhledávání položek s přiřazenými popisky a dále novou volbu zobrazení neotagovaných položek ve stromovém přehledu tagů (už ze samotného popisu plyne, že to do té doby působilo matouce). Za obě novinky vděčíme Mohamedu Anwerovi z Egypta, který se zúčastnil GSoC. Ještě dodejme seznam uzavřených bugů.

K vydání digiKam Software Collection 4.3.0 došlo v polovině září a mezi novinkami se objevila nová volba pro zobrazení všech obrázků z kolekcí, které nemají geolokační informace, nová událost oznamující uživateli, že neběží kio-slace, či nové nastavení akcí, ze kterých lze filtrem vyloučit obrázky bez ratingu (opět vyvinul Mohamed Anwer, na digiKamu trvale pracující). Všechny opravené bugy zde.

digiKam 4.4.0 vyšel 9. října. Přinesl podporu více monitorů pro slideshow a nové klávesové zkratky pro tagy a popisky, on/off správy barev pro zobrazení a náhledy atd. Uzavřené bugy zde.

digiKam 4.5.0 přinesl v polovině listopadu opravy chyb a přípravu na přechod ke Qt5. digiKam 4.6.0 se objevil týden před Vánoci, opravoval spoustu chyb v částech Image Editor a Batch Queue Manager. Opravy zde a zde.

Následně byly Vánoce a Nový rok, tvůrci si trochu odpočali a digiKam 4.7.0 vyšel až 8. února. Opět došlo zejména na opravy chyb a objevil se i návrh patchů od Maika Qualmanna, které měly za úkol udržovat KDE4 verzi, zatímco je v přípravě verze pro „KDE5“. Totéž platí pro vydání digiKam 4.8.0. Opravy zde a zde.

Aktuálně poslední, týden starým vydáním, je digiKam Software Collection 4.9.0. Jak už asi tušíte z principu číslování verzí, opět jde o udržovací vydání opravující nahlášené chyby, zatímco je v přípavě Qt5 verze.

Jak vidno, tak snad jen vyjma darktable se vývoj linuxových programů sloužících (mimo jiné) k úpravě fotografií a zejména RAWů, viditelně zpomalil. Svého času nadějné Photivo dnes už ani nezmiňujeme, jeho vývoj se fakticky zastavil, jelikož dle tvůrců implementuje vše potřebné a zbývající věci buď nespěchají, nebo na ně prostě není čas (u Photivo to znamená mj. nepodporu demosaicingového algoritmu AMaZE. Rawtherapee, zdá se, začíná do určité míry ztrácet ve funkcionalitě v srovnání s darktable. Víte o nějakém dalším velkém programu pro práci s RAWy, který je k dispozici pro Linux a stál by za sledování?

Seriál Linuxové fotonovinky (dílů: 8)

První díl: Linuxové fotonovinky - začínáme, poslední díl: Linuxové foto novinky: pozvolná evoluce.
Předchozí díl: Linuxové fotonovinky: digiKam 4.1.0 předvádí vylepšenou detekci tváří
Následující díl: Linuxové foto novinky: GIMP konečně prolomil 8bit mez

Diskuse k tomuto článku

[Marián Kyral]

Jediná věc, kterou bych v RawTherapee uvítal jsou lokální úpravy. Jinak jsem spokojen. S rychlostí programu nemám na čtyřjádře a se 16GB RAM problém. Hlavním, ale dlouhodobým problémem je nedostatek času

[mirec]

support huge images (> 32 bit pixel index). darktable can open 26770x13385 TIFFs and should in theory be able to process arbitrary sized images. don't try this on a 32 bit system though!

Na akom stroji? Mne to pri skromných 6016x4000 z darktable-cli chce použiť viac než 6GB RAM (čo skončí OOM, mám starý stroj ktorý môžem osadiť len 4GB). Pri spomínanom rozlíšení to vychádza na šialených 90GB RAM!

[mimi.vx]

to neni tak moc ,  a 4GB ? to uz chteji vice i nektere webove prohlizece

[DTJ1960]

DigiKam je skvělý program, který používám již léta (je to dle mne ideální náhrada za windowsovské Zoner Photo Studio). Bohužel mu musím vytknout dvě chybějící funkce.

Po té první volám nejen já, ale na jejich stránkách tuto žádost vznášelo více uživatelů. Jedná o známou funkci z Gimpu a to "klonovací razítko". Pro mě by to neuvěřitelně zvýšilo užitnou hodnotu programu, protože často retušuji skeny starých fotek - musím je bohužel po jedné otevírat v Gimpu - v Digikamu by to bylo určitě pohodlnější (jinak nic proti Gimpu, je to super program, ale tak na hraní s pár fotkama - zpracovávat jich rutině třeba stovku je v DigiKamu rozhodně pohodlnější). Proč se tomu autoři tvrdošíjně brání nevím.

Druhá záležitost už je spíše prkotina. V nástroji na opravu červených očí bych přivítal možnost kruhového výběru místo obdélníku. Takto ta korekce občas udělá z oční panenky obdélník dle výběru :(

Tyto dvě věci kdyby autoři doplnili, byl bych nadšen a zcela spokojen.

[lertimir]

No pro mne funkcionálně má digiKam vše co potřebuji. Lépe řečeno má vše, co potřebuje mít manager galerie se základní editací a úpravami. Na komplexnejší úpravu je tu gimp. Ale dvě věci by mohly být lepší.

1. První je rychlost. To mu vytýkám už léta. A to i občas píšu do jejich blogů. Přechod mezi fotkami v časech cca 0,1-0,2 sec je pořád nereálný. Pokud jsem fotograf a více fotím, tak mi nepomůže koupit hodně paměti, protože digiKam nenačte obrázky dopředu a paměť nepoužije
2. Druhá věc je spolupráce mezi programy. Na widlích existuje špičkový program na práci s RAWy (a trochu i editaci fotek a galerii) DxO od stejnojmenné francouzské firmy a ten kromě to, že je možné ho provozovat jako samostatný program, lze i zakomponovat jako modul do Lightroomu a pak vyvíjet RAWy přes něj. Velmi by se mi líbilo, když by Rawtherapee a nebo DarkTable nebo oba se dohodli s digiKamem na nějakem moduláním interface a bylo by možné fotky vyvíjet přes jeden z nich a galerii provozovat v digiKamu. Je trochu smutné, že komeční firmy se takto dohodnou a v open source to je problém.