Univerzální konvertor dat

1.4.2018 19:42 | Přečteno: 1667× | Linux | poslední úprava: 1.4.2018 19:42

V rámci opáčka Pythonu jsem se podíval, co bych tak mohl naprogramovat a zjistil jsem, že jsem nenašel univerzální aplikaci na konverzi dat. Tak jsem jednu takovou napsal.

Je s podivem, že na tak častou činnost jako je konverze dat, jsem nenašel žádnou aplikaci, která by se lehce přizpůsobila pro jakákoliv data. Je s větším podivem, že je to tak jednoduché. Ukáži vám tedy vlastní implementaci. Zdrojové soubory přiložím v prvním komentáři (pokud mě někdo nepředběhne), v textu se zaměřím jen na ty nejzásadnější věci.

Aplikace se skládá ze dvou částí: První částí je hlavní program, který se stará a parsování příkazového řádku, načtení pluginů, spuštění pluginů a předání data. Druhou částí jsou zmiňované pluginy. Ty se starají o vlastní datové konverze.

Hlavní program

Jak bylo řečeno, hlavní program se stará o "administrativní část". Zběžně kontroluje, zda soubor s pluginem se podaří naimportovat. Dále podle požadavku uživatele vypíše seznam všech pluginů, případně podrobnou nápovědu.

Pluginy se pak postarají o vlastní práci. Máme 2 druhy pluginů.: Vstupní pluginy se starají o načtení dat a výstupní pluginy se starají a uložení. Jeden z nich pak provede i konverzi dat, ale to je na autrovi pluginu.

Soubor s pluginy musí dodržet jisté konvence. Hlavní program je zběžně zkontroluje a případně je spustí a předá jim data.

Vstupní plugin

Jednoduchý vstupní plugin vypadá třeba takto:

#!/usr/bin/env python3

import pickle

description="Unpickle data"
kind="Input"

class Plugin:
    def __init__(self, settings = None):
        self.settings = settings
        
    def Help(self):
        return """Unpickle data.
Settings:
path - (required) path to file where read data."""
        
    def Run(self):
        with open(self.settings['path'], "rb") as fh:
            data = pickle.load(fh)
            return data

Povinné položky jsou:

• textové proměnná 'kind', která obsahuje příznak, že jde o vstupní nebo výstupní plugin (Input nebo Output)
• textová proměnná 'description', která pobsahuje popis pluginu.
• třída 'Plugin'. Název je vždy stejný, rozlišuje se názvem modulu.
• Konstruktor třídy Plugin má nepovinný parametr settings, kam hlavní program pošle dictionary s nastavením, která uživatel napsal na příkazový řádek
• metoda 'Help' třídy Plugin vrátí podrobnou nápovědu k pluginu
• metoda 'Run' třídy Plugin je bez parametrů a vrací objekt, který se předá výstupnímu pluginu

Výstupní plugin

Jednoduchý výstupní plugin vypadá třeba takto:

#!/usr/bin/env python3

import pickle

description="Pickle data"
kind="Output"

class Plugin:
    def __init__(self, settings = None):
        self.settings = settings
        
    def Help(self):
        return """Pickle data.
Settings:
path - (required) path to file where to store data."""
        
    def Run(self, data):
        with open(self.settings['path'], "wb") as fh:
            pickle.dump(data, fh)

Od vstupního pluginu se liší jen v několika detailech

• metoda 'Run' třídy Plugin má jako vstupní parametr data k zaápisu (a přípdně konverzi) a nevrací nic

Výhody

Výhody řešení jsou nasnadě:

• Autor pluginu se nestará o nudné věci jako parsování parametrů z příkazové řádky.
• Lze oddělit práci čtení a zápis dat, můžou vzniknout knihovny na obojí a uživatel si pak přepíná různé pluginy podle potřeby.
• Dá se s tím užít trochu srandy

Licence, diskuse a závěr

Používejte toto dílo jako Public Domain. Vůbec si s tím dělejte, co chcete.

Program se dá asi vylepšit, ale nemám zase tolik času. Obzvlášť když teď začne být hezky.

Do diskuse si piště co chcete. Nesuďte mě příliš ostře, ten program snad opravdu funguje (testoval jsem).        

Komentáře

[Tomáš]

Příloha:

• source.tar (20480 bytů)

Přidávám zdrojové soubory.

Jeden z pluginů je i unpickle, tak jsem tam přiložil i ukázku zapicklených dat (jako výstupní plugin si nastavte printData).

[xkucf03]

Nechci ti kazit radost z Pythonu, ale v čem je to lepší než:

cat vstupní-soubor.bin | program-1 | program-2 > výstupní-soubor.txt

v Shellu? :-)

Kde program-1 a program-2 jsou vstupní resp. výstupní „pluginy“.

[xsubway]

On ten shell (třeba bash) je sice už i v MS Windows 10, ale Python bude asi víc multiplatformní řešení.

[ehm]

Roury umí snad i cmd.exe.

[Sten]

V čem je to lepší? Je to napsané 1. dubna

[ehm]

Pokud to měl být fór, tak mi to taky nedošlo. Trochu marné úsilí možná.

[Bystroushaak]

Autor pluginu se nestará o nudné věci jako parsování parametrů z příkazové řádky.

BTW: Kdysi jsem napsal argparse builder (github), ve kterém si argumenty příkazové řádky jednoduše naklikáš během asi tak minuty. Koukám, že už se to zobrazuje trochu rozbitě, ale pořád funguje, používám ho relativně často :)