abclinuxu.cz AbcLinuxu.cz itbiz.cz ITBiz.cz HDmag.cz HDmag.cz abcprace.cz AbcPráce.cz
AbcLinuxu hledá autory!
Inzerujte na AbcPráce.cz od 950 Kč
Rozšířené hledání
×
dnes 23:11 | Nová verze

Bylo vydáno Eclipse IDE 2019-06 aneb Eclipse 4.12. Nově vychází toto vývojové prostředí čtvrtletně. Představení novinek na YouTube.

Ladislav Hagara | Komentářů: 0
dnes 22:55 | Nová verze

Byla vydána nová stabilní verze 3.10.0, tj. první z nové řady 3.10, minimalistické linuxové distribuce zaměřené na bezpečnost Alpine Linux (Wikipedie) postavené na standardní knihovně jazyka C musl libc a BusyBoxu. Z novinek lze zmínit například iwd, tj. alternativu k wpa_supplicant.

Ladislav Hagara | Komentářů: 0
dnes 15:55 | Nová verze

Byla vydána nová stabilní verze 5.13 multiplatformního toolkitu Qt. Přehled novinek v příspěvku na blogu a na wiki stránce.

Ladislav Hagara | Komentářů: 0
dnes 09:00 | Bezpečnostní upozornění

Mozilla vydala bezpečnostní varování MFSA2019-18 upozorňující na aktuálně zneužívanou kritickou bezpečnostní chybu CVE-2019-11707 ve Firefoxu v Array.pop. Chyba je opravena ve Firefoxu 67.0.3 a Firefoxu ESR 60.7.1.

Ladislav Hagara | Komentářů: 0
dnes 00:44 | Komunita

Konference LinuxDays 2019 proběhne o víkendu 5. a 6. října v Praze v Dejvicích v prostorách FIT ČVUT. Konference OpenAlt 2019 proběhne o víkendu 2. a 3. listopadu na FIT VUT v Brně. Organizátoři konferencí vyhlásili CFP (LinuxDays, OpenAlt). Přihlaste svou přednášku nebo doporučte konference známým.

Ladislav Hagara | Komentářů: 0
dnes 00:22 | Komunita

Vývojáři Ubuntu oznámili, že Ubuntu počínaje verzí 19.10 nebude podporovat architekturu i386. Pro poslední verze Ubuntu nejsou k dispozici instalační média pro architekturu i386. Od verze 19.10 už nebudou k dispozici ani balíčky přeložené pro tuto architekturu.

Ladislav Hagara | Komentářů: 10
včera 22:55 | Pozvánky

Červnový pražský sraz spolku OpenAlt zahájí Jaroslav Tulach z Oracle Labs přednáškou na téma Úvod do GraalVM – nejrychlejšího virtuálního stroje na světě. Následovat bude neformální setkání a diskuse na téma GraalVM. Sraz se koná již tento čtvrtek 20. června od 18:00 v restauraci NaJedli (Radlická 608/2, Praha 5). Akce je volně přístupná (i Go nebo Rust programátorům), ale z kapacitních důvodů prosíme, abyste nám dali vědět, že přijdete –

… více »
xkucf03 | Komentářů: 0
včera 01:11 | Nová verze

Byla vydána verze 2.0.0 svobodného softwaru HAProxy (The Reliable, High Performance TCP/HTTP Load Balancer; Wikipedie) řešícího vysokou dostupnost, vyvažování zátěže a reverzní proxy. Detailní přehled novinek v příspěvku na blogu společnosti HAProxy Technologies.

Ladislav Hagara | Komentářů: 22
17.6. 23:44 | Zajímavý projekt

Na Humble Bundle byla spuštěna akce Humble Book Bundle: Programming by Packt. Za 1 dolar a více lze koupit 5 elektronických knih, za 8 dolarů a více lze koupit 12 elektronických knih a za 15 dolarů a více lze koupit 25 elektronických knih věnovaných programování od nakladatelství Packt.

Ladislav Hagara | Komentářů: 5
17.6. 22:55 | Bezpečnostní upozornění

Bezpečnostní varování NFLX-2019-001 upozorňuje na bezpečnostní chyby v jádrech Linux a FreeBSD v implementaci TCP zneužitelné k vzdálenému DoS nebo kernel panic. V Linuxu se jedná o chyby pojmenované TCP SACK PANIC aneb CVE-2019-11477, CVE-2019-11478 a CVE-2019-11479. V upstream verzích Linuxu 4.4.182, 4.9.182, 4.14.127, 4.19.52 a 5.1.11 jsou již chyby opraveny.

Ladislav Hagara | Komentářů: 1
Jakou verzi jádra Linux typicky používáte na osobním počítači?
 (18%)
 (20%)
 (55%)
 (3%)
 (4%)
Celkem 297 hlasů
 Komentářů: 8, poslední 15.6. 18:14
Rozcestník

Univerzální konvertor dat

1.4.2018 19:42 | Přečteno: 1295× | Linux | poslední úprava: 1.4.2018 19:42

V rámci opáčka Pythonu jsem se podíval, co bych tak mohl naprogramovat a zjistil jsem, že jsem nenašel univerzální aplikaci na konverzi dat. Tak jsem jednu takovou napsal.

Je s podivem, že na tak častou činnost jako je konverze dat, jsem nenašel žádnou aplikaci, která by se lehce přizpůsobila pro jakákoliv data. Je s větším podivem, že je to tak jednoduché. Ukáži vám tedy vlastní implementaci. Zdrojové soubory přiložím v prvním komentáři (pokud mě někdo nepředběhne), v textu se zaměřím jen na ty nejzásadnější věci.

Aplikace se skládá ze dvou částí: První částí je hlavní program, který se stará a parsování příkazového řádku, načtení pluginů, spuštění pluginů a předání data. Druhou částí jsou zmiňované pluginy. Ty se starají o vlastní datové konverze.

Hlavní program

Jak bylo řečeno, hlavní program se stará o "administrativní část". Zběžně kontroluje, zda soubor s pluginem se podaří naimportovat. Dále podle požadavku uživatele vypíše seznam všech pluginů, případně podrobnou nápovědu.

Pluginy se pak postarají o vlastní práci. Máme 2 druhy pluginů.: Vstupní pluginy se starají o načtení dat a výstupní pluginy se starají a uložení. Jeden z nich pak provede i konverzi dat, ale to je na autrovi pluginu.

Soubor s pluginy musí dodržet jisté konvence. Hlavní program je zběžně zkontroluje a případně je spustí a předá jim data.

Vstupní plugin

Jednoduchý vstupní plugin vypadá třeba takto:
#!/usr/bin/env python3

import pickle

description="Unpickle data"
kind="Input"

class Plugin:
    def __init__(self, settings = None):
        self.settings = settings
        
    def Help(self):
        return """Unpickle data.
Settings:
path - (required) path to file where read data."""
        
    def Run(self):
        with open(self.settings['path'], "rb") as fh:
            data = pickle.load(fh)
            return data
Povinné položky jsou:

Výstupní plugin

Jednoduchý výstupní plugin vypadá třeba takto:
#!/usr/bin/env python3

import pickle

description="Pickle data"
kind="Output"

class Plugin:
    def __init__(self, settings = None):
        self.settings = settings
        
    def Help(self):
        return """Pickle data.
Settings:
path - (required) path to file where to store data."""
        
    def Run(self, data):
        with open(self.settings['path'], "wb") as fh:
            pickle.dump(data, fh)
Od vstupního pluginu se liší jen v několika detailech

Výhody

Výhody řešení jsou nasnadě:

Licence, diskuse a závěr

Používejte toto dílo jako Public Domain. Vůbec si s tím dělejte, co chcete.

Program se dá asi vylepšit, ale nemám zase tolik času. Obzvlášť když teď začne být hezky.

Do diskuse si piště co chcete. Nesuďte mě příliš ostře, ten program snad opravdu funguje (testoval jsem).        

Hodnocení: 50 %

        špatnédobré        

Tiskni Sdílej: Linkuj Jaggni to Vybrali.sme.sk Google Del.icio.us Facebook

Komentáře

Vložit další komentář

1.4.2018 19:44 Tomáš | skóre: 30 | blog: Tomik
Rozbalit Rozbalit vše Zdoják
Příloha:
Přidávám zdrojové soubory.

Jeden z pluginů je i unpickle, tak jsem tam přiložil i ukázku zapicklených dat (jako výstupní plugin si nastavte printData).
xkucf03 avatar 1.4.2018 20:10 xkucf03 | skóre: 47 | blog: xkucf03
Rozbalit Rozbalit vše Re: Univerzální konvertor dat

Nechci ti kazit radost z Pythonu, ale v čem je to lepší než:

cat vstupní-soubor.bin | program-1 | program-2 > výstupní-soubor.txt

v Shellu? :-)

Kde program-1program-2 jsou vstupní resp. výstupní „pluginy“.

Mám rád, když se lidé přou, znamená to, že vědí, co dělají, a že mají směr. Frantovo.cz, SQL-DK, Relational pipes
xsubway avatar 1.4.2018 21:53 xsubway | skóre: 13 | blog: litera_scripta_manet
Rozbalit Rozbalit vše Re: Univerzální konvertor dat
On ten shell (třeba bash) je sice už i v MS Windows 10, ale Python bude asi víc multiplatformní řešení.
2.4.2018 13:29 ehm
Rozbalit Rozbalit vše Re: Univerzální konvertor dat
Roury umí snad i cmd.exe.
1.4.2018 23:18 Sten
Rozbalit Rozbalit vše Re: Univerzální konvertor dat
V čem je to lepší? Je to napsané 1. dubna ;-)
2.4.2018 13:27 ehm
Rozbalit Rozbalit vše Re: Univerzální konvertor dat
Pokud to měl být fór, tak mi to taky nedošlo. Trochu marné úsilí možná.
Bystroushaak avatar 2.4.2018 14:51 Bystroushaak | skóre: 35 | blog: Bystroushaakův blog | Praha
Rozbalit Rozbalit vše Re: Univerzální konvertor dat
Autor pluginu se nestará o nudné věci jako parsování parametrů z příkazové řádky.
BTW: Kdysi jsem napsal argparse builder (github), ve kterém si argumenty příkazové řádky jednoduše naklikáš během asi tak minuty. Koukám, že už se to zobrazuje trochu rozbitě, ale pořád funguje, používám ho relativně často :)

Založit nové vláknoNahoru

ISSN 1214-1267   www.czech-server.cz
© 1999-2015 Nitemedia s. r. o. Všechna práva vyhrazena.