Dotaz: XML a grep

[Paulus]

Dobrý den, hledám nějaký konzolový nástroj, který by mi pro XML dovedl vrátit všechny kompletní záznamy, které obsahují hledaný text.

U přiloženého souboru bych chtěl všechny elementy Subjekt, které budou obsahovat konkrétní IČa. (např 72063271 a 65018826). Ale budu hledat i text, který může mít různé tagy.

---

---

Odpovědi

[Paulus]

Příloha se bohužel nenahrála. Je tady tady (600 kB, jsou to open data z obchodního rejstříku).

[d.c.]

Na zpracovani XML grep fakt ne. Daleko pohodlnejsi je pouzit XML parser a XPATH. Priklad v Pythonu:

#!/usr/bin/python3

from lxml import etree

with open('zajzdrpo-full-ceske_budejovice-2021.xml', 'rb') as f:
        root = etree.parse(f)
        print(root.xpath('./Subjekt[ico = 4163311]'))

[Gréta]

víc krásnější je beautifulsoup která taky umí dělat s lxml parserem hele :O ;D

[Gréta]

#!/usr/bin/env python3

from bs4 import BeautifulSoup
import argparse

# suběkt jakoby musí mit všecky iča nebo stačí aspoň jedno??????? :O :O
def najdi_subjekty(subjekty, ica):
    nalezene_subjekty = []
    for sub in subjekty:
        ico = int(sub.find("ico").text)
        if ico in ica:
            nalezene_subjekty.append(sub)

    return nalezene_subjekty


if __name__ == "__main__":

    parser = argparse.ArgumentParser()
    parser.add_argument(
        "-n", "--nazev", help="*.xml co se prohledavaj", required=True, type=str
    )
    parser.add_argument(
        "-i",
        "--ica",
        nargs="+",
        help="všecky ty ica co se jakoze hledaj",
        required=True,
        type=int,
    )
    args = parser.parse_args()

    with open(args.nazev, "r") as file:

        xml = BeautifulSoup(file.read(), "lxml")
        subjekty = xml.find_all(
            "subjekt"
        )  # musíme napsat malý první písmenko do názvu tagu :O :O
        subs = najdi_subjekty(subjekty, args.ica)

        print(f"nalezeno {len(subs)} subektu z celkovyho poctu {len(subjekty)}")
        for sub in subs:
            print("-" * 80)
            print(sub.prettify())

a použije se to jakoby takle třeba

./skript.py -n zajzdrpo-full-ceske_budejovice-2021.xml -i 75138514

[Aleš Kapica]

xgrep, XQilla nebo XMLStarlet.

[Gréta]

cat zajzdrpo-full-ceske_budejovice-2021.xml \
    | relpipe-in-xmltable \
        --relation 'subjekt' \
            --records '//Subjekt[ico="72063271" or ico="65018826"]' \
            --attribute 'ičo'   string 'ico' \
            --attribute 'název' string 'nazev' \
            --attribute 'xml'   string '.' --mode raw-xml \
    | relpipe-out-tabular | less -RSi

[X]

Suggestions: Bylo by mozne to kompilovat jako samostatnou binarku pod nazvem 'relpipe', ktera by byla parametrizovatelna a zahrnovala vsechny varianty? Takovy "I/O svicarsky nuz", ale na datove soubory? Takto, jak je to dlouhe a nasekane na jednotlive komponenty(relpipe-in-xml,relpipe-in-csv..) je zdlouhave na vypisovani, ale:

relpipe -in json .. | relpipe -out csv ..
relpipe --xml ..

bych fakt bral jako hodne super. Zaroven tam nevidim relpipe-in-json. hodou okolnosti XML/CSV/JSON hodne pouzivam a vypisovat to v Python je pro jednorazove ucely otrava. Dobra prace!

[xkucf03]

Bylo by mozne to kompilovat jako samostatnou binarku pod nazvem 'relpipe', ktera by byla parametrizovatelna a zahrnovala vsechny varianty? Takovy "I/O svicarsky nuz", ale na datove soubory? Takto, jak je to dlouhe a nasekane na jednotlive komponenty(relpipe-in-xml,relpipe-in-csv..) je zdlouhave na vypisovani

Teoreticky by šlo udělat nějaký metamodul, který by sesypal všechny zdrojáky dohromady a udělal z toho jednu binárku (za cenu toho, že to přestane být modulární a bude to záviset na všech knihovnách). Ale spíš jsem si říkal, že by to bylo lepší řešit formou skriptu.

Ať tak či tak, v obou případech je trochu problém, jak navrhnout to CLI rozhraní. Když je to rozdělené na vstup, transformaci a výstup a oddělené | rourami, tak je jasné, který parametr patří ke kterému příkazu/modulu. Pokud to bude v jednom, tak můžou některé volby kolidovat, nebude to tak přehledné a asi by bylo potřeba k těm parametrům přidat nějaké prefixy.

Co se týče jednoduchých konverzí z jednoho formátu do druhého, tak mám např. připravený skript 2xml, na který si stačí udělat symlink, např. json2xml, ini2xml, asn12xml atd. A pak má člověk v jednom krátkém příkazu všechno. Bude to zdokumentované v příští verzi. Podobně může vzniknout např. json2csv atd.

Spíš ale očekávám, že si uživatelé budou psát takové skripty ad-hoc podle svých potřeb, protože napsat to univerzálně je dost komplikované (viz výše).

Nechávám to zatím otevřené – pokud se najde způsob, jak to udělat dostatečně univerzálně a zároveň přehledně, tak by takový švýcarský nůž byl fajn.

Zaroven tam nevidim relpipe-in-json. hodou okolnosti XML/CSV/JSON hodne pouzivam a vypisovat to v Python je pro jednorazove ucely otrava.

V té příští verzi (v0.18) bude relpipe-in-yaml a relpipe-in-yamltable a protože JSON lze považovat za podmnožinu YAMLu, ten parser si poradí i s JSONem a budou tam připravené symlinky relpipe-in-json a relpipe-in-jsontable. Ten první očekává pevně danou strukturu (jedna nebo více relací), např.

"x11_input_device":
  "attribute-metadata":
    - "name": "id"
      "type": "integer"
    - "name": "name"
      "type": "string"
    - "name": "type"
      "type": "string"
  "record":
    - "id": 8
      "name": "Power Button"
      "type": "keyboard"
    - "id": 10
      "name": "Logitech USB Trackball"
      "type": "mouse"
    - "id": 16
      "name": "AT Translated Set 2 keyboard"
      "type": "keyboard"

nebo:

{
   "x11_input_device": {
      "attribute-metadata": [
         {
            "name": "id",
            "type": "integer"
         },
         {
            "name": "name",
            "type": "string"
         },
         {
            "name": "type",
            "type": "string"
         }
      ],
      "record": [
         {
            "id": 8,
            "name": "Power Button",
            "type": "keyboard"
         },
         {
            "id": 10,
            "name": "Logitech USB Trackball",
            "type": "mouse"
         },
         {
            "id": 16,
            "name": "AT Translated Set 2 keyboard",
            "type": "keyboard"
         }
      ]
   }
}

A ten druhý (relpipe-in-*table) bere libovolnou stromovou strukturu v daném formátu a umožňuje nad ní pouštět XPath dotazy a vygenerovat jednu nebo více relací. První XPath dotaz vybírá záznamy a další XPath dotazy (relativní k výsledkům toho prvního) pak vybírají atributy těch záznamů. V té v0.18 budou podporované kromě standardního XML i YAML, JSON, HTML, INI, ASN.1, CBOR a MIME (e-mailové zprávy). Ten HTML modul se může hodit k vytěžování strukturovaných informací z různých webů – ten parser přečte i nevalidní a všelijak zprasené HTML, postaví se z toho normální DOM a nad ním už lze kouzlit s XPath dotazy, jak je člověk zvyklý z XML.

Ještě to zbývá trochu doladit a zdokumentovat, ale ve zdrojácích už to je. Předběžný instalační skript: release-v0.18.sh (v Mercurialu ještě není štítek v0.18, takže to bere tip – nejnovější verzi všeho). Pokud to někdo otestuje ještě před vydáním, budu jedině rád.

Osobně ten asn12xml už nějakou dobu používám pro ladění X.509 certifikátů, P7 podpisů, P12 klíčenek (obecně PKI věcí).

Dobra prace!

Díky