Dotaz: SQL - import csv, rozparsovani a vložení do tabulky

[MrMrkev]

Příloha:

• procedure upload.pdf (18121 bytů)

Dobrý den všem, mám problém s vyřešením jednoho prac. úkolu. Díky tomu, že se v tom nepohybuji a je to jen jednorázový úkol, který je potřeba v brzkém čase vyřešit, tak se obracím na Vás. Jedná se o toto: 1.: Vytvořit web. službu (proceduru), která dovolí nahrát soubor ve formátu .csv. („připravené“) 2.: Dále vytvořit další (navazující) proceduru, která po nahrání daného .csv, toto csv rozparsuje (vždy stejná struktura) a vloží do připravené tabulky na serveru. Věřím, že se pro se bude jednat o banalitu. Bohužel se teprve rozkoukávám a rychlé splácání je nutné. Předem Vám děkuji za případnou pomoc, plavu v tom a potřebuji pracovat na jiných věcech. Jedná se mi hlavně o to rozparsování.

1.: viz. příloha...

2.: Zde jsem ztracen a nevím, jak tuto proceduru uchopit... Našel jsem si např. toto: https://slobaray.com/2014/05/28/loading-csv-files-into-oracle-tables-using-plsql/ , ale o moc moudřejší nejsem.

Struktura .csv, vždy bude: ID (varchar2 – díky číselné řadě a písmennému označení); DatumPočátku (date – zde by měla být i kontrola na validnost data); DatumKonce (date) – data prozatím null * možná se ani vyplňovat nebudou; DatumVložení (date – aktuální datum); Poznámka (varchar2). Vše odděleno „;“

Ještě jednou děkuji za případnou pomoc.

Odpovědi

[xxxxxx]

A co python? To by stačil csv reader, na datum modul time nebo datetime, a na DB asi cx_Oracle (s Oracle zkušenosti nemám, ale vypadá to použitelně). Celý skript by se pak mohl vejít do sta řádků.

[Kit]

Tak moc? V PHP je to tak na 10 řádek, v Pythonu by se do toho měl vejít také.

[xxxxxx]

Tak tazatel psal ještě o kontrole dat, k tomu nějaké ošetření, co vlastně přečte ze souboru, nějaká try-except konstrukce při připojování k db a ono to nad 10 řádků naroste. Ale jinak souhlas, že ten úplný základ by kolem těch 10 mohl být.

[Kit]

Aha, to bude tím. Jsem zvyklý na to, že si databáze data zvaliduje sama. V Oracle to možná bude jiné.

[MrMrkev]

Děkuji, zkusím se na to mrknout.

[jekub]

Doporucil bych vasi pozornosti external tables (http://docs.oracle.com/cd/B19306_01/server.102/b14215/et_concepts.htm). Pouzivam v praxi k pristupu dokonce i k binarnim datum.

[Tomáš]

Oracle dodává nástroj sqlcl. Ten umí nahrávat CSV. Příklad zde. Program sqlcl je napsán v Javě, tak by jej možná šlo přímo použít ve WS.

Parsovat CSV v PL/SQL bude IMHO hodně zbytečné práce.

Osobně tyto věci kóduji v Ruby. Vypadalo by to asi takto:

#!/bin/ruby
require 'oci8'
require 'csv'
con=OCI8.new('user','password','DB')
cmd=con.parse("insert into MyTable values ( :jedna, :dva, :tri, :ctyri, :pet )" )
CSV.foreach('file.csv') { |r| cmd.exec(*r) }

Pokud budte plnit něco jiného než stringy,tak je nutné udělat explicitní bind:

cmd.bind_param(:jedna, r[0], String )
m=r[1].match /(?<den>\d\d).(?<mesic>\d\d).(?<rok>\d\d\d\d)/
cmd.bind_param(:dva, OraDate(m[:rok],m[:mesic],m[:den]), OraDate )

nebo udělat přetypování v prepared statementu

cmd=con.parse("insert into MyTable values ( :jedna, to_date(:dva,'DD.MM.YYYY'), :tri, :ctyri, :pet )" )

Vše nakódováno po paměti bez testování,tak tam budou chybky.