Dotaz: Jak nejlepe prevest data z diskuzniho fora do databaze?

[zdenek2008]

Chystam se zpracovat data z diskuzniho fora kde cilem je vyuctovat cinnost kazdeho ucastnika reklamni kampane. Obvykle se to dela nasledovne (url uvadim pouze pro priklad):

- Uvedou se podminky ucasti a sazebnik odmen: https://bitcointalk.org/index.php?topic=2281443.0

- Ucastnici se registruji v Google Forms

- Odvedenou praci hlasi v Google Forms a/nebo ve foru: https://bitcointalk.org/index.php?topic=2281443.msg24279350#msg24279350

- Vyuctovani se publikuje v Google Sheets: https://docs.google.com/spreadsheets/d/15u1v-YLBRMTL72ayFJnH1Q6u3E-vF-FdSFnXxDYDGJ4/edit#gid=1521726742

Pokud spravne rozumim, tak data o odvedene praci se rucne kopiruji z diskuzniho fora postupne tak jak je tam ucastnici nahlasuji a vkladaji se do prislusnych bunek v Google tabulkach. Pak to asi i rucne prepocitavaji na prislusne odmeny.

Ja mam ucastnicke registrace z Google Forms a hlaseni o odvedene praci z Google Forms a diskuzniho fora. Formulare si muzu libovolne modifikovat, kocirovat hlaseni v diskuznim foru je asi jako udrzet tisic kocek ve stade. Postupne muzou do hry vstoupit i jine zdroje dat, ale zatim jde hlavne o tyto dva.

Chtel bych ten proces nejak zefektivnit a tak jsem uvazoval pouzit SQLite a treba zkusit parsovat to forum (curl + nejaky regex?) tak ze bych mel aspon text hlaseni prirazeny ke konkretnimu ucastniku a treba pozdeji bych z toho textu dal vytridoval jednotlive polozky, napr. kdy co udelal/a, jake ma dalsi podrobnosti atd. a treba i automaticky pocital odmeny. Pak by se dalo mozna pripravit individualni vyuctovani a rozeslat jim to. Nemusi se to cele vystavovat verejne na odiv v Google Sheets.

Na ty vypisy jsem uvazoval o LibreOffice DBase, ale neni mi uplne jasne jestli umi zpracovat SQLite format, nebo neco v Pythonu a prettytables, pripadne bych mohl pouzit Google Sheets jako to delaji ostatni, ale spis bych se drzel radeji te databaze, nez se ucit podrobnosti obsluhy Sheets, navic tam staci udelat omyl jen jednou a vsechna data jsou bud venku, nebo ma verejnost volny pristup k editaci. No a samozrejme muze existovat i nejaky uplne jiny pristup k reseni, tak jsem se chtel zeptat jestli nekdo nevite o necem elegantnejsim? Predem diky za pripadne tipy.

Odpovědi

[Kit]

Asi hledáš Google Sheets API.

[zdenek2008]

Diky, vyzkousim.

[zdenek2008]

Mala poznamka mimo domenu Linuxu: Google Sheet jsem si importoval do SQLite, ale nazvy sloupcu v tom Sheetu jsou presne texty tech konkretnich otazek z Google Forms a SQLite Browser vsechna ta slova spoji dohromady v jeden dlouhy identifikator. Takze jeste resim prekodovani tech nevhodnych nazvu na neco pouzitelneho, napr. "pocet_prispevku" misto "KolikratJstePublikovaliClanekNaVasemBlogu". Ale vyhledat neco v napovede Google je uplna lahudka, to je stejne ptydepe jako u vsech proprietarnich produktu.

[Kit]

Tohle můžeš snadno udělat reflexí, případně si ty sloupce můžeš přejmenovat pohledem.

[zdenek2008]

Diky, vyzkousim.