Konec všem skriptům, přichází...

26.1.2010 08:59 | Přečteno: 2142×

Každý občas přijde do styku s něčím, co by se dalo automatizovat. Ti, co ví, jak na to, si napíšou skript. Ti, co neví, klikají dál. Jejich logika se stejně redukuje na něco typu "najdi tlačítko OK, klikni na něj, najdi ikonku zebry, ...", znáte to.

Existuje něco, díky čemu by táto druhá skupina mohla počítač přesvědčit onu automatizovanou činnost dělat?

Skupina Tchajwanských studentů na MIT vyvinula něco, co se jmenuje Sikuli. Doporučuji si shlédnout to video, přeci jen se jedná o vizuální metodu. V dalším se už přímo zaměřím na pár poznámek, co bych k tomu měl.

• Zdá se mi to nějaké pomalé. Nejen ta editace (to by určitě šlo nějak vylepšit, klidně heuristikou ze záznamu celé akce), ale i samotné provádění. Teda pevně doufám, že je to tak zpomalené ne proto, že to nějakou hrubou silou páruje obrázky, ale spíš proto, že za každým úkonem to čeká, aby se to dobře prezentovalo.
• Údajně je to schopné odhalit i drobné zmeny, například v uživatelském rozhraní. Dobře, ale co třeba, pokud je hlavní částí skriptu kliknutí na velký tlustý nápis OK? Co když tam bude v nějaké lokalizaci "Budiž"?
• Zase v komentářích na YouTube zaznělo skutečně užitečné použití -- pokud se to spustí v separátním X serveru (nebo jak se tomu na Mac OS X říká), může to být naprogramované na hraní online Blackjacku, i když je ten Blackjack třeba ve flashi. Není nad praktické použití.

Co vy? V čem napíšete svůj příští skript?        

Komentáře

[amigapower]

...v kriminále

[Max]

Díky za info, je to určitě zajímavá věc. Ale zdá se mi to jako velká prasárna. Využití bych viděl opravdu v něčem trochu jiném, než ve skryptování za účelem systémových změn apod.
Zdar Max

[Jan Zahornadsky]

To ani já, ale doufám, že administrátoři nejsou vůbec cílovou skupinou Na druhou stranu by mě zajímalo (zatím jsem to netestoval), jestli to třeba překousne GUI rozdíly řekněme firefoxu ve Windows a na Linuxu nebo (trochu divočeji, ale proč ne) OpenOffice a Microsoft Office. Vždyť to umí vyhledat a kliknout na "Soubor -> Uložit" ať je to kde je to.

[Milan Lajtoš]

Fíha, niečo podobné som prednedávnom hľadal, či niečo také už neexistuje. Díky za tip!

[Amarok]

Skripty budu nadale psat jako skripty, v tom mam jasno. Ten Sikulka mi prijde dobry spis pro tutorialy, aby uzivatel videl, kde ma co nastavit, a rovnou to za nej nastavi. Jsem stejne jako ty skepticky pri zmene vzhledu tlacitek, umisteni tlacitek, zmeny popisu tlacitek atd., to aby se vsechny skripty pak predelavaly. Pokud se tohle riziko nejak rozumne odchytne, tak je to hodne pekna vec, jejiz uplatneni si dovedu predstavit napr. nekde v Ubuntu, kde je nejvic klikacich uzivatelu.

Hodne mi to pripomina jeden program pro Win asi pred 10 lety, daly se v tom "skriptovat" jednoduche 2D hry, vse to bylo klikaci.

[Michal Kubeček]

To mi připomíná, že jsem kdysi plánoval napsat si automat na hraní Minesweepera, ale nikdy jsem se k tomu nedostal… :-)

[pht]

Jsem stejne jako ty skepticky pri zmene vzhledu tlacitek, umisteni tlacitek, zmeny popisu tlacitek atd., to aby se vsechny skripty pak predelavaly.

A co udělá člověk, pokud se mu najednou GUI začne prezentovat v jiných barvách, v jiném jazyce a jiném pořadí prvků na obrazovce? Taky je ztracen.

A pokud je jedno z toho zachováno, např. že i v čínských windows je to tlačítko na stejném místě, tak se to dá určitě tomu screenshot-skriptu říct: vem tohle okno, najdi v něm tenhle prvek přibližně támhle, této oblasti (titulku) si nevšímej, protože je pokaždé jiná.

Spíš bych si dovedl představit problém, kde v půlce práce na uživatele něco nečekaného "vybafne", což průměrný BFU "odklikne" a pokračuje, zatímco ten skript bude mít třeba problém poznat, co se stalo.

[qwertzuiop]

Jako školní projekt je to zajímavé. K čemu by to ale mohlo být v praxi, to nevím.

Pořád je to psaní skriptu, ale je tam zapojeno i klikání. Takže ti, co si umějí napsat skript, si ho asi napíšou sami (pohodlněji), a ti, co to neumějí, to dělat nebudou ani nadále. A upřímně, co by běžný uživatel měl automatizovat? Kontrolu profilu na Facebooku nebo jinou takovou sračku? :)))

Hlavně, že tam o klikání říkají: "What a long and boring process!" Tohle klikopsaní je fakt krátké a zábavné. Dokonce bych se vsadil, že o tom Miloš Čermák napíše článek.

[Amarok]

Chybi ti trocha predstavivosti. Ja si dovedu napr. predstavit v Sikulce vytvorit skript pro konvertovani nahraneho videa z videokamery pomoci avidemuxu, pricemz se mi tam postupne naklika napr. zmena rozmeru, oriznuti, zmena formatu audiostopy atd. Samozrejme, ze to jde taky napsat pomoci skriptu a treba mencoderu a budu tomu jen predavat nazev souboru jako parametr, ale nekomu by treba vizualni skriptovani mohlo vyhovovat vic (to ted nijak nevztahuju na sebe, jen uvazuju, kde by se to jednoduse dalo vyuzit). Kdo se nechce zabyvat ucenim nejakeho jazyka, tak to urcite dobre vyuzije.

[FAtbluNT]

Jo presne takovym je ten program urcen. I kdyz mi pripada ze je to jako pohanet auto tak, ze z nej vyndam motor, pridelam plachtu a ten motor postavim vedle silnice s vrtuli aby ten vznikly plachtovuz popohnal

Kazdopadne je to taky alternativa, a jak se to uci rozpoznavat tvary GUI (pravdepodobne pomoci jednoduche neuronove site) tak to vypada Cool. Zvlast na Macku..

[Michal Kubeček]

Ono by se to mohlo hodit i tam, kde není k dispozici civilizované rozhraní umožňující normální skriptování. Třeba pro instalaci software, který má jen grafický instalátor a navíc vyžaduje neustálou interakci.

[qwertzuiop]

> Ja si dovedu napr. predstavit v Sikulce vytvorit skript pro

Já si to taky dovedu představit, i když je to hrozná představa.

> konvertovani nahraneho videa z videokamery pomoci avidemuxu, pricemz se mi tam postupne naklika napr. zmena rozmeru, oriznuti, zmena formatu audiostopy atd.

To je několik věcí smíchaných dohromady.

Rozměr videa a změnu formátu audiostopy by si ten Avidemux mohl pamatovat z minula (příp. tam dát možnost uložení profilů). Oříznutí je podle mě potřeba udělat ručně, takže to stejně vyžaduje interakci uživatele.

Což takhle spusit MS Visual Studio (nebo něco takovýho), pak ten Sikuli, napsat do toho pár příkazů a můžem "programovat"! Byl by to vlastně generátor kódu, což by s vestavěnými generátory kódu Studia bylo prostě super.

> Kdo se nechce zabyvat ucenim nejakeho jazyka, tak to urcite dobre vyuzije.

Co je to za blbost? Vždyť se musejí zapisovat funkce (v tom videu jsem viděl třeba click(), type() atd.).

[Amarok]

Oříznutí je podle mě potřeba udělat ručně, takže to stejně vyžaduje interakci uživatele.

Ne kdyz je to porad ze stejneho zdroje (kamery), napr. kdyz ze 4:3 chci delat pokazde 16:9 apod. Tak nejak jsem to myslel.

Což takhle spusit MS Visual Studio

MS co? :) Aha, ty nejsi linuxak.

Vždyť se musejí zapisovat funkce (v tom videu jsem viděl třeba click(), type() atd.).

To je prece na daleko nizsi urovni nez se ucit treba bash/perl/python. Koukal jsem, ze tam existuje i moznost nejake smycky "for" apod., ale i tak je to nesrovnatelne.

[qwertzuiop]

> Ne kdyz je to porad ze stejneho zdroje (kamery), napr. kdyz ze 4:3 chci delat pokazde 16:9 apod. Tak nejak jsem to myslel.

V tom případě by si ten Avidemux mohl pamatovat i toto.

> MS co? :) Aha, ty nejsi linuxak.

Žádný "linuxák" opravdu nejsem. Že používám (dokonce výhradně) operační systém GNU/Linux (to jsi asi myslel) je věc jiná.

> To je prece na daleko nizsi urovni nez se ucit treba bash/perl/python. Koukal jsem, ze tam existuje i moznost nejake smycky "for" apod., ale i tak je to nesrovnatelne.

A je to o tolik lehčí, než se naučit těch pár příkazů? Já si prostě myslím, že ten, kdo nechce psát v BASHi (nebo jiném shellu), nebude psát ani v Sikuli, ani v něčem jiném.

[kralyk z abclinuxu]

Údajně je to schopné odhalit i drobné zmeny, například v uživatelském rozhraní. Dobře, ale co třeba, pokud je hlavní částí skriptu kliknutí na velký tlustý nápis OK? Co když tam bude v nějaké lokalizaci "Budiž"?

No vzhledem k tomu, že to zřejmě porovnává rastr (screenshot) s rastrem (aktuální GUI app), tak je úplně jedno, co tam bude za text.

No jinak je to docela zajímavá věc, uvidíme jak to bude fungovat.
Ale skriptování obecně to určitě nenahradí.

[Jan Zahornadsky]

No vzhledem k tomu, že to zřejmě porovnává rastr (screenshot) s rastrem (aktuální GUI app), tak je úplně jedno, co tam bude za text.

Toto mi není jasné, co má znamenat. Právě proto, že se porovnává rastr, na tom záleží. Jak jinak by odlišil kliknutí na Cancel a kliknutí na OK, pokud tlačítka mají jinak stejný tvar i barvu?

Já měl na mysli třeba to, že by to chtělo pouštět ve stejném locale, v jakém se skriptovalo.

[kralyk z abclinuxu]

Jé, to sem ale dumbass, sem to nepochopil předtím... No, takhle je jasné, že skripty naskriptovaný v jiným lokále nepojedou... To by se muselo nějak pořešit a vůbec není triviální...

[Prcek]

On ani nepojede ten jejich skript v tom video demu - klikají tam na rozbalovací seznam, kterej nemusí mít u každého uživatele vybranou zrovna položku DHCP, takže pokud dobře chápu to porovnávání screenshotů, tak to na tom rozbalovacím seznamu selže, pokud tam bude jiný text.

[kralyk z abclinuxu]

Njn. Mnohem lepší by bylo, kdyby existoval nějakej standard podle kterýho by něly položky GUI přiřazenej nějakej unikátní ID, podle kterýho by byly nalezelný. GUI frameworky by samozřejmě musely tenhle standard dodržovat, atd...

[Jan Zahornadsky]

Což ale není vůbec případ, proč ten projekt vznikal. Jeho hlavní výhodou je právě to, že je schopen ovládat i prvky, které žádným API (kromě toho, jak se jeví uživatelovi navenek) nemají.

[Kvakor]

Není přesně takto udělalné skriptování na Macích, obzvlášť ve staších verzícho OS (tj. předo OS X) ?

[Salamek]

no vipada to jako husta prasarna, a ne jako pouzitelna vec

[lukve]

mi to pripomina scriptovaci jazyk Rebol..

[otasomil]

Hodne drsny by bylo pouzit to na automatizaci vypalovani CD ci DVD v K3B kteryzto je frontend na cdrecord, growisofs apod.

[kralyk z abclinuxu]

No, asi jako jet z Prahy do Brna přes Berlín

[otasomil]

1+

[TomVal]

Zajímalo by mě, jak se to vyrovná s rozdílnými barevnými schématy, zvláště typu High Contrast - black, speciálně v případech, kdy díky takovému schématu splyne černý text s defaultním pozadím (GIMP tooltipy ve Woknech) či bílý text na bílém pozadí.

[Cumu]

Vyuziti vidim napr. ve vykradani dat ulozenych v proprietarnich formatech z ruznych programu. Predstavte si treba jednoduchou aplikaci jako je slovnik nebo encyklopedie. V programu pak mate seznam slovicek/hesel a k nim preklad/popis hesla. S necim takovym by mohlo napr. jit projit vsechna slovicka/hesla a zkopirovat a do znameho formatu ulozit obsah.

Predpokladam spise jednotlive vyuziti v pripadech, kdy cilovy program skriptovat nejde, ale vy chcete provest nejakou cinnost mnohokrat opakovene. Nemyslim si, ze by si takove "skripty" nekdo ukladal a pak po dvou letech znovu poustel.

Akdyz uz pisu komentar, tusim do tohoto zapisku zabloudi spousta skripteru (), pozadal bych o radu: Rad bych se naucil nejaky elegatni skriptovaci jazyk, pro ktery existuje GUI toolkit, v nemz se velmi snadno da zbastlit GUI. Sveho casu se mi velmi libilo Borland Delphi. Clovek si v tom krasne a jednoduse nakreslil UI a napojil na kod. Lazarus ale pouzivat nehodlam, ten prosim vynechte. Kdyz se podivam na takove PyGTK, tak je to hrozne slozite, neintuitivni a clovek se to musi ucit. Chci delat programy pro sebe, takze jsem ochoten tolerovat, kdyz to nebude dokonale a vsemocne, pokud se to udela snadno Za namety diky.

[Habo]

No presne! Ale ja osobne by som to urobil tak ze by som si "zmeral" pozicie danych klikatok a pouzil nejaky program na ovladanie mysi (cosi take som davno pouzil na ovladanie PC cez vlastnorucne robeny "ir prijimac") takze by to bolo ovela rychlejsie ako porovnavat kdejake obrazky... Jediny zmysel by som videl keby sa tie tlacitka v tom okne pohybovali ale to je uz exrem...

[Jendа]

xdotool - simulate X11 keyboard/mouse input

[pht]

takze by to bolo ovela rychlejsie ako porovnavat kdejake obrazky

a podstatně méně robustní

[Amarok]

Pozice klikatek se neustale meni diky tomu, ze se ti kazde okno muze otevrit na jinem miste. To bys musel u vseho, co spoustis, natvrdo definovat umisteni.

[Jendа]

To už snad umí xautomation případně kompinovaný s xdotool (sám xdotool používám pro spuštění a nastavování autoscroll ve Firefoxu, protože neumím XUL ). Ještě existuje nějaká další podobná věc, která by měla být vyspělejší, ale už si nepamatuju, jak se jmenuje . Divím se, že to tu ještě nikdo nezmínil.

[rajcze]

Osobne ti muzu velmi doporucit Python + Qt4 (nejlepe asi PyQt) - co se pythonu tyka mam zkusenost s Tkinterem, GTK i Qt, a Qt mi z nich prijde nejvice intuitivni a pohodlne.

[xavier]

Připadá mi to jako celkem dobrý nástroj pro automatizované testy GUI. V podstatě bez jakýchkoliv předchozích znalostí se dá během pár minut vytvořit test. Akorát by se to muselo trochu přiohnout, aby to rozpoznalo jestli další okno je opravdu to které chci. Úplně ideální by bylo si ty screenshoty vytvářet až při kompilaci testovaného programu, takže by to fungovalo i po změně.

[Jendа]

(to už je podruhý, co mě něco napadlo a za rok se objevila implementace od někoho jinýho… arrgh)

Já znám BFU, kteří by skriptování potřebovali jako sůl (poslední příklad bylo zmenšování dvaceti fotek v GIMPu místo napsání mogrify -resize XX *, pak se různí lidé diví, jaktože jsem nějaká vstupní data stihl zpracovat za zlomek času, co oni), ale bohužel je to ta sorta lidí, kteří se nechtějí naučit ani tohle (navíc pro nějaké užitečnější činnosti než je nastavení IP je potřeba (a hlavně POCHOPIT) minimálně obdobu foreach), protože „jim to takhle stačí“.

[Martin Böhm]

Zajimavy princip! Ano, prinasi to sadu otazek (jak diskuteri spravne ukazuji), ale vidim pouziti hlavne v uzivatelskem sektoru - Gregovi je jedno, ze Jamesovi to nebude fungovat. Je to "trochu" podobne Automatoru, ktery funguje na OS X (s tim jsem si ale prestal hrat v momente, kdy aplikace odmitaly nabizet funkcionalitu, ktera si jde naklikat v nabidce).

Mozna by se tento princip dal nejak generalizovat a vytvorit z toho vyukovy programovaci jazyk nove generace - stredoskolacky jen tak nepresvedcite, at si hraji s monstry typu .NET, ale tohle je takove "hezke" vizualni (a tedy se toho neboji tak moc jako prikazove radky).