Nové OctaForge cíle, OctaSTD coroutines a další změny

6.3.2017 23:58 | Přečteno: 1642× | octaforge | | poslední úprava: 10.3.2017 01:19

OctaForge projekt už zas běží a s tím přichází i různé změny.

Libcubescript

Mnoho změn se událo v mé nezávislé implementaci jazyka CubeScript. Jednou z nich je REPL:

Ten podporuje různé věci jako doplňování funkcí a nápovědu, jak jde vidět v animaci. Kromě toho oproti implementaci v Cube 2 enginu, popř. Tesseractu podporuje spoustu věcí:

• Nepoužívá žádný globální state, takže je klidně možné mít několik instancí v jednom programu.
• Moderní API založené na C++17 a OctaSTD.
• Podpora C++ lambdas jako funkcí.
• Error handling podobný chybám v Lua nebo exceptions v jiných jazycích, chyby se dají chytit a dá se z nich i získat stack trace.
• Příkazy pro správu cyklů break a continue.
• Typy použité pro čísla se dají změnit při kompilaci.
• Podporuje statické a dynamické knihovny, podporuje i -fvisibility=hidden.
• Pracuje se na podpoře alokátorů pro každý CubeScript stav, pro např. omezení množství paměti povolené ve skriptech.
• Pracuje se na vláknové bezpečnosti, takže bude možné do jednoho CubeScript stavu volat z několika vláken naráz.
• Pracuje se na integrovaných korutinách integrovaných s vláknovou bezpečností knihovny.

Ukázkou použití nového API je třeba ten samotný REPL, dostupný zde. API ale ještě není stabilní, takže se může dál měnit, a kromě toho se pracuje na těch věcech jako alokátory.

OctaSTD

CubeScript je jedna věc, ale mnoho změn bylo i v OctaSTD.

C++17 a integrace standardní knihovny

Zavedl jsem použití C++17. To sice ještě není stabilní a momentálně to všechno vyžaduje aspoň Clang 4.0 nebo GCC 7, a žádný z nich ještě není stabilní venku, nicméně počítám s tím, že až to všechno bude stabilnější, tak budou i ty kompilátory. Clang 4.0 má vyjít během několika dní a GCC 7 pokud vím asi příští měsíc. Pokud se neobjeví nějaká závažná chyba, vyšší požadavky na kompilátor/toolchain nebudou - používá se jen tolik z C++17, kolik poskytují ty toolchainy.

Výraznou změnou je to, že OctaSTD je teď rozšiřující knihovnou standardní C++ knihovny. To bylo původně důvodem k přechodu na C++17. Nové věci ve standardní knihovně (jako std::string_view) umožňují konečně použitelnou integraci věcí jako ranges pro řetězce a jejich hashování. Samozřejmě se vyžaduje C++17 standardní knihovna, normálně libc++ (ve verzi s Clangem 4.0) nebo libstdc++ (ve verzi s GCC 7).

Ta integrace není základní - např. je možné vytvářet ranges z iterátorových párů a iterátory z ranges. Je zde integrace se standardními kontejnery včetně vytváření těchto kontejnerů z ranges, pokud jsou iterovatelné, a automatické ranges pro všechny standardní kontejnery.

Věci jako názvy funkcí a objektů teď používají stejný styl, jako standardní knihovna. Kromě toho je možné postupně OctaSTD zabudovat do jakéhokoliv C++ projektu, klidně i postupně.

Integrace exceptions

OctaSTD je teď exception safe a v určitých případech i exceptions využívá, ale jen do míry, kde to má opravdové výhody. Např metoda .put(x) na output_range používá exceptions - díky tomu se algoritmy používající výstupní ranges nemusí starat o chyby (občas to ani není možné, aspoň ne bez komplikace API) a prostě to .put(x) použije - v případě chyby ta metoda vyhodí exception, algoritmus skončí (díky RAII se uvolní dočasné prostředky) a rozhodnutí je na uživateli API. Nebo může použít jako tu output range nějaký bezpečný, kde výjímky nejsou (třeba appender pro přidávání do standardních kontejnerů může vyhodit pouze std::bad_alloc, s čímž ve většině případů nejde nic dělat).

Změny ve formátovacím modulu

Už delší dobu OctaSTD poskytuje modul pro formátování řetězců, který používá podobný systém jako v C printf, ale narozdíl od toho je typově bezpečný (třeba %s funguje pro všechny typy). V něm bylo pár změn:

• Výjímky pro chyby (v případě neplatného formátovacího řetězce (popř. špatného znaku pro určitý typ, třeba %d pro řetězce) se vyhodí ostd::format_error - s platným řetězcem žádná výjímka nikdy nenastane, pokud nenastane v output_range, do které formátovací modul formátuje)
• Už dřív bylo možné formátovat iterovatelné objekty s vlastním delimiterem, teď je možné formátovat i tuples. Použije se %<OBSAH%>, kde OBSAH je řetězec obsahující normální např %s pro každý prvek, viz. ukázka později.
• Locale awareness - formátování čísel teď používá desetinnou tečku nebo čárku podle locale, stejně tak i seskupování tisíců.
• Explicitní escapes - modul umí věci jako řetězce dát do uvozovek a správně převést escape sekvence, pokud se použije formátovací flag @. Ten vždycky znamená escaping, samotné chování záleží na daném typu.
• A další změny...

Všechny možné formátovací featury jsou ukázané zde.

Coroutines

OctaSTD teď má podporu coroutines, tzn. funkcí, které se dají zapauzovat a později zas spustit. Context switching je implementovaný pomocí assembleru. Ten jsem nepsal sám, místo toho jsem kód vzal z knihovny Boost.Context - pouze ty asm části, takže tam není žádná Boost závislost. Díky tomu je už teď v OctaSTD podpora pro architektury x86, x86_64, ARM, Aarch64, MIPS, PPC a PPC64, pro ELF (většina Unix-like), Mach-O (Darwin/OS X), XCOFF (AIX), MS PE (Windows) systémy, pro assemblery gas (AT&T syntaxe, umí přeložit i GCC/Clang přímo, pro většinu Unix-like a taky MinGW na Windows), masm (MS Visual Studio) a armasm (Microsoft ARM assembler). To znamená vcelku slušnou portabilitu.

Momentálně se používá dost naivní přístup k alokaci stacku (prostě obyčejný new[]). To se brzy změní. K alokaci stacku se používá VirtualAlloc na Windows a mmap na POSIX platformách (v případě přítomnosti MAP_ANON nebo MAP_ANONYMOUS, jinak se použije malloc fallback). Možná časem přidám i podporu pro segmentované rostoucí stacky. Ale zatím jednoduchá ukázka:

coroutine<void()> c = [](auto yield) {
    writeln("hello world");
    yield();
    writeln("test");
};

c(); // vypíše "hello world"
c(); // vypíše "test"

V bodě volání yield() se funkce zastaví a pustí opět při dalším volání z toho místa. Ale umožňuje to i transfer dat:

coroutine<int()> c = [](auto yield) {
    writeln("hello world");
    yield(10);
    writeln("test");
    return 15;
};

int x = c(); // vypíše "hello world", vrátí 10
x = c(); // vypíše "test", vrátí 15

A fungují i argumenty (pro dva argumenty yield vrací std::pair, pro více std::tuple):

coroutine<int(int)> c = [](auto yield, int arg) {
    writefln("hello world %s", arg);
    arg = yield(10);
    writefln("test %s", arg);
    return 15;
};

int x = c(3); // vypíše "hello world 3", vrátí 10
x = c(6); // vypíše "test 6", vrátí 15

Protože korutiny mají stack, yield() se může uskutečnit v jakémkoliv vnitřním volání v korutině, takže když z ní zavoláme funkci, která zavolá další funkci, která zavolá yield(), příště se bude pokračovat přesně z toho bodu.

Korutiny bez argumentů vracející hodnotu se dají použít jako generátory, protože implementují range interface:

coroutine<int()> c = [](auto yield) {
    yield(5);
    yield(10);
    yield(15);
    return 20;
};

for (int v: c.iter()) {
    writeln(v); // vypíše 5, pak 10, pak 15, pak 20
}

Další ukázky třeba zde nebo zde. Korutiny se chovají víceméně jako normální funkce, pouze s tím omezením, že se nedají uložit v std::function (ale jakákoliv funkce se dá uložit v coroutine, vůbec nemusí použít yield), protože není CopyConstructible - pouze MoveConstructible. To je vcelku jasné omezení, stejné je i u normálních systémových vláken. V tomto případě je to kvůli vlastnímu stacku a kontextu, které jsou unikátní pro jednu korutinu a nedají se zkopírovat.

Cílem je eventuálně implementovat scheduler a umožnit využití N:M mappingu (malé množství systémových vláken na velké množství úloh reprezentovaných korutinami).

Další změny

• Streams používají výjímky pro chyby a podporují iteraci po řádcích (dřív pouze po znacích).
• Formátovací modul nikdy nealokuje heap paměť.
• Algoritmy pracující s ranges se dají použít v alternativní formě s pipe operátorem. Např. místo filter(map(sort(x), f), f2) se dá napsat mnohem čitelnější f | sort() | map(x) | filter(x).
• Různé designové změny a úpravy v range systému.
• A mnoho dalších...

V repozitáři OctaSTD je několik ukázek a kód by měl být také čitelný. Budu přidávat i další ukázky a další featury. OctaSTD momentálně není stabilní, takže API se může dále měnit. Dokumentace také potřebuje napsat...

OctaForge

Všechny tyto věci budou základem nové generace OctaForge enginu. Budou dříve nebo později všechny plánované nové věci (masivně paralelní architektura škálovatená na mnohojádrové systémy, podpora mobilních platforem, nativní C++ API, dynamické herní moduly včetně reloadingu apod.) s tím, že všechno bude modulárnější, než dříve. Plánuje se mnoho dalších věcí jako nezávislé projekty, takže spousta komponent bude použitelná i bez enginu - zatím je to tedy jen OctaSTD and libcubescript. Co se týče enginu samotného, herní portál jako dřív se zatím neplánuje - hlavním cílem je teď pouze engine. Další věci se budou dělat později.

Závěr

To je prozatím všechno. Od konce minulého roku jsem zpátky v Česku. Pracuju stále pro Samsung, ale dálkově. Během několika měsíců se stěhuju do Brna (kupuju tam byt), tak se zkusím objevit i na nějakých lokálních linuxových událostech...

       

Komentáře

[Maxmilian Prdel]

Jsi hovado, v tom nejlepsim slova smyslu. +1 za neskutecnou vydrz.

[Sten]

Zběžně jsem kouknul na GitHub a měl bych pár doporučení k C++:

Používej explicit operator bool(). Implicitní operator bool() lze použít pro převod na číselné typy, což je náchylné na chyby:

coroutine<void()> a = …;
coroutine<void()> b = …;
a + b;

(Keyword: safebool)

Pomocné metody typu swap je lepší uvádět jako friend void swap(type &a, type &b) { … } uvnitř tříd. Řeší to některé problémy s nutností hledat správný namespace a udržuje kód u toho, k čemu to patří. Při volání se pak místo

void do_swap() {
    std::swap(a, b);
    ostd::swap(c, d);
    ostd::foo::swap(e, f); // Nebo to bylo ostd::bar::swap?
}

použije

void do_swap() {
    using std::swap;
    swap(a, b);
    swap(c, d); // friend třídy instancí c a d, nepotřebuje namespace
    swap(e, f);
}

(Keyword: argument-dependent lookup)

Místo

type(type const&) = delete;
type(type &&) = default;
type& operator =(type const&) = delete;
type& operator =(type &&) = default;

doporučuji použít noncopyable á la Boost. Je to přehlednější a lépe se to používá v šablonovém metaprogramování.

Jinak moc pěkný kód *thumbs up*

[Sten]

Jinak k tomu, proč použít swap(a, b) místo a.swap(b): to první funguje v šablonách, kde nemusím řešit, jestli ten typ má metodu swap nebo používá std::swap.

[q66]

viz. http://ideone.com/dFzlq8

[q66]

Ono je možné použít std::swap i tak, protože ADL prostě hledá globální "swap" funkci v namespace toho typu, jestli je to friend je celkem jedno. Takže volání std::swap(foo::bar::T{}, foo::bar::T{}) první vyzkouší foo::bar::swap(a, b) a pak použije standardní obecný fallback. OctaSTD deklaruje jak vnitřní swap metody, tak samostatné funkce, stejně jako všechny standardní containery, takže je možné na nich použít jak x.swap(b), tak std::swap(a, b). Ty volné swap funkce jsou většinou deklarované hned po tom containeru, jako inline void swap(mytype &a, mytype &b) { a.swap(b); }.

Ohledně toho explicitního boolu, záměrem je samozřejmě použít explicitní. Momentální použití implicitního je bug...

[q66]

každopádně všechno opraveno... na jednom místě to opravdu nebylo ADL-aware, ale to jsem jen přehlédl na mé straně, teď je všechno v pořádku.

[KS]

Moc hezké!

[skunkOS]

Krutopřísné.

[tom]

btw znate libcoro - http://software.schmorp.de/pkg/libcoro.html , primarne je to pouzite v Perlovskem Coro (ktere se hezky kombinuje s event loopem AnyEvent) a mimo to ji tvori jen jeden .c soubor a jedna hlavicka, takze pro zacleneni do jinejch projektu je to idealni.

[q66]

Znám, má několik backendů, v mém případě je to pouze asm kód - ale pro C++ se taková knihovna nehodí, protože je nutné řešit exceptions a destruktory lokálních proměnných v korutině, s třeba tím ucontextem to moc nejde (resp. skoro jde, ale pokud korutina umře v polovině, tak se ty destruktory prostě nezavolají, není tam žádný ekvivalent ontop_fcontext)... nicméně ten asm mám stejně pro všechny podporované platformy, tak je to celkem jedno.

Jinak jsem zrovna implementoval lepší stack allocator, takže by ta implementace v ostd měla být teď víceméně kompletní s relativně ideálním výkonem (jen momentálně nepodporuje rostoucí segmented stacky, ale to možná jindy...)

[Radovan]

Jak vypadá tvůj běžný den? Zbývá ti kromě práce a vývoje OctaForge čas i na něco jiného? Skoro by mohl být zajímavější článek o tom.

[agagd]

Pre Cesko je dobre ze taky clovek ako ty ostava zit v rodnej krajine. Dovolim si tvrdit ze patris medzi top 5% ludi v krajine.