Některé odpovědi modelu GLM-5.3 obsahovaly části dat z předchozích požadavků jiných zákazníků

Cloudflare zjistil, že některé odpovědi modelu GLM-5.3 obsahovaly části dat z předchozích požadavků jiných zákazníků. Příčinou byla kombinace chybné konfigurace a chyby v inference enginu SGLang. Model podporoval kontextové okno 1 048 576 tokenů, ale GPU KV cache pool měl kapacitu pouze 681 280 tokenů. Při překročení kapacity docházelo k nesprávnému zpracování odmítnutého požadavku. Decode část systému následně pracovala se starými KV cache pages, které obsahovaly data předchozího požadavku. Cloudflare identifikoval 155 ovlivněných odpovědí. Problém opravil změnou konfigurace i úpravou samotného inference enginu. Problém s izolací tenantů tedy může vzniknout i bez klasického memory corruption exploitu.

dnes 13:55 | vencour | Zajímavý článek

Komentáře