Diagnostics

Chaque chemin de code risqué a un commutateur d'URL qui revient à la version plus lente et plus simple. Pratique pour vérifier si une optimisation est responsable d'un comportement bizarre — la réponse doit être identique, seulement plus lente.

?gemv=0        matmul de décodage → kernels par lignes
?f16shared=0   GEMM f16 du prefill → une ligne par thread
?qshared=0     GEMM q4/q8 du prefill → 4 lignes par invocation
?qshared2=0    GEMM q4/q8 du prefill → tuiles v1 (32×64)
?warmup=0      pas de préchauffe (le 1er message la paye)
?ggufstream=0  GGUF en un seul téléchargement au lieu de plages
?kvq=0         cache KV en f32 au lieu de int8
?timing=1      chronométrage du forward par étape, dans la console

Ajoutez un commutateur à l'URL de /chat, rechargez, et comparez. Plusieurs se combinent avec &.

Brimkern — moteur WebGPU open, conçu par Romain Khanoyan. IA locale, WebGPU, moteurs on-device.