Signals for 2026-08-17

Qwen 3.8 27B is lokaal sterk, maar denkt standaard buitensporig lang door

Simon Willison

Simon Willison testte de Apache 2-gelicentieerde Qwen 3.8 27B lokaal via LM Studio op een MacBook Pro en een NVIDIA DGX Spark. Zijn eerste oordeel is dat het 27B-model praktisch lokaal inzetbaar en inhoudelijk sterk is, maar dat de standaardinstelling ‘extra high’ veel te lang redeneert; onafhankelijke benchmarks moeten de claims van Qwen nog bevestigen.

#evals #research-evals

SheetCompass bewaart spreadsheetstructuur voor agentisch redeneren

arXiv reasoning / agents / evals

SheetCompass modelleert relaties binnen en tussen werkbladen als een hiërarchische graaf en houdt taakrelevante informatie in geheugen. De onderzoekers richten zich daarmee op een concreet tekort van gangbare spreadsheetagents: het platmaken van tabellen tot tekst verliest grenzen, kolomafhankelijkheden en ruimtelijke samenhang die nodig zijn om complexe werkmappen betrouwbaar te begrijpen.

#agent #evals #research-evals