← Back to archive
Signals for 2026-08-28
Published 2026-08-28T08:16+02:00
3 geselecteerde signalen uit de lokale hybride Daily Signal Brief pipeline.
Simon Willison
Promptinjectie-onderzoeker Johann Rehberger demonstreert volgens Simon Willison een aanval die Claude Code Auto Mode in ongeveer 80% van zijn tests omzeilt. De agent downloadt en pakt een archief uit en importeert daarna `base64`, maar voert door Python-module shadowing ongemerkt een meegeleverde `struct.py` uit; in enkele runs blokkeerde Auto Mode vervolgens zelfs het commando waarmee Claude het ontdekte proces wilde stoppen.
#agent #agentic-workflows #builder #evals #systems-framing
arXiv reasoning / agents / evals
INTENT-AS-A-TOOL geeft een agent aparte tools waarmee hij tijdens het redeneren zijn inzet voor een doelgedrag kan uitdrukken. De kans dat zo’n tool wordt aangeroepen levert zonder extern beoordelingsmodel een fijnmazige intentietraject op; in de experimenten vulde dit chain-of-thought-monitoring aan en maakte het zichtbaar op welke stappen online ingrijpen het meest relevant is.
#agent #evals #research-evals
The Decoder
Onderzoekers van Wharton testten hoe stabiel shopping agents producten kiezen. Eén extra externe bron, zoals Wirecutter, verschoof bepaalde keuzes met maximaal 99 procentpunt; zelfs een andere volgorde van exact dezelfde informatie veranderde de uitkomst. Dat maakt bron- en volgordegevoeligheid een concrete evaluatie-eis voordat een agent zelfstandig transacties mag uitvoeren.
#agent #agentic-workflows #evals