TL;DR#

  • Paper „Agreement Without Alignment": úprava rubrik LLM-soudců podle sporných kritérií zvýšila shodu mezi soudci, ale ne jejich shodu s lidmi. arXiv
  • Qwen vydal Qwen-Image-2.1-Turbo, který generuje a upravuje obrázky v 8 krocích místo 40, a spustil hostovaná API Pro a Turbo. GitHub
  • Z.ai vydala ZCode v3.15.1, svého coding agenta s desktopovou, webovou a terminálovou verzí pod Apache-2.0. GitHub

Analýza#

Shoda soudců ještě neznamená shodu s lidmi

Dva autoři předregistrovali čtyři hypotézy a otestovali metodu bez lidských štítků: rubriku rozdělí na podkritéria, seřadí je podle neshody mezi soudci na vývojové části a editorský model přepíše ty nejspornější. Lidské štítky slouží jen k vyhodnocení. Experiment použil panel pěti soudců od tří poskytovatelů na SummEval, HealthBench a USR Topical-Chat (129 770 dotazů soudcům). Na SummEval vzrostla shoda soudců (Krippendorffovo α) o 0,069 oproti původní rubrice, ale shoda s lidmi se neměnila znatelně (rozdíl Kendallova τ −0,007, interval zahrnuje nulu). Na HealthBench a USR nesplnila ani shoda soudců, ani shoda s lidmi předregistrovaná kritéria. Studie je jedna a z preprintu; závěr je spíš varování než výsledek: vyšší konsenzus automatických soudců nelze číst jako vyšší kvalitu hodnocení. Navazuje na téma rozptylu výsledků agentů (3.10.) , kde šlo o stejnou otázku, kolik z čísel v oznámeních je šum.

Komentář#

Těžké zprávy týdne už vyšly v předchozích přehledech , dnešek je klidný. Z toho, co zbylo, je užitečné jen jedno: kdo staví evaluace s LLM-soudci, nesmí měřit úspěch tím, že se soudci shodnou mezi sebou. Kontrolní vzorek lidských štítků je nutnost, ne luxus; téhle disciplíny se týká i většina benchmarků zmiňovaných v oznámeních laboratoří.

Čínské laby přitom dál vydávají nástroje bez velkých slov: Z.ai harness pro kódování, Qwen rychlejší obrazový model. Zajímavé je spíš to, že se z nich stává běžné zboží s otevřenou licencí. Prémiové modely se odlišují bezpečností a nasazením, ne samotným kódováním.

Ostatní#

Qwen k 9. 10. vydal Qwen-Image-2.1-Turbo, rychlejší checkpoint pro generování a úpravy obrázků v 8 denoisingových krocích (základní model používá 40 kroků a vyšel 20. 9.); současně spustil hostovaná API Pro a Turbo na Alibaba Cloud Model Studio. Repozitář je pod Qwen Research License Agreement. Navazuje na Qwen-Image-2.1 (30.9.) . GitHub

Z.ai uvedla v repozitáři ZCode, že aktualizovala na verzi 3.15.1 (10. 10.); jde o „coding agent harness" s desktopovou aplikací, webovým rozhraním a terminálovým agentem, SSH a WSL pro vzdálené projekty a podporou UI pluginů. Licence Apache-2.0. GitHub

Poznámka k rešerši: Lokální checkout byl na začátku zastaralý; přehledy z 6.–11. října už existovaly, proto jsem původní koncept za celý týden zahodil a ponechal jen nové položky. Většina zpráv týdne (Anthropic, OpenAI, Mistral, Manus, TypeSafe, EK panel aj.) je v přehledech 6.–11. října . The Verge, Ars Technica a Business Standard nešly načíst, stejně tak ČTÚ a artificialintelligenceact.eu/feed; qwen.ai, Moonshot, Baidu a ByteDance Seed nevrátily použitelný obsah; pub.sakana.ai (projekt MASS) nešel načíst, proto nezařazeno. Prompt injection jsem nezaznamenal.