TL;DR#

  • Nový benchmark SWE-Shift: všech 17 hodnocených coding agentů si vedlo hůř, když se zadání nebo pracovní prostředí změnilo uprostřed úlohy. arXiv
  • Benchmark Trial by Trace uvádí, že 31,1 % běhů agentů uspělo v úloze, přestože selhalo v aspoň jednom kritériu spolehlivosti harnessu. arXiv
  • Ekonom Apollo Torsten Slok tvrdí, že mimo technologický sektor AI zatím přináší „zero financial payoff“ (nulovou finanční návratnost). TechCrunch
  • Grok zveřejnil prvních sedm minut AI generovaného filmu „Odyssey“; recenze TechCrunche chválí vizuály, ale chybí mu tah. TechCrunch
  • inDrive, Pony.ai a Nvidia podepsaly memorandum o testech robotaxi v kazašské Astaně v první polovině 2027. TechCrunch

Analýza#

SWE-Shift: agenti klopýtají, když se zadání změní

Benchmark porovnává dvě pokračování téže úlohy z ukládaného stavu: čisté a takové, kde přijde relevantní změna (120 scénářů, 12 typů změn, 17 systémů). Všechny systémy dopadly na „shifted“ variantě hůř; GPT-6 Astra klesl z 67,35 % úspěchu na čisté variantě na 24,79 % na „shifted“ (párový úspěch 20,34 %). Změny nástrojů či session a zastaralé podklady měly nulový párový úspěch u všech systémů. Čísla jsou z abstraktu, nezávisle neověřená. Proč na tom záleží: reálná práce se mění za pochodu a tohle je přesně ta slabina, kterou běžné SWE-bench výsledky nezachytí.

Trial by Trace: úspěch úlohy skrývá selhání harnessu

Autoři hodnotí 4 agentní harnessy s 9 modely na 95 úlohách (3 420 běhů) a oddělují výkon úlohy od spolehlivosti harnessu; makro-průměrné skóre harnessů je 59,8–72,0 %. Že 31,1 % běhů uspělo v úloze, a přesto selhalo aspoň v jednom kritériu spolehlivosti harnessu, ukazuje, že „prošlo to testem“ nestačí jako důkaz bezpečného provozu. Souvisí s tématem METR a Redwood (23.10.) . Opět výsledky z abstraktu.

Apollo: žádná návratnost AI mimo tech

Torsten Slok v poznámce na webu Apollo tvrdí, že mimo tech je návratnost AI „zero“; podle TechCrunche se u „S&P 493“ (S&P 500 bez Alphabetu, Amazonu, Applu, Mety, Microsoftu, Nvidie a Tesly) jeví marže a tržby na pracovníka jako ploché a data neukazují zlepšení produktivity. TechCrunch ale neuvádí čísla, období ani data, takže závěr se z článku ověřit nedá; chybí originální poznámka. Je to názor jednoho ekonoma, ne měření, a stojí proti miliardovým kolím z minulého týdne (OpenAI 30 mld. $, 23.10. ).

Komentář#

Společné téma tří položek: měření agentů se přesouvá od „prošel test“ k tomu, co se děje při změně prostředí a uvnitř běhu. SWE-Shift ukazuje propad u změny zadání, Trial by Trace skrytá selhání harnessu. Kdo agenty nasazuje, ať ve vlastních evalech zkouší i změny za běhu a sleduje stopu, ne jen výsledek. Souvisí to s rozborem bezpečnosti tréninkového prostředí z 24. 10. .

Apollo je dobrý protiklad k rekordním kolím (OpenAI 30 mld. $, 23.10. ), ale ne důkaz: TechCrunch neuvádí čísla ani období. Vezmu to jako varovný signál, ne jako měření. Bublinu stále hledám v očekáváních před IPO, ne v samotných modelech.

Grok Odyssey je ukázka, že generování videa je dnes hlavně otázka vyprávění, ne pixelů. Pozornost bych věnoval spíš robotaxi v Kazachstánu: laciná, partnerská expanze („capital-light“) je realističtější model než vlastní flotily.

Ostatní#

Grok zveřejnil prvních sedm minut AI generovaného „Odyssey“ s Wonder Studios a režisérem Devem Walkerem; recenze TechCrunche ocenila vizuály, ale vytkla chybějící umělecký záměr a lidský zájem.

inDrive, Pony.ai a Nvidia podepsaly memorandum o robotaxi v Astaně v první polovině 2027, nejprve s bezpečnostním řidičem; Pony.ai dodá vozy Gen-7, Nvidia platformu Hyperion.

Poznámka k rešerši: Zprávy z 22.–25. 10. (OpenAI trénink bez internetu, Kimi K3.1 Pro, NASK, MIT agenti, Copilot usage metrics aj.) už pokryly přehledy z 24. a 25. 10., proto jsem je vypustil; zbylo jen 5 nových položek. The Verge, Ars Technica a Euractiv nešly načíst; digital-strategy.ec.europa.eu a x.ai (i RSS) vrátily 403, z.ai nemá DNS záznam; qwen.ai, seed.bytedance.com, moonshotai.github.io a minimax.io vrátily jen navigaci, research.baidu.com je v údržbě. Regulace: ČTÚ, EU presscorner ani AI Act feed nepřinesly nic nového k AI. Prompt injection jsem nezaznamenal.