Marek Bartoš z kanálu Colbrain rozebírá studii o benchmarku Arc AGI a malém modelu BDHCQ se 150 miliony parametrů, kterému přezdívá CQ. CQ na Arc AGI 1 vyřešil 29,5 procenta úloh, ale jeho rekord nespočívá ve výkonu, nýbrž v extrémně nízké ceně za jednu úlohu, tedy méně než desetině centu. Klíčové zjištění studie je, že přidání jediného příkladu stejné obtížnosti dokázalo zvednout úspěšnost modelu z nuly na 13 z 24 a u jiné úlohy z 19 na 24 z 24. Bartoš z toho vyvozuje, že příklady v promptu neukazují jen formát, ale i to, jak daleko je pravidlo natažené a jak těžké případy má model řešit. Proto radí nahradit hezké příklady jedním nejtěžším realistickým příkladem a složité prompty rozkládat na samostatně kontrolovatelné kroky. Studie má podle něj slabiny, ale vedlejší produkt, tedy mapa toho, jak model pracuje s příklady, je užitečnější než původní cíl.

📅 Datum vydání: 23.8.2026
📺 Zdroj: Jeden příklad změní AI k nepoznání!
Klikněte na odkaz a dejte odběr na kanálu autora, podpoříte ho a vylepšíte svůj algoritmus.

▶ 00:00
Arc AGI a malý rekordman — Řečník na ukázce doplňování teček vysvětluje, jak Arc AGI testuje odhalení pravidla z obrázků, a představuje podivně malý model, který autoři označují za rekordmana v levném uvažování.

▶ 00:41
Jeden příklad mění výsledky — Bartoš popisuje, že u 24 testů, kde model nikdy neuspěl, přidání jediného podobného příkladu zvedlo úspěšnost z nuly na 13 a u jiné úlohy z 19 na 24 z 24.

▶ 01:50
Představení a princip Arc AGI — Marek Bartoš se představuje jako autor kanálu Colbrain a vysvětluje, že Arc AGI není jazykový test, ale úkol odhalit pravidlo z dvojic vstupů a výstupů, které nikde není napsané slovy.

▶ 02:42
Model BDHCQ přezdívaný CQ — Řečník uvádí, že model BDHCQ má 150 milionů parametrů, a dává mu zkratku CQ, protože jméno zní jako robot z Hvězdných válek.

▶ 03:06
Rekord v ceně za inteligenci — Bartoš říká, že CQ vyřešil 29,5 procenta úloh Arc AGI 1 se dvěma kandidáty a jedna úloha vyjde na méně než desetinu centu, takže rekord není v tom, co dokáže, ale za kolik to dokáže.

▶ 03:56
Vnitřní stav a pracovní paměť — Řečník popisuje, že model odděluje vnitřní stav s představou zadání od pracovního papírku na poznámky a mezikroky nemusí vznikat jako slova, což vysvětluje levný provoz.

▶ 04:40
Řazení objektů a strop schopnosti — Autoři nechali model řadit objekty podle výšky, krátké řady zvládal dobře, ale u osmi objektů narazil na jasný strop schopnosti.

▶ 05:06
Zmrazený model a jedna ukázka — Stejný zmrazený model bez nového tréninku selhal na nule z 24, ale po přidání jedné ukázky řazení osmi objektů skočil na 13 z 24.

▶ 05:41
Skryté buňky v rámečcích — V druhé úloze hledání buněk v pěti vnořených rámečcích se model po jednom příkladu stejné hloubky zlepšil z 19 na 24 z 24.

▶ 05:59
Skok umožňují dva kandidáti — Řečník upozorňuje, že dramatický skok z 19 na 24 je výsledek, který povoluje jeden ze dvou kandidátních výstupů, zatímco při započtení jen prvního se vnořování zlepšilo jen z 15 na 16.

▶ 06:38
Příklad ukazuje dosah pravidla — Bartoš vysvětluje, že příklad v promptu neukazuje jen formát, ale i to, jak daleko je pravidlo natažené, a mění to způsob, jak o příkladech přemýšlet.

▶ 07:41
Emaily s termíny jako příklad — Na příkladu vytahování termínů z emailů řečník ukazuje, že dva hezké příklady fungují, ale dlouhý rozbitý email s více termíny a podmínkami model změní na kaši.

▶ 08:35
Nahradit příklad nejtěžším — Řečník radí nepřidávat další hezké příklady, ale nahradit jeden z nich nejtěžším realistickým příkladem se správným jednoznačným výstupem.

▶ 09:22
Chybějící příklad kategorie vratka — Bartoš uvádí, že pokud v příkladech chybí kategorie vratka, požadavek na vrácení zboží kvůli velikosti může spadnout do reklamace špatné velikosti.

▶ 10:15
Příklady u pevných seznamů — Řečník říká, že u modelu vybírajícího z pevného seznamu je dobré začít příkladem každé možnosti a u pletoucích se kategorií přidat hraniční příklady s vysvětlením.

▶ 10:55
Kompozice operací selhává — Model může umět přesun, otočení i zrcadlení samostatně, ale zrcadlení spojené s přesunem zvládá jen zhruba na padesát procent.

▶ 11:34
Mezera v kompozici — Řečník vysvětluje, že u jazykových modelů existuje mezera v kompozici, kdy model zvládne podúkoly, ale při jejich složení ztratí podmínku, a zvětšování modelu tuto mezeru spolehlivě nezavřelo.

▶ 12:28
Rozložit prompt na kroky — Bartoš radí neschovávat rozhodovací strom do promptu, ale nejdřív nechat model dokument jen zařadit a pak nechat workflow vybrat správnou větev, protože každý krok dostane jedinou práci.

▶ 13:24
Chyba má svou adresu — Řečník zdůrazňuje, že při rozděleném postupu má chyba vlastní adresu a opravuje se jen jeden krok místo celého systému, což přináší spolehlivost za méně peněz.

▶ 14:13
Workshop Hands on AI — Marek Bartoš zmiňuje svůj workshop Hands on AI, kde se učí rozebrat práci na kroky, a registrace je na webu Marka Bartoše s místy v Pardubicích, Ústí nad Labem, Brně a Praze.

▶ 14:55
Slabiny studie — Řečník přiznává, že studie má slabiny, rekordní číslo není dokonale doložené a testy na barevných mřížkách nejsou dostatečný základ pro hluboké závěry.

▶ 15:20
Vedlejší produkt zajímavější — Autoři chtěli ukázat rekord v ceně zamyšlení, ale vytvořili zajímavější mapu toho, jak model pracuje s příklady a kde se jejich přenos láme.

▶ 15:49
Seznam případů, kde prompt selže — Bartoš říká, že nejcennější může být seznam vyřešených případů, kde prompt nefunguje, a doporučuje připravit třicet reálných vstupů se správnou odpovědí.

▶ 16:03
Připravit 30 ošklivých vstupů — Řečník radí připravit třicet reálných vstupů s překlepy, chybějícími údaji a neobvyklým pořadím, pustit prompt, pak přidat jeden bezchybně vyřešený případ na hranici obtížnosti a nic jiného neměnit.

▶ 16:48
Měřit kategorie ne jen přesnost — Bartoš doporučuje nesledovat jen celkovou přesnost, ale které kategorie odpadávají, zkusit parafráze a u nedeterministického nastavení opakovat běhy.

▶ 17:13
Jak číst výsledky testu — Řečník vysvětluje, že dramatické zlepšení značí příliš úzké příklady, malé zlepšení limity modelu a žádné zlepšení nutí zkontrolovat konfliktní instrukce a rozdělit práci na kroky, až nakonec měnit model.

▶ 17:45
Častá chyba opačného postupu — Mnoho lidí postupuje opačně a jen přidává slova nebo zapíná dražší model, jenže instrukce popisuje pravidlo a příklad ukazuje, jak pravidlo vypadá v praxi.

▶ 18:11
Prompt, který jednou vyšel, nestačí — Studie ukázala rozdíl mezi promptem, který jednou vyšel, a systémem, který skutečně funguje, a ten rozdíl poznáte podle toho, co model udělá na nejbrutálnějším příkladu.

▶ 18:49
Ukázat to nejtěžší — Řečník radí, že než přisoudíte AI nedostatek inteligence, je třeba si položit otázku, jestli jste ukázali, co chcete, nebo jen nejhezčí verzi své představy, a uzavírá, že návrh nemusí selhávat proto, že by byl špatný, ale protože model neví, co má dělat.

🔴 DŮLEŽITÉ UPOZORNĚNÍ A VYLOUČENÍ ODPOVĚDNOSTI

Výše uvedený text je shrnutí původního video obsahu a byl vygenerován výhradně umělou inteligencí (AI) bez jakéhokoli následného lidského ověření nebo kontroly. Provozovatel těchto webových stránek (dále jen „provozovatel“) výslovně upozorňuje, že takto generovaný text může obsahovat:

  • Faktické chyby a nepřesnosti
  • Zavádějící nebo neúplné informace
  • Informace vytržené z kontextu původního díla
  • Nepravdivá tvrzení nebo údaje (tzv. „halucinace“ AI)

Toto shrnutí slouží pouze ke zcela nezávazným, informativním nebo studijním účelům a v žádném případě nenahrazuje zhlédnutí původního video obsahu. Provozovatel důrazně nedoporučuje činit na základě tohoto shrnutí jakákoli rozhodnutí (obchodní, finanční, zdravotní, právní či jiná).

Provozovatel se tímto v maximálním možném rozsahu povoleném právními předpisy České republiky a Evropské unie zříká jakékoli odpovědnosti za:

  • Správnost, úplnost, aktuálnost nebo pravdivost informací obsažených v tomto shrnutí
  • Jakoukoli přímou či nepřímou újmu (majetkovou i nemajetkovou), která by uživateli nebo jakékoli třetí straně vznikla v důsledku použití nebo spoléhání se na informace z tohoto shrnutí
  • Případné porušení práv třetích stran (včetně práv autorských nebo práv na ochranu osobnosti), kterého by se mohlo shrnutí generované AI dopustit

Použitím tohoto shrnutí bere uživatel na vědomí, že tak činí výhradně na své vlastní riziko a odpovědnost. Pro ověření jakýchkoli informací je uživatel povinen zhlédnout původní zdroj (video) a/nebo konzultovat danou problematiku s kvalifikovaným odborníkem.

⚠️ MECHANISMUS PRO NAHLÁŠENÍ PROBLEMATICKÉHO OBSAHU (NOTICE & TAKE DOWN)

Provozovatel bere ochranu práv třetích stran vážně. Pokud se domníváte, že kterékoli automaticky generované shrnutí obsahuje faktické chyby, zasahuje do vašich práv (např. autorských práv, práv na ochranu osobnosti) nebo je jinak v rozporu s platnými právními předpisy, žádáme vás o neprodlené oznámení. Kontaktujte nás prosím e-mailem na adrese: chyba@shrnuti.cz

Do předmětu e-mailu uveďte „Nahlášení obsahu“ a v těle zprávy prosím specifikujte:

  • Přesný odkaz (URL) na stránku obsahující problematický souhrn
  • Jasný popis problému — uveďte, v čem spatřujete pochybení (např. „text je nepravdivý“, „zasahuje do mého práva na ochranu osobnosti“, „porušuje autorská práva k…“)
  • Vaše kontaktní údaje pro případnou zpětnou vazbu

Provozovatel se zavazuje každé takové oznámení přijaté v dobré víře bez zbytečného odkladu prověřit a v případě, že bude oznámení shledáno oprávněným, zjednat adekvátní nápravu (zejména opravou, nebo trvalým odstraněním dotčeného textu).