Лог обучения
Библиотека ролей ценна не количеством, а тем, что роли меняются от прогона к прогону. Здесь видно каждое изменение и его причину — включая те, где причина пришла со стороны. Первая половина страницы собирается из истории репозитория автоматически: что у роли было и что стало, дословно.
Два счётчика ниже складывать нельзя. Урок роли — это когда она что-то пропустила на реальной панели и была исправлена. Правка механизма — это когда менялись правила игры, а не сама роль; заслугой роли она не является.
Как менялись роли
из истории репозитория · 3- 06.09.2026a6d9250
fix(personas): три несогласованных числа панелей сведены в одну константу
Было: PANELS_RUN = 4, panels: 3 у красной команды, и пять прогонов по факту (13.08, 25.08, 02.09 дважды, 03.09). Витрина показывала «4 панели», роль — «3», реальность — 5.
- Красная команда · боевых панелей : 3 → 5
- 06.09.202613b5c95
feat(personas): первый урок роли на витрине — счётчик больше не ноль
Красная команда разбирала замысел публичного репозитория и первым делом ударила в то, что лог обучения пуст: записей вида «урок» — ноль, все записи одной даты. Довод был верный.
- Красная команда · уроков : 0 → 1
- 06.09.2026cf8d774
feat(personas): каталог персон-рецензентов на /personas
Двенадцать ролей, сгруппированных по методу проверки. У каждой публично объявлены зона и слепое пятно — пятна подобраны так, чтобы закрывать друг друга.
- Красная команда · появилась — По каждой позиции: чем пробью и с какой вероятностью в процентах
- Фактчекер · появилась — Числа, тарифы, номера норм, посимвольная сверка реквизитов с фотографиями
- Верификатор связности · появилась — Битые перекрёстные ссылки, нумерация, пункты-сироты, самопротиворечия
- Ревьюер артефакта · появилась — Непринятые правки Word, скрытый текст, метаданные, битые PDF, побочки скриптов
- Практик исполнимости · появилась — Откроют ли счёт, выдадут ли документ, кому и за какой срок
- Юрист по ГК · появилась — Якоря норм и несущая цепочка: заверение → безвиновная ответственность → санкция
- Нотариус-регистратор · появилась — Форма сделки и ничтожность, состав правоустанавливающих, отказники, самозапреты
- Судья-процессуалист · появилась — Доказуемость, ст. 10 и 333, подсудность, бремя доказывания
- Риелтор той стороны · появилась — Что скажут за столом, их экономика и налоги, требования сверх документа
- Переговорщик · появилась — Порядок уступок: что на что меняем и где отдаём авансом
- Чтец на утечки · появилась — Где документ сам учит контрагента приёму. Классы A / B / C / D
- Арбитр · появилась — Снимает дубли, разрешает конфликты, принимает или отклоняет каждую находку явно
Решения о механизме
ведётся руками · 18- 08.09.2026Механизм
Закон арбитра ужесточён: в точность идут только находки, изменившие текст
Мягкий счёт «принято ÷ заявлено» два прогона подряд давал 0,71–0,92 у всех ролей сразу — то есть не различал их вовсе. Введены три правила: «принято к сведению» в точность не идёт; находка без готовой формулировки замены не считается принятой; дубль засчитывается одной роли — той, что назвала механизм полнее. Разброс развело с 0,79–1,00 до 0,50–1,00.
источник: цель, поставленная владельцем на прогон
- 08.09.2026Открытый вопрос
Ужесточённый счёт развёл роли не по той оси и обнуляет проверяющих
Он мерит готовность приносить готовый текст и умение выигрывать дубли, а не ценность находки. Роль, чья работа — отрицательное доказательство (посимвольная сверка реквизитов, контрольные разряды, сверка норм), получила знаменатель ноль: все её находки ушли доменным ролям как дубли, а «проверено и чисто» в точность не идёт вообще. Любая мера вида «принято ÷ заявлено» будет вечно ставить проверяющих в хвост. Направление названо: носителей мерить точностью, проверяющих — покрытием; помечать находку новая или перенос и считать только новые; взвешивать по важности, а не по штуке.
источник: арбитр, самооценка панели
- 08.09.2026Урок роли
Формулировка, однажды вырезанная как рецепт приёма, вернулась в документ при пересборке
Роль нашла в тексте дословный рецепт хода, удалённый после прошлой сделки по отдельной методичке: документ сам называл контрагенту и поле, и содержание приёма, притом что защита стояла рядом трижды и без называния. Регресс пришёл из архивной редакции, откуда переносились формулировки. Отсюда правило: при пересборке документа из прошлых редакций проверять не только то, что добавлено, но и то, что когда-то было намеренно убрано.
источник: прогон панели, критическая находка с вето · роль: utechka
- 08.09.2026Урок роли
Проверялась корректность перекрёстных ссылок, но не их покрытие
Все ссылки документа на чужую форму были верны — и при этом единственная строка чужой формы, которой документ к ней крепится, не была названа ни разу и осталась бы пустой. Корректность и покрытие — разные проверки: первая спрашивает «туда ли ведёт ссылка», вторая — «какие места чужого документа не названы вообще».
источник: прогон панели, нашла красная команда · роль: svyaznost
- 08.09.2026Регрессия
Сторожевая проверка по подстроке осталась зелёной над сломанной ссылкой
Правка убрала из пункта саму очерёдность зачёта, но оставила фразу «установленная настоящим пунктом очередность» — и проверка, искавшая эту фразу, отчиталась об успехе. Роль связности предупредила об этом классе отказа на том же прогоне, до того как он случился. Проверка должна сверять пару: формулировка есть и то, на что она ссылается, тоже есть.
источник: арбитр, проверка результата применения
- 08.09.2026Структура
Журнал прогонов оказался новым каналом экспорта и нёс наружу предмет проверки
Поле проекта в записи прогона заполнялось именем рабочей папки, а свёртка журнала уходит на публичную страницу — то есть предмет попал бы на витрину рядом с типом документа. Фильтр домена в проекте существует, но вызывается в одном месте. Правило прежнее и подтверждено вторым случаем: каждый новый канал, по которому что-то уходит наружу, проверяется на этот фильтр поимённо.
источник: сверка перед публикацией
- 08.09.2026Механизм
Состав панели собирался по предмету и пропустил роль, отвечающую за формат отправки
Ревьюер артефакта не был позван, хотя документ уходит бинарными файлами. Его зона — метаданные, PDF, побочные эффекты сборки — оказалась ровно тем местом, где применение правок провалилось наполовину: собранный файл продолжал объявлять себя машинной сборкой уже после того, как правку сочли внесённой. Чужая оптика нашла проблему, но проследить исполнение было некому.
источник: арбитр, самооценка панели
- 06.09.2026Урок роли
Роль помнила исход прошлого дела наоборот — как поражение вместо победы
В теле роли пример из практики был записан так, что читался как наш проигрыш, хотя исход был обратный: приём противной стороны отбили, деньги вернули и предъявили штраф. Роль, которая держит в памяти поражение вместо победы, смещается к перестраховке — а это ровно её объявленное слепое пятно. То есть пятно сработало на самой роли. Заметил владелец, а не арбитр: реальность весит больше догадки.
источник: реальность — владелец · роль: ataka
- 06.09.2026Структура
Общие законы панели вынесены из двенадцати копий в один файл
Двадцать шесть строк правил и формата отчёта дублировались в каждой роли байт-в-байт — почти половина файла. Правка формата стоила двенадцати правок, а со вторым доменом стоила бы двадцати четырёх.
источник: сверка файлов
- 06.09.2026Механизм
Арбитр отдаёт готовые строки для журналов, а не сырую самооценку
Раньше он писал «что панель пропустила бы в следующий раз», и это оставалось в тексте разбора — до ролей не доходило никогда. Разбор промахов на последнем шаге длинной сессии систематически не доезжает; теперь на этом шаге только копирование.
источник: разбор собственных панелей
- 06.09.2026Механизм
Промах определяется сверкой, а не суждением арбитра
Поводов ровно три, все механические: находка легла в чужую зону, роль повторила ошибку, находку отклонили как неверную. Ни один не сработал — журнал остаётся пустым. Причина жёсткости внешняя: в публичном наборе на 258 звёзд журнал уроков с настроенным автоинжектом простоял год пустым, потому что записывать урок решала модель «по ощущению».
источник: чужой опыт — Mizoreww/awesome-claude-code-config
- 06.09.2026Механизм
Журнал роли ограничен пятью активными строками вместо пятнадцати
В Reflexion — самой цитируемой реализации обучения агента на своих ошибках, 3255 звёзд — окно памяти жёстко обрезано тремя последними рефлексиями: дальше промпт распухает и качество падает. Пятнадцать было выдумано, не измерено.
источник: чужой опыт — noahshinn/reflexion
- 06.09.2026Механизм
Арбитр схлопывает дубли по пяти явным случаям вместо «на глаз»
Расходится оценка серьёзности — берётся высшая без усреднения. Расходятся предлагаемые правки — в отчёт идут обе с именем автора, выбор за владельцем. Одна и та же проблема в разных пунктах разносится с перекрёстной ссылкой: обычно это системная ошибка, а не две случайные.
источник: чужой опыт — wshobson/agents, multi-reviewer-patterns
- 06.09.2026Регрессия
Для шести ролей записаны именованные находки прошлых панелей
Проверка бинарная: нашла эту конкретную дыру или нет. Критерий «нашла N из N» не годится — прогоны шумят, и восемь из одиннадцати может быть шумом, а не деградацией роли. Ground truth брали, пока разборы свежие: через полгода они забудутся.
источник: разбор панели 02.09.2026
- 06.09.2026Структура
Верификатор связности и ревьюер артефакта оставлены разными ролями
План предполагал слить их в одну. Оптики разные: у первого слепое пятно «видит ссылки, не видит смысла», у второго «смысла не оценивает вообще». Слияние стёрло бы оба, а именно они делают панель непохожей на один длинный промпт.
источник: разбор при переносе · роль: svyaznost
- 06.09.2026Открытый вопрос
Состав панели может быть вдвое больше работающего размера
Типовой состав на договор — девять рецензентов плюс арбитр. Два независимых источника называют потолок ниже: в наборе на 39 450 звёзд правило дословно «5+ требует значительной координационной нагрузки», их собственный пресет ревью — три рецензента, максимальный — четыре. Второй набор масштабирует так же: один, два или три в зависимости от объёма правок. Не меняем вслепую: балл 1–5 в формате отчёта заведён ровно для такого замера — прогнать один документ составом из девяти и из трёх, сравнить, что арбитр принял.
источник: чужой опыт — wshobson/agents, team-composition-patterns
- 06.09.2026Структура
Описания ролей не переписываются под триггер-фразы
Самый весомый линт в чужом наборе штрафует за отсутствие фразы «используй, когда…» в описании. К нам не применяется по их же коду: проверка пропускается для компонентов, которые не подбираются моделью по описанию. Наши роли вызываются оркестратором поимённо из ростера. Заносим как проверенное и закрытое, чтобы не переоткрывать.
источник: чужой опыт — wshobson/agents, plugin-eval
- 06.09.2026Открытый вопрос
Арбитр накопил две работы в одном файле
Он вдвое длиннее любой другой роли: разрешение конфликтов и производство уроков живут вместе. Формального нарушения нет — ограничение размера у чужого линтера касается только навыков, не ролей. Но если арбитр начнёт терять пункты формата, резать надо по этому шву: блок уроков уходит отдельным файлом.
источник: замер размеров файлов
Было: точность у всех ролей 0,71–0,92, мера не различает никого. Условие звучало так — если снова ~0,9 у всех, ужесточать закон арбитра, а не радоваться числу. Повторилось: 0,79–1,00 по мягкому счёту. Закон ужесточён, разброс развело до 0,50–1,00.
Ужесточённый счёт развёл роли, но по неверной оси: он мерит готовность приносить готовый текст и умение выигрывать дубли. Роль, чья работа — отрицательное доказательство, получила знаменатель ноль: все её находки ушли доменным ролям как дубли, а «проверено и чисто» в точность не идёт вовсе. Проверяем три правки: носителей мерить точностью, проверяющих — покрытием; помечать находку новая или перенос и считать только новые; взвешивать по важности, а не по штуке. Если проверяющие снова обнулятся — меру снимаем, а не украшаем.
Прогоны YAHIA
ведётся журналом · 3- 08.09.2026договор · сделка-Г · приложение к форме контрагентавызвано 10 · находок 87 · принято 74 · балл 6.5
- 07.09.2026план · ru-games-portfolio · слои авто-QAвызвано 7 · находок 57 · принято 49 · балл 6
- 07.09.2026дизайн · WORK-1731вызвано 8 · находок 46 · принято 31 · балл 6.5
Раздел «Как менялись роли» собирается скриптом из истории репозитория — каждое изменение зоны, слепого пятна и счётчиков видно дословно, вместе с причиной из сообщения коммита. Читается только тот файл, который и так целиком уезжает на эту страницу: тела ролей с разборами конкретных сделок лежат в приватном репозитории и сюда не попадают. Раздел «Решения о механизме» ведётся руками — git знает, что изменилось, но не знает, почему мы поменяли сами правила.