Життєвий цикл і оцінювання subagentʼа

Subagent потрібно оцінювати протягом життєвого циклу

Subagent — не одноразовий prompt, а командний артефакт. Його створюють, тестують, версіонують, переглядають, оновлюють і, якщо потрібно, видаляють. Мета оцінювання — перевірити, чи агент передбачуваніший і корисніший за звичайний prompt у новій сесії.

Одна корисна знахідка не виправдовує агента, який створює багато шуму або порушує межі ролі.

Етапи життєвого циклу

1. Створіть початкову версію агента.
2. Перевірте її на 3–5 невеликих контрольованих прикладах.
3. Зафіксуйте помилки й типові failure modes.
4. Зменште набір інструментів і уточніть output contract.
5. Додайте версію та CHANGELOG.
6. Передайте агента команді й збирайте відгуки.
7. Оновлюйте, обмежуйте або позначайте агента як deprecated.
8. Видаліть його, якщо він стабільно приносить більше шкоди, ніж користі.

Контрольований evaluation case

Задача: знайти регресію в refund flow
Дозволені файли: tests/, src/test/
Заборонені дії: змінювати production-код
Очікуваний результат: regression cases і evidence
Критерії успіху:
- наведено докази;
- межі ролі дотримано;
- команди та exit codes записано;
- гіпотези позначено.

Evaluation checklist після запуску

• Чи наведені докази для висновків?
• Чи змінювалися production-файли?
• Чи дотримано область і роль?
• Скільки було хибних і корисних висновків?
• Чи потрібна надмірна ручна фільтрація?
• Роль залишити, переробити, звузити чи прибрати?

Типові failure modes