Шаблон · PDF, 12 страниц + таблица Excel
Шаблон тестового набора для выбора LLM
Рейтинги помогают составить список кандидатов, но не говорят, какая модель справится с вашими регламентами, договорами и обращениями сотрудников. Шаблон проводит команду через неделю сравнения на своих документах: от набора с вопросами-ловушками до протокола решения. PDF, 12 страниц, и таблица Excel, в которой сводная считается сама.
Что внутри
- Порядок недели по дням, роли участников и паспорт выбора с полем «что для нас критичная ошибка».
- Шаблон тестового набора с заполненными примерами, шаблоны вопросов-ловушек и отдельный формат для договоров.
- Протокол прогона и замер скорости на целевом оборудовании.
- Бланк слепой оценки, ключ соответствия и таблица расхождений двух экспертов.
- Сводная таблица, правила чтения результата и протокол решения.
- Таблица Excel: набор на 100 вопросов, бланки экспертов, ключ и сводная, которая считается сама.
Кому будет полезен
- Архитекторы и ИТ-директора — отсев кандидатов по лицензии, памяти и допустимости в контуре, один стенд и протокол прогона.
- Руководители проектов — план недели по дням, роли участников и протокол решения с обоснованием.
- Эксперты из будущих пользователей — вопросы, эталонные ответы, ловушки и бланк слепой оценки.
Шаблон не привязан к конкретным моделям и не содержит числовых порогов качества: что считать критичной ошибкой, задаёт заказчик. Тот же набор прогоняют заново при каждом обновлении модели. Контекст — в статье «Как выбрать LLM под свою задачу и проверить её за неделю».
Получить шаблон на email
Заполните форму — откроется страница со ссылками на PDF и таблицу Excel.