От ощущений к цифрам: как мы оцениваем ИИ-ревью документации
- TechWriterDays / 4
-
40 мин
Когда мы внедряем ИИ в рабочий процесс, первый вопрос обычно звучит так: «Кажется, стало лучше — но насколько?». В ревью документации особенно сложно ответить на него объективно: результат зависит от автора, ревьюера, типа документа и множества других факторов.
Поэтому до внедрения ИИ мы сначала построили систему измерения качества ревью: формализовали категории замечаний, научились собирать и классифицировать комментарии из GitLab и Confluence и определили метрики эффективности кросс- и финального ревью. Так у нас появилась базовая линия, с которой можно было сравнивать результаты после внедрения ИИ.
В докладе я расскажу, как мы превратили комментарии ревьюеров в данные, какие метрики использовали для оценки качества и стоимости ревью и как применили их для сравнения человеческого и ИИ-ревью. Покажу, какие ошибки ИИ научился находить лучше людей, какие по-прежнему требуют участия техписателя и почему скорость ревью сама по себе еще не означает его улучшения.