От ощущений к цифрам: как мы оцениваем ИИ-ревью документации

Когда мы внедряем ИИ в рабочий процесс, первый вопрос обычно звучит так: «Кажется, стало лучше — но насколько?». В ревью документации особенно сложно ответить на него объективно: результат зависит от автора, ревьюера, типа документа и множества других факторов.

Поэтому до внедрения ИИ мы сначала построили систему измерения качества ревью: формализовали категории замечаний, научились собирать и классифицировать комментарии из GitLab и Confluence и определили метрики эффективности кросс- и финального ревью. Так у нас появилась базовая линия, с которой можно было сравнивать результаты после внедрения ИИ.

В докладе я расскажу, как мы превратили комментарии ревьюеров в данные, какие метрики использовали для оценки качества и стоимости ревью и как применили их для сравнения человеческого и ИИ-ревью. Покажу, какие ошибки ИИ научился находить лучше людей, какие по-прежнему требуют участия техписателя и почему скорость ревью сама по себе еще не означает его улучшения.

Комментарии ({{Comments.length}})
  • {{comment.AuthorFullName}}
    {{comment.AuthorInfo}}
    {{ comment.DateCreated | date: 'dd.MM.yyyy' }}

Для того чтобы оставить комментарий необходимо

или
Напишите нам, мы онлайн!