Много внимания было уделено блоку аналитики звонков.
Главной её составляющей стала аналитика отказов. Здесь стояла задача оценивать именно уже произошедшие отказы. Поэтому нейросеть берет только сделки из этапа «нереализованные».
Самым сложным для аналитики стал критерий «перечень вопросов», определяющий, обо всех ли важных моментах менеджер спросил клиента. Загвоздка была в том, что многие темы вопросов носили пограничный характер, соответственно, «объяснить» нейросети, какие фразы должны были считаться выполнением критерия, а какие — нет, было проблематично. Например, менеджеры школы должны обговаривать с клиентом тайминг: график и время обучения (кому-то удобно учиться днём, а кому-то — по вечерам). А нейросеть считала выполнением этого критерия любое упоминание сроков или времени.
Такие препятствия преодолеваются только итеративным дообучением ИИ. Мы правили системный промпт, давали нейросети 15−20 реальных звонков на оценку и вместе с заказчиком смотрели, как много брака будет в её аналитике. Упор мы делаем на звонки, получившие от искусственного интеллекта низкую или нулевую оценку (на этом проекте, например, на одной из итераций из 27 звонков такие баллы получили 12 диалогов. Оказалось, что все они — нецелевые).
Далее — опять же совместно с заказчиком — мы определяли, какие фразы и термины нейросеть должна «отсекать», снова редактировали системный промпт, и цикл повторялся.
Этот проект потребовал шесть таких итераций, которые заняли дву месяца.
Школа предоставила нам большое количество выборок звонков по различным разрезам: по сегментам, темам, менеджерам, воронкам; звонки с качественными продажами и не очень; а также вообще нецелевые звонки.
Широкая выборка данных позволила полноценно обучить bewise и научить ИИ максимально корректно определять темы и ставить оценки. В случае Uprav без этого реализовать качественную отработку критерия «перечень вопросов» вряд ли бы получилось, т.к. он подразумевает очень жесткое следование своим трактовкам.