Автоматическая расшифровка записей звонков с помощью искусственного интеллекта — настройка интеграции

1. Запрос заказчика и преимущества ИИ

Один из наших заказчиков решил подключить к прослушиванию звонков от клиентов искусственный интеллект.

Ранее в компании этим занимался специальный отдел, но его пришлось упразднить.

Однако потребность в аналитике звонков не исчезла, поэтому заказчик и обратился к нам.

Кейс об использовании искусственного интеллекта для выявления негативных эмоций в звонках менеджеров в Битрикс24 читайте здесь.

Изначально его запрос звучал так: искусственный интеллект, а именно Yandex SpeechKit, слушает и оценивает звонки менеджеров.

Это хороший пример применения ИИ, однако его работа пока что не идеальна, и без проверяющего результаты сотрудника не обойтись.

Об интеграции Битрикс24 с ИИ на основе нейросетей Yandex SpeechKit и YandexGPT для отдела продаж читайте в статье.

После общения с заказчиком и выявления всех потребностей запрос решено было немного углубить.

А именно, прикрутить к интеграции Пинкит нейросеть, которая получит запись звонка от клиента, транскрибирует ее (переведет в текст) и отправит результат в живую ленту, либо в выбранную сущность Битрикс24: лид, контакт или компанию.

После этого менеджеры просмотрят тексты расшифровок звонков и выберут лишь те, которые требуют особого внимания.

Данный сценарий убирает необходимость слушать абсолютно все звонки.

О том, как использовать искусственный интеллект YandexGPT для снятия непродуктивной нагрузки с менеджеров в Битрикс24, читайте наш кейс.

Также к работе можно подключить и YandexGPT, который будет распознавать негатив или стоп-слова в общении, а также оценивать звонок.

Это может пригодится для создания системы мотивации отдела продаж.

Кстати, YandexGPT 2 можно также использовать для разбора писем и сообщений в Wazzup/Авито для интеграции c Битрикс24 — читайте в статье.

Далее переходим к настройке интеграции.

2. Настройка интеграции с ИИ Yandex SpeechKit для выгрузки расшифровки звонка в Битрикс24

Шаг первый: Откуда

Штатная интеграция Битрикс24 автоматически сохраняет запись звонка в “Дело”.

Как только в сделках Битрикс24 появится новое дело типа “Звонок” мы будем забирать данные с портала. В случае необходимости можем назначить ответственного:

Шаг второй: Инструменты

Чтобы расшифровать звонок в текст понадобится несколько инструментов Пинкит:

Инструмент “Получить информацию о звонке”

Используем API-запрос методом GET для получения данных о звонке.

Прописываем следующий URL: /voximplant.statistic.get?filter[CRM_ACTIVITY_ID]={{source.ID}}.

Voximplant - это модуль для использования телефонии в Битрикс24.

Инструмент “Проверка, есть ссылка или нет”

Применяем инструмент “Проверка”. Указываем название поля, которое содержит входящие данные: step1.result.0.CALL_RECORD_URL.

Условие проверки - “Не пустое значение”, действие, которое необходимо выполнить в зависимости от результата проверки - “Продолжить”, в случае успешного прохождения проверки.

Инструмент “Тип элемента”

Настраиваем инструмент “Сопоставление данных”.

Сопоставление нужно настроить по полю source. OWNER_TYPE_ID - это идентификатор связанной сущности CRM, к которой привязано дело.

Это нужно, чтобы выгрузить расшифровку звонка именно в ту сущность, в которой был совершен звонок. Сопоставляем сущности, как на скриншоте:

Инструмент “Скачать файл”

Применяем инструмент “Скачать файл” для получения аудиозаписи звонка. Для этого выполняем запрос методом GET по адресу (URL) {{step1.result.0.CALL_RECORD_URL}}.

Инструмент “Распознать речь”

Последним в списке инструментов идет искусственный интеллект, а именно - Yandex SpeechKit. Она понадобится для расшифровки аудиозаписи звонка.

Инструмент отправляет запрос в Yandex SpeechKit на распознавание аудио. Спустя некоторое время выдается полный текст записи.

Если вы используете Яндекс Облако, для корректной работы сервисного аккаунта выберите роли "ai.speechkit-stt.user" и "storage.uploader".

Поддерживаемые форматы аудио-файлов: LPCM (*.wav), OggOpus (*.ogg), MP3 (*.mp3).

Указываем результат загрузки файла инструментом "Скачать файл" - {{step2}}.

Все инструменты успешно настроены.

Шаг третий: Куда

Выбираем тот же портал Битрикс24, добавляем доступы. Запись выгружать будем в таймлайн.

На втором шаге интеграции сопоставление уже было настроено, так что если звонок будет сделан в сделке, он выгрузится в соответствующий таймлайн.

Шаг четвертый: Сопоставление данных

Сопоставление настраиваем следующим образом:

• ID элемента будет соответствовать ownerId - идентификатору элемента основной сущности, к которому привязано дело;
• Тип элемента берем из предыдущего шага, где сопоставляли сущности и идентификаторы - то есть, указываем в поле соответствия {{step5}};
• Комментарий - это расшифровка звонка, его получаем также из шага “Инструменты”, а именно - {{step3}};
• Автор комментария - указываем ID пользователя, от чьего имени будет создан комментарий в таймлайне, это может быть технический пользователь (бот) или любой сотрудник.

2.5. Шаг 5: Запуск

Даем интеграции наименование, указываем периодичность запросов данных, время отправки первого запроса (или ставим галочку “Выборка за все время”) и запускаем.

Резюмируем

Результат работы интеграции в живой ленте сделки (пример транскрибации звонка) будет выглядеть так:

Настройка подобного сценария автоматической расшифровки текста сразу дает прирост производительности ваших сотрудников.

Менеджеры не фокусируют внимание на проходных звонках, а сразу замечают проблему, которой нужно уделить повышенное внимание.

Плюс все тексты выгружаются в живую ленту сделки в Битрикс24, где идет основной рабочий процесс.

Регистрируйтесь по ссылке: https://lk.pinkit.io/register в личном кабинете Пинкит и попробуйте настроить интеграцию с ИИ по нашей инструкции.

Алексей Окара,
основатель Пинол и продакт-менеджер Пинкит