ИИ-анализ звонков и встреч: как мы связали записи, расшифровку и задачи

Проект под NDA. Название заказчика и конфиденциальные детали не раскрываются.

Мы разработали ИИ-сервис анализа звонков и встреч, который превращает аудио- и видеозапись в рабочий материал: расшифровку с участниками и таймкодами, содержание разговора, договорённости и задачи. Решение подключается к другим системам через API и помогает использовать информацию из коммуникаций в ежедневных процессах компании.

Проект создавался для агентства недвижимости. Мы связали обработку записей с CRM, аналитической системой и Telegram-ботом, предусмотрели облачный и локальный варианты работы. Наша задача состояла в том, чтобы собрать общий сервис, который можно использовать из разных инструментов и настраивать под содержание конкретных разговоров.

Бизнес-задача: сохранить контекст после разговора

В звонке клиент рассказывает, что ищет, называет бюджет и ограничения, задаёт вопросы и возражает. Менеджер предлагает варианты, обещает отправить материалы или договориться о следующем контакте. Эти сведения остаются внутри записи, пока сотрудник не переслушает её и не перенесёт заметки в рабочую систему.

При большом количестве коммуникаций руководителю трудно быстро восстановить контекст: о чём договорились, что важно клиенту и какие действия ещё нужны. Обычная транскрибация разговора решает только часть задачи. Поэтому мы объединили распознавание речи, определение говорящих и смысловой анализ в одном процессе. Такая речевая аналитика связывает содержание коммуникаций с задачами сотрудников.

Что возвращает сервис анализа разговоров

• Расшифровку аудио или видео с разделением по говорящим и таймкодами.
• Роли участников и имена, если они прозвучали в разговоре.
• Основные темы, содержание обсуждения, решения и договорённости.
• Задачи с исполнителями и сроками, когда они обозначены в записи.
• Следующие шаги, открытые вопросы и риски.

Мы предусмотрели настройку анализа под рабочий процесс. Для звонков по недвижимости отдельно выделяются бюджет, район, требования к объекту, возражения клиента и договорённость о показе. Эти сведения помогают восстановить контекст и продолжить взаимодействие с покупателем, не собирая заново всё содержание разговора.

Этапы реализации сервиса

Спроектировали единый API и форматы результата

Мы сделали входом файл или ссылку на запись, а результат разделили на два формата. Структурированный JSON подходит для интеграции с CRM и дальнейшей автоматизации. Текстовый разбор доступен по защищённой ссылке и удобен человеку, которому нужно прочитать содержание встречи.

Такой интерфейс позволяет нескольким системам использовать одну обработку записей. CRM, аналитическая платформа и Telegram-бот передают задания в общий сервис. Предусмотрено также подключение ИИ-ассистентов через MCP.

Собрали последовательную обработку аудио

Мы организовали обработку по этапам: подготовка аудио, распознавание речи, определение говорящих и смысловой разбор. Для подготовки файлов использовали FFmpeg. Разделение этапов позволяет учитывать особенности записи и получать результат, в котором текст связан с участниками и временными отметками.

Для длинных разговоров реализовали разделение по паузам и последующее объединение фрагментов. При сборке результата важно сохранить участников и таймкоды, иначе по итоговому тексту будет трудно вернуться к нужному месту исходной записи.

Добавили фоновую обработку

Расшифровка длинной встречи занимает время. Мы вынесли задания в фон: клиентская система может отслеживать статус обработки и забрать готовый результат. Это позволяет встроить анализ аудио в рабочий процесс без ожидания в одном продолжительном запросе.

Для эксплуатации предусмотрели очередь заданий, авторизацию и управление хранением результатов. Вместе с API эти компоненты делают обработку записей отдельным сервисом, который обслуживает несколько источников.

Реализовали облачный и локальный режимы

Оба варианта доступны через одинаковый интерфейс. В облачном режиме используются модели OpenAI. Локальный выполняет распознавание и анализ на собственной машине компании без отправки материалов в OpenAI. Это даёт возможность выбирать инфраструктуру с учётом требований к данным и доступных вычислительных ресурсов.

Для локальной обработки мы использовали GigaAM, Whisper, pyannote и Qwen, включая запуск на Apple Silicon через инструменты MLX. Клиентская интеграция при этом работает с тем же форматом задания и результата.

Основные сложности и принятые решения

Связь текста с записью. Одного краткого пересказа недостаточно, если нужно проверить детали. Мы сохраняем таймкоды и разделение по говорящим, чтобы результат анализа оставался связан с исходным разговором.

Длинные записи. При обработке фрагментов важно не потерять последовательность и участников. Мы использовали разделение по паузам и объединение результатов с сохранением временной структуры.

Разные задачи бизнеса. В продажах важны потребности и возражения, а во внутренней встрече — решения и поручения. Поэтому состав смыслового анализа настраивается под процесс.

Неполные сведения в разговоре. Имя, исполнитель или срок могут не прозвучать. Мы строим результат вокруг информации из записи: такие поля заполняются, когда соответствующие сведения обозначены, а не выводятся из догадок.

Технологии и интеграции

Сервис построен на Python, FastAPI и FFmpeg. Облачная обработка использует модели OpenAI, локальная — отдельный набор моделей распознавания, определения говорящих и анализа. Развёртывание поддерживает Docker либо systemd и Nginx. Внешние системы взаимодействуют с сервисом через API, а результат может использоваться как человеком, так и следующим этапом автоматизации.

Результат и использование в рабочих процессах

Мы получили общую основу для автоматизации работы с разговорами, подключённую к нескольким инструментам. В документации проекта за 14–22 октября 2026 года зафиксирована 261 задача, из них 238 поступили от интеграции с CRM. Это показывает использование сервиса в ежедневном процессе обработки коммуникаций.

Результат проекта — переход от отдельного файла с записью к структурированному содержанию, которое можно прочитать, проверить и использовать в других системах. Подход подходит для анализа звонков продаж, клиентского сервиса и внутренних встреч; состав полей и сценарии интеграции определяются задачей компании.

Как начать внедрение анализа звонков

На консультации по внедрению ИИ можем разобрать ваши записи, требования к данным и процесс работы с результатом. Поможем спроектировать решение для вашей команды или подготовить отдельную интеграцию. Посмотрите также, как мы используем коммуникации в аналитике рекламного продвижения.

Обсудить анализ звонков и встреч для вашего бизнеса