Как перевести аудио в текст: бесплатные способы и точность

Система расшифровки «слышит» слова совсем не так, как вы. Она нарезает звуковую волну на перекрывающиеся кадры длиной около 25 миллисекунд и превращает каждый в спектрограмму — карту того, какие частоты в этот момент звучат громче всего. Акустическая модель смотрит на эту карту и оценивает, какие звуки речи в ней присутствуют: шипение с, взрыв т, формы гласных, по которым отличают ship от sheep. Сама по себе она выдаёт поток вероятных звуков, а не читаемый текст.

Большую часть работы исправляет языковая модель. Она знает, какие последовательности слов вероятны в настоящих предложениях, поэтому, когда звуки подходят и к recognize speech, и к wreck a nice beach, перевешивает контекст. В старых системах эти две части были раздельными и обучались на ограниченном, аккуратно прочитанном материале. Поэтому программы диктовки 2010-х плохо справлялись с акцентами и разговорной речью.

В сентябре 2022 года OpenAI выпустила Whisper — открытую модель, обученную примерно на 680 000 часов многоязычного аудио из интернета. Она объединяет акустическую и языковую части в одну сеть, читает 30-секундные окна и сразу пишет текст с пунктуацией. Модели этого семейства сделали речь с акцентом, смешанную лексику и неидеальные реальные записи гораздо удобнее для расшифровки, и большинство бесплатных сервисов сегодня, включая браузерные, работают на чём-то подобном. Но они по-прежнему угадывают, а когда звук неразборчив, угадывают гладко, из-за чего ошибки труднее заметить.

Точность обычно измеряют долей ошибочных слов (word error rate): сколько слов заменено, пропущено или выдумано по сравнению с аккуратной расшифровкой человека. Пять процентов ошибок — это одна ошибка на двадцать слов. Кажется немного, пока не заметишь, что ошибки скапливаются на важных словах: фамилии, коде товара, сумме в обсуждении бюджета.

Факторы ниже перечислены примерно в порядке убывания вреда. Почти все они определяются при записи, а не при расшифровке. Переставить телефон из середины стола на расстояние вытянутой руки от говорящего часто даёт больше, чем любая настройка потом.

Большинство записей можно загружать как есть. Подготовка окупается в трёх случаях: файл слишком длинный или большой, речь тонет в тишине или музыке, либо уровень так низок, что приходится выкручивать громкость на максимум. Долгая тишина в начале — это не только потеря времени: автоопределение выбирает язык по первым 30 секундам и может ошибиться из-за шума комнаты или заставки. Чтобы этого избежать, обрежьте запись до части с речью или задайте Начало, чтобы пропустить лишнее.

Конвертация формата нужна редко. Голосовые заметки iPhone — это M4A (аудио AAC), диктофоны Android создают M4A, AAC или 3GP, а программы записи звонков часто создают AMR; все эти файлы можно загружать напрямую. Конвертация сжатого файла в WAV не вернёт детали, потерянные при записи, как объясняет сравнение в нашем руководстве по MP3, WAV, FLAC и AAC, поэтому конвертируйте, только если инструмент не принимает формат. Запись на несколько часов разделите в естественных паузах, например на перерыве или при смене темы, чтобы каждая часть укладывалась в лимит загрузки и её было проще вычитывать.

Выбирайте формат вывода по тому, что будет дальше. Если расшифровку нужно читать, цитировать или искать в ней, подойдёт простой текст или Word; Word сохраняет абзацы, отметки времени и метки говорящих в удобном для правки виде, а PDF нужен, чтобы отправить неизменяемую копию. Если слова должны появиться на экране поверх видео, нужен файл субтитров: SRT или VTT разбивают речь на короткие реплики с временем начала и конца, а длина строки определяет, сколько помещается на экране. Обычный телевизионный стандарт — сорок две буквы в строке.

SRT и VTT несут одну и ту же информацию с небольшими отличиями. SRT, из старой программы SubRip, нумерует каждую реплику и пишет время с запятой (00:01:15,000). WebVTT — формат W3C для видео HTML5; он начинается с заголовка WEBVTT, использует в времени точку и допускает оформление и позиционирование. YouTube, Vimeo, Premiere Pro и DaVinci Resolve принимают оба. JSON с таймингами по словам нужен разработчикам, которые делают поиск, подсветку в стиле караоке или собственную раскладку субтитров.

Прежде чем что-то загружать, посмотрите, что умеют ваши устройства. Apple добавила расшифровку в приложение «Диктофон» в iOS 18, так что запись на свежем iPhone может показывать текст прямо в приложении. Приложение Recorder от Google на телефонах Pixel с 2019 года расшифровывает речь во время записи полностью на устройстве и умеет различать говорящих. В Microsoft 365 у Word для веб есть команда Расшифровать рядом с Диктовать: она принимает загруженные файлы MP3, M4A, WAV и MP4 в рамках ежемесячного лимита минут. Голосовой ввод в Google Docs (меню «Инструменты», в Chrome) слушает только живой микрофон и не читает готовые файлы.

Ещё один источник — платформы для встреч. Zoom, Microsoft Teams и Google Meet могут создать расшифровку звонка, если включена транскрипция и это разрешает ваш тариф или организация, а помощники вроде Otter.ai подключаются к встречам и ведут заметки. Это удобно для звонков, которые вы проводите сами, но каждый сервис работает только в своём приложении, требует согласия всех на запись и экспортирует в своих форматах. Для уже готового файла, например старого интервью, записи лекции или голосового сообщения, пересланного кем-то, проще обычно воспользоваться файловым транскрибером.

Браузерный инструмент закрывает то, чего нет во встроенных возможностях: файлы с любого устройства, субтитры и языки, которых нет в вашем телефоне. В конвертере аудио в текст добавьте файл, оставьте в поле Язык речи автоопределение или выберите язык сами, укажите Вывод и при необходимости включите Отметки времени или Метки говорящих. Для голосовых заметок iPhone есть отдельная страница M4A в текст, для подкастов и файлов диктофонов — MP3 в текст; работает один и тот же движок. Размер файла — до 95 MB, это примерно полтора часа MP3 с битрейтом 128 kbps. Для более длинных записей используйте Начало и Конец, чтобы расшифровывать по частям, или сначала обрежьте запись.

Не ждите слишком многого. Один говорящий на хорошем микрофоне в тихой комнате обычно даёт 90–95% правильных слов и выше, и после лёгкой правки текст часто готов к публикации. Телефон на столе в шумном ресторане, конференц-звонок с обрывами или дискуссия, где перебивают друг друга, могут дать намного хуже, с пропавшими целыми предложениями. Метки говорящих надёжны, когда голоса явно различаются и люди говорят по очереди, а два похожих голоса путаются чаще, чем можно подумать.

Вычитывайте с открытым аудио, а не только по тексту: современные модели пишут грамматически правильные предложения, даже когда ошибаются. Проверяйте каждое имя собственное — модель не знает, что вашу коллегу зовут Кейтлин, а не Кателин. Проверяйте каждое число: пятнадцать и пятьдесят, даты, цены и проценты легко расслышать неверно. Следите за омофонами вроде their/there, affect/effect и complement/compliment и за уверенным «заполнением» там, где звук был неразборчив. Отметки времени ускоряют проверку: можно сразу перейти к моменту, где прозвучала сомнительная строка.

Запись часто содержит больше личных данных, чем документ: голоса, имена, сведения о здоровье, размеры зарплат. Перед загрузкой выясните, куда попадает файл и как долго он там хранится. На UltKit загруженные файлы обрабатываются на сервере и автоматически удаляются через 30 минут после обработки; аккаунта нет, поэтому ничто не привязано к вашему имени. Pixel Recorder работает офлайн, так что аудио не покидает телефон. Если на запись распространяется соглашение о конфиденциальности, врачебная или адвокатская тайна, сначала проверьте политику своей организации: в некоторых допускаются только одобренные сервисы, с которыми заключен договор.

Поддержка языков широкая, но неравномерная. Транскрибатор работает с 33 языками, среди них английский, испанский, французский, немецкий, португальский, арабский, хинди, японский, корейский, китайский и украинский, а лучшие результаты получаются на языках с наибольшим объемом обучающих данных. Автоопределение выбирает один язык на весь файл. Если во время встречи разговор переходит с одного языка на другой, расшифруйте каждый фрагмент отдельно, задав язык вручную. Расшифровка всегда пишется на том языке, на котором говорили; перевод — отдельный шаг, который вы делаете потом с готовым текстом.

Большинство неудачных расшифровок сводится к нескольким причинам, и решение обычно кроется в самом файле или в одной настройке, а не в смене сервиса. Если звук настолько плохой, что вам самим трудно его разобрать, машине будет так же сложно, и короткая ручная расшифровка важных фрагментов может оказаться быстрее, чем исправление длинной автоматической.