Zamiana mowy na tekst za darmo: metody i dokładność

Silnik transkrypcji nie słyszy słów tak jak Ty. Dzieli przebieg fali na nakładające się ramki trwające ok. 25 milisekund i zamienia każdą w spektrogram, czyli mapę tego, które częstotliwości są w danej chwili głośne. Model akustyczny analizuje tę mapę i szacuje, jakie dźwięki mowy w niej występują: syk s, trzask t, kształty samogłosek odróżniające ship od sheep. Samo to daje ciąg prawdopodobnych dźwięków, a nie czytelny tekst.

Dużą część tej pracy poprawia model językowy. Wie on, jakie ciągi słów są prawdopodobne w prawdziwych zdaniach, więc gdy dźwięki mogą oznaczać recognize speech albo wreck a nice beach, o wyniku decyduje kontekst. Starsze systemy rozdzielały te dwie części i uczyły je na ograniczonym, starannie czytanym materiale, dlatego programy do dyktowania z lat 2010. gubiły się przy akcentach i swobodnej mowie.

We wrześniu 2022 roku OpenAI udostępniło Whisper, otwarty model wytrenowany na ok. 680 000 godzin wielojęzycznych nagrań zebranych z internetu. Łączy on część akustyczną i językową w jedną sieć, która czyta 30-sekundowe okna i od razu zapisuje tekst z interpunkcją. Modele tego typu sprawiły, że mowa z akcentem, mieszane słownictwo i nieidealne nagrania z codziennych sytuacji stały się znacznie bardziej użyteczne, a większość darmowych usług transkrypcji, także narzędzia w przeglądarce, działa dziś na czymś podobnym. Wciąż jednak zgadują, a gdy nagranie jest niewyraźne, zgadują płynnie, przez co ich błędy trudniej zauważyć.

Dokładność mierzy się zwykle współczynnikiem błędów słów: odsetkiem słów, które zostały zamienione, pominięte lub wymyślone w porównaniu ze starannym zapisem wykonanym przez człowieka. 5% błędów oznacza jedną pomyłkę na dwadzieścia słów, co brzmi niewiele, dopóki nie zauważysz, że pomyłki skupiają się na słowach istotnych: nazwisku, kodzie produktu czy kwocie w dyskusji o budżecie.

Poniższe czynniki są ułożone mniej więcej według tego, jak bardzo szkodzą. Prawie wszystkie rozstrzygają się w chwili nagrywania, a nie transkrypcji. Przesunięcie telefonu ze środka stołu na odległość ręki od mówiącego często daje więcej niż jakiekolwiek ustawienie zmienione później.

Większość nagrań można wgrać bez zmian. Przygotowanie opłaca się w trzech sytuacjach: plik jest zbyt długi lub duży, mowę zagłuszają cisza albo muzyka, albo poziom jest tak niski, że trzeba podkręcić głośność do maksimum, żeby cokolwiek usłyszeć. Długi cichy fragment na początku to nie tylko strata czasu, bo automatyczne wykrywanie języka decyduje na podstawie pierwszych 30 sekund i może się pomylić przez szum pomieszczenia lub dżingiel. Przycięcie nagrania do części z mową albo ustawienie Początek, by ją pominąć, temu zapobiega.

Konwersja formatu rzadko jest potrzebna. Notatki głosowe z iPhone'a to M4A (dźwięk AAC), rejestratory z Androida tworzą M4A, AAC lub 3GP, a aplikacje do nagrywania rozmów często AMR; wszystkie te pliki można przesłać bezpośrednio. Konwersja skompresowanego pliku do WAV nie przywraca szczegółów utraconych przy nagrywaniu, jak wyjaśnia porównanie w naszym przewodniku po MP3, WAV, FLAC i AAC, więc konwertuj tylko wtedy, gdy narzędzie odrzuca dany format. Nagranie trwające godzinami podziel w naturalnych miejscach, np. przy przerwie na kawę lub zmianie tematu, aby każda część mieściła się w limicie przesyłania i łatwiej było ją sprawdzić.

Format wyniku wybierz według tego, co będzie dalej. Jeśli zapis będziesz czytać, cytować lub przeszukiwać, odpowiedni jest zwykły tekst lub Word; Word zachowuje akapity, znaczniki czasu i oznaczenia mówców w układzie wygodnym do edycji, a PDF służy do wysłania wersji, której odbiorca nie powinien zmieniać. Jeśli słowa mają pojawić się na ekranie nad wideo, potrzebny jest plik napisów: SRT lub VTT dzielą mowę na krótkie wpisy, każdy z czasem początku i końca, a długość wiersza decyduje o tym, ile mieści się na ekranie. Czterdzieści dwa znaki w wierszu to powszechny standard telewizyjny.

SRT i VTT niosą te same informacje, z drobnymi różnicami. SRT, ze starego programu SubRip, numeruje każdy wpis i zapisuje czas z przecinkiem (00:01:15,000). WebVTT to format W3C dla wideo HTML5; zaczyna się nagłówkiem WEBVTT, w czasach używa kropki i pozwala na stylizację i pozycjonowanie. YouTube, Vimeo, Premiere Pro i DaVinci Resolve akceptują oba. JSON z czasami dla każdego słowa jest dla programistów tworzących wyszukiwanie, podświetlanie w stylu karaoke lub własny układ napisów.

Zanim cokolwiek prześlesz, sprawdź, co potrafią Twoje urządzenia. Apple dodał transkrypcje do aplikacji Dyktafon w iOS 18, więc nagranie wykonane na nowszym iPhonie może pokazać tekst bezpośrednio w aplikacji. Aplikacja Recorder od Google na telefonach Pixel transkrybuje w trakcie nagrywania od 2019 roku, w całości na urządzeniu, i potrafi rozróżniać mówców. W Microsoft 365 Word w przeglądarce ma polecenie Transkrybuj obok Dyktuj, które przyjmuje przesłane pliki MP3, M4A, WAV i MP4 w ramach miesięcznego limitu minut. Pisanie głosowe w Dokumentach Google (w menu Narzędzia, w Chrome) słucha tylko mikrofonu na żywo; nie odczyta istniejącego pliku.

Innym źródłem są platformy do spotkań. Zoom, Microsoft Teams i Google Meet mogą wygenerować transkrypcję rozmowy, jeśli włączono transkrypcję, a Twój plan lub organizacja na to pozwala, a asystenci tacy jak Otter.ai dołączają do spotkań i robią notatki. To wygodne przy rozmowach, które prowadzisz, ale każde z tych rozwiązań działa tylko w swojej aplikacji, wymaga zgody wszystkich na nagrywanie i eksportuje w swoich formatach. Przy pliku, który już masz, np. starym wywiadzie, nagraniu wykładu albo notatce głosowej przesłanej przez kogoś innego, prostsze jest zwykle narzędzie transkrybujące pliki.

Narzędzie w przeglądarce uzupełnia to, czego nie obejmują funkcje wbudowane: dowolny plik z dowolnego urządzenia, pliki napisów i języki nieobsługiwane przez telefon. W konwerterze audio na tekst dodaj plik, zostaw Język nagrania na automatycznym wykrywaniu lub wybierz język samodzielnie, wskaż Plik wynikowy i włącz Znaczniki czasu lub Oznaczenia mówców, jeśli ich potrzebujesz. Notatki głosowe z iPhone'a mają własną stronę M4A na tekst, a nagrania z podcastów lub rejestratorów stronę MP3 na tekst; obie używają tego samego silnika. Każdy plik może mieć do 95 MB, czyli mniej więcej półtorej godziny MP3 128 kbps. Przy dłuższych nagraniach użyj Początek i Koniec, aby transkrybować po częściach, lub najpierw przytnij nagranie.

Miej realistyczne oczekiwania. Jeden mówca przy przyzwoitym mikrofonie w cichym pokoju zwykle uzyskuje 90–95% poprawności lub więcej, często wystarczająco dużo, by po lekkiej redakcji opublikować tekst. Telefon na stole w gwarnej restauracji, telekonferencja z zaniknięciami albo panel, w którym ludzie sobie przerywają, mogą dać wynik znacznie gorszy, z brakującymi całymi zdaniami. Oznaczenia mówców są wiarygodne, gdy głosy wyraźnie się różnią, a ludzie mówią po kolei; dwa podobne głosy mylą częściej, niż można by się spodziewać.

Sprawdzaj tekst z otwartym nagraniem, a nie samym tekstem, bo nowoczesne modele piszą poprawne gramatycznie zdania także wtedy, gdy się mylą. Sprawdź każde nazwisko i nazwę własną, bo model nie może wiedzieć, że Twój kolega pisze je Caitlin czy Katelyn. Sprawdź każdą liczbę: piętnaście i pięćdziesiąt, daty, ceny i procenty łatwo przesłyszeć. Uważaj na homofony, takie jak their/there, affect/effect i complement/compliment, oraz na pewnie brzmiące wypełniacze tam, gdzie nagranie było niewyraźne. Znaczniki czasu przyspieszają tę pracę, bo możesz przeskoczyć do dokładnego momentu, w którym padła wątpliwa wypowiedź.

Nagranie często zawiera więcej danych osobowych niż dokument: głosy, imiona i nazwiska, informacje o zdrowiu, kwoty wynagrodzeń. Zanim je prześlesz, dowiedz się, dokąd trafia plik i jak długo tam zostaje. W UltKit przesłane pliki są przetwarzane na serwerze i usuwane automatycznie 30 minut po przetworzeniu; nie ma konta, więc nic nie jest powiązane z Twoim nazwiskiem. Recorder na Pixelu działa offline, więc nagranie nigdy nie opuszcza telefonu. W przypadku materiałów objętych umową o poufności albo tajemnicą lekarską lub prawniczą najpierw sprawdź politykę swojej organizacji; część z nich wymaga zatwierdzonych usług objętych umową.

Obsługa języków jest szeroka, ale nierówna. Transkrypcja obejmuje 33 języki, w tym angielski, hiszpański, francuski, niemiecki, portugalski, arabski, hindi, japoński, koreański, chiński i ukraiński, a najlepsze wyniki daje w językach z największą ilością danych treningowych. Automatyczne wykrywanie wybiera jeden język na plik. Jeśli spotkanie przechodzi między dwoma językami, transkrybuj każdy fragment osobno, ustawiając język ręcznie. Zapis zawsze powstaje w języku, w którym mówiono; tłumaczenie to osobny krok, który wykonujesz potem na tekście.

Większość nieudanych transkrypcji wynika z kilku przyczyn, a rozwiązanie leży zwykle w pliku lub jednym ustawieniu, a nie w próbowaniu innej usługi. Jeśli samo nagranie jest tak kiepskie, że trudno Ci je zrozumieć, maszyna będzie miała równie duży kłopot, a krótki ręczny zapis kluczowych fragmentów może być szybszy niż poprawianie długiej transkrypcji automatycznej.