Technologie a modely v echo99.

Nativní záznam bez virtuálního audio ovladače

echo99 je nativní aplikace pro řádek nabídek napsaná ve Swiftu. Obě strany hovoru nahrává do dvou oddělených stop výhradně pomocí funkcí systému macOS:

• Systémový zvuk se zachytává pomocí Core Audio process taps, rozhraní, které Apple přidal v macOS 14.4. Žádný BlackHole, žádný Loopback, žádné rozšíření jádra, žádné virtuální výstupní zařízení, přes které by se musel váš zvuk přesměrovávat.
• Zvuk z mikrofonu se zachytává pomocí AVAudioEngine, standardního zvukového enginu macOS, s automatickým zotavením při přepnutí zařízení během hovoru.

Stopy se zapisují jako standardní soubory WAV a záměrně zůstávají oddělené: zvuk z mikrofonu je vždy „Me“ a systémová stopa nese všechny ostatní. Oddělené stopy jsou základem přesného označování mluvčích. Více podrobností najdete v článku jak funguje záznam systémového zvuku.

Modely a jejich hodnocení

Každý z níže uvedených modelů je otevřený, jednou se stáhne ze služby Hugging Face a běží na vašem Macu. Vybíráte je v okně Konfigurace aplikace: řečové modely v Konfigurace → Modely, modely pro shrnutí v Konfigurace → LLM. Název každého modelu odkazuje na původní model od jeho autorů (NVIDIA, pyannote, Google, Qwen a dalších) na Hugging Face; echo99 spouští jejich převody do formátů Core ML a GGUF.

Hodnocení porovnává modely v rámci jedné tabulky, ne napříč tabulkami. Shrnuje naše vlastní testy na vývojových Macích spolu se zveřejněnými kartami modelů. Slouží jako vodítko pro výběr, nejde o benchmark.

Převod řeči na text po hovoru

Když nahrávání skončí, echo99 přepíše obě stopy otevřenými modely Parakeet od NVIDIA, převedenými do Core ML. Tento přepis se ukládá.

Náhled živého přepisu

Volitelné okno náhledu (Konfigurace → Experimenty) ukazuje, co se říká, zatímco se hovor nahrává. Je to jen náhled: uložený přepis vždy pochází z modelu pro přepis po hovoru výše a náhled nahrávání nijak neovlivní.

Rozlišení mluvčích

Diarizace (rozlišení ostatních hlasů) běží pouze na systémové stopě; váš mikrofon je vždy „Me“. V Konfigurace → Modely najdete online diarizér pod názvem speaker-diarization a offline diarizér jako speaker-diarization (offline).

Shrnutí: lokální jazykový model

Shrnutí píše malý otevřený jazykový model, který běží na vašem Macu. Na Macu s čipem Apple běží na GPU přes Metal, na Macu s procesorem Intel na CPU. Každý model je soubor GGUF kvantizovaný na 4 bity:

Každý soubor modelu se stahuje ze služby Hugging Face v pevně dané revizi a před instalací se ověří podle známého otisku SHA-256. Model pracuje s kontextem 32 768 tokenů; přepis, který se do něj nevejde, echo99 nahlásí, místo aby shrnulo jen jeho část. Jak shrnutí používat, popisuje stránka AI shrnutí schůzek.

Pomocné modely

Tři malé modely obstarávají podpůrnou práci. Nemají hodnocení, protože mezi nimi není co vybírat.

Rozpoznávání lidí napříč nahrávkami

Diarizace odděluje hlasy jen v rámci jedné nahrávky. Pojmenování hlasu a rozpoznání dané osoby při příštím hovoru je druhý krok, který také běží na zařízení:

• Hlasový otisk je embedding. Diarizace už každého mluvčího na druhé straně převede na kompaktní číselný embedding, vektor, který zachycuje, jak hlas zní. Když někoho pojmenujete v okně Nahrávky nebo ve Správě hlasů, echo99 tento embedding uloží jako jeho hlasový otisk do souboru galerie na vašem disku.
• Porovnání je výpočet vzdálenosti. V každé další nahrávce echo99 porovná embedding každého mluvčího s hlasovými otisky ve vaší galerii pomocí kosinové vzdálenosti. Pokud nejbližší z nich spadá do prahu spolehlivosti (změřeného na soukromé testovací sadě a záměrně přísného), označí se mluvčí jménem dané osoby; jinak zůstane „Them-N“.
• Nikdy nehádá a sám se neučí. Nejistá shoda zůstane „Them-N“, aby nehrozilo nesprávné jméno, a automatická shoda nikdy nezapisuje zpět do galerie. Ta se rozrůstá jen tehdy, když někoho pojmenujete vy.

Samotné porovnávání je prostý vektorový výpočet a nepotřebuje síť; hlasové otisky vždy vytváří WeSpeaker v2, ať jste vybrali kterýkoli diarizér. Hlasové otisky jsou biometrická data a zůstávají na vašem Macu. Ke každému pojmenovanému hlasu se ukládá i krátká hlasová ukázka z hovoru, kterou si můžete přehrát ve Správě hlasů; ukázky se nikdy neexportují. U nových instalací je rozpoznávání ve výchozím stavu zapnuté. Vypnout ho můžete v úvodním okně nebo později v Konfigurace → Přepis. Návod k rozpoznávání mluvčích popisuje, co to znamená pro vaše soukromí a kontrolu.

Veškeré zpracování AI na vašem Macu

Každý výše uvedený řečový model běží přes Core ML; na Macu s čipem Apple většinu z nich urychluje Apple Neural Engine, diarizér Nemotron 3 běží na CPU. Modely se jednou stáhnou ze služby Hugging Face; poté nahrávání, přepis, označování mluvčích i shrnutí fungují s vypnutou Wi-Fi. Váš zvuk ani přepisy se nikdy neposílají na server. Přepis ani shrnutí se na serveru vůbec nezpracovávají.

Řečové modely na zařízení spouští FluidAudio, open-source sada nástrojů pro Swift od Fluid Inference, která zpřístupňuje tyto řečové modely v Core ML.