跳到正文
Chandler Nguyen
AI閱讀時間2分鐘

我試過喺 16 GB Mac 用本機語音 App 取代 ElevenLabs

VoiceStudio 以完全本機運作嘅 ElevenLabs 替代方案身分登上 GitHub Trending。我將佢裝落一部 16 GB Mac,撞到示範入面冇人展示嘅故障,再用最後企得穩嘅處理流程製作課程中文版同韓文版。

VoiceStudio 喺 9 月登上 GitHub Trending #1。最吸引我嘅係段描述:開源、完全喺本機運作嘅 ElevenLabs 替代方案——語音複製、配音、646 種語言目錄,唔使帳戶、唔使 API 密鑰,亦冇按字符收費嘅賬單。

英文同埋日文旁白,我已經俾咗 ElevenLabs 接近 $200。所以呢個唔係抽象問題。16 GB Mac 行唔行到呢樣嘢?安裝設定有幾難?把聲夠唔夠好,可以擺喺付費客戶面前?如果答案係可以,噉 ElevenLabs 究竟賣緊咩,係本機 App 畀唔到嘅?

呢次實驗嘅 git 歷史由 2026 年 10 月 17 日(第一次本機 TTS 規格提交)去到 10 月 26 日(兩個本地化版本都起好)。前後係九日,唔係一季。中文同韓文音頻都已經完整:各 258 對旁白,總長 3 小時 06 分同 3 小時 25 分。

VoiceStudio 實際上係咩

VoiceStudio 係一個桌面 App,唔係要你一直睇住嘅 Python 腳本。佢包裝咗一個本機 API,喺同一個介面提供 16 個 TTS 引擎同 11 個語音識別引擎嘅目錄。佢支援 macOS、Windows、Linux 同 Docker。App 採用 AGPL-3.0(代碼倉庫,2026 年 10 月 25 日檢索)。

截至 10 月 25 日,呢個倉庫有大約 85,000 個星標,距離佢喺 2026 年 4 月 9 日建立只有大約六個月。9 月最少有兩日,佢係 GitHub Trending 嘅榜首倉庫。第一個意外係授權條款。App 係開源,但模型權重唔會自動跟同一套授權。預設嘅 OmniVoice 引擎有另外嘅條款,而預訓練權重係非商用(模型卡,2026 年 10 月 25 日檢索)。我最終用嘅 CosyVoice 3 係 Apache-2.0,VoxCPM2 都係 Apache-2.0。

呢個區別係第一個真正嘅教訓。「開源 ElevenLabs 替代方案」講嘅係應用程式,唔係權重、聲音或者輸出。如果你要將佢用喺收費工作,就要自己逐個引擎查清楚授權嘅來龍去脈。

16 GB Mac 行唔行到?

行到。不過唔係次次都順,亦唔一定行到你想用嘅引擎。

安裝設定唔算難。裝 App、打開、揀引擎、等佢下載權重。難嘅係搵到一個引擎,可以喺呢部機上面唔會中途冧檔,將 258 張幻燈片嘅批次行完。

我最初試 VoxCPM2。佢用 Apple 嘅 MPS,把聲幾好。但喺 16 GB Apple Silicon Mac 高負載之下,可用記憶體跌到大約 8%,交換空間升穿 9 GB,請求開始逾時。模組 1 嘅試行喺我停低佢之前,只完成咗 36 張入面嘅 1 張。模型唔係把聲產生得差,而係喺記憶體壓力下完成唔到長批次。

我轉用 CPU 上嘅 CosyVoice 3,佢完成咗成批工作。參考音頻必須不超過 30 秒,呢個喺複製聲音時係實際限制。我用嘅 30 秒樣本係 24 kHz 單聲道。

之後批次照樣失敗,而今次嘅原因同模型無關。

嗰個睇落似模型問題嘅故障

一個鐘之後,我淨係得到 258 組入面嘅 4 組音頻配對。日誌先出現重試,跟住係本機 worker 池嘅 429,然後係孤兒任務。好自然會認為,本機引擎處理唔到中文。

其實佢處理到。問題出喺 Node 嘅 fetch。佢嘅預設標頭逾時係五分鐘。有啲中文幻燈片要五至七分鐘先合成到。客戶端喺 worker 仲生成緊嘅時候放棄請求,然後重試,再將同一張幻燈片嘅第二個任務排入隊列。隊列入面塞滿咗已經冇人等候嘅工作。

如果伺服器仲處理緊你放棄咗嘅請求,重試就唔係修復方法。

將語音請求改為經過逾時較長嘅 Node http/https 傳輸之後,模組 1 完成咗 36/36。第一個完整中文檢查點達到 258/258 組,旁白總長 3 h 05 m 57 s。由第一個檔案到最後一個檔案,前後歷時 28 h 12 m 41 s。呢個數字包括故障、暫停、加固同重試,唔係一次乾淨嘅合成基準測試。最慘嘅一張幻燈片,三次嘗試共用咗 37 分鐘。

呢個就係本機推論嘅真實樣貌。模型唔係一個可以用示範速度將文字變成音頻嘅魔法盒。佢係一項有長尾嘅批次工作,而工程工作就喺嗰條長尾入面。

部機決定咗架構

16 GB Mac 唔係 TTS 伺服器。普通幻燈片 2–6 分鐘完成;極端嗰啲要 13–23 分鐘。最慘嘅一張三次嘗試用咗 37m 09s。流程入面每一項實質改進,都係為咗令工作喺呢部慢機上面生存到,唔係為咗喺速度上打贏託管服務。

最後留低嘅控制措施:

  • TtsEngine 抽象層,令本機同託管旁白可以明確選擇,而唔係寫死。呢個抽象層喺 10 月 19 日落地,本機選擇功能就喺 10 月 21 日加入。
  • 符合實際工作嘅傳輸逾時,因為預設五分鐘嘅假設,比實際工作所需時間仲短。
  • 單一運行鎖同 worker 鎖、失敗即停,以及重試前排空 worker,因為向一個繁忙引擎重試,根本唔算重試。
  • 可以續跑嘅句子分塊,因為將一張 30 分鐘嘅幻燈片由零重跑,浪費嘅係呢部機唯一稀缺嘅資源。
  • 安全替換,因為失敗嘅新版本唔可以毀掉好嘅舊版本。
  • 每個模組重置 worker,預防長時間運行入面嘅記憶體漂移。
  • 取樣率正規化,因為有一次組裝將 24 kHz 同 44.1 kHz 嘅片段拼埋,整出一條 63 分鐘嘅音軌。喺檢查時長之前,佢睇落係一個好似冇問題嘅檔案。
  • caffeinate -i,到 10 月 24 日——第八日——先寫入文件。之前我一直喺一部隨時可以瞓着嘅 Mac 上行幾個鐘嘅批次。呢行係成條流程入面最唔高級嘅一行,亦可能係最重要嘅一行。我覺得自己似個新手。事實上,我就係新手。

重點唔係條流程有幾勁,而係流程本身就係產品。呢八日都落咗喺令一個慢速本機引擎表現得似基礎設施:失敗即停、由斷咗嘅位置續跑、永遠唔用未驗證嘅新版本取代好版本,同埋保持部機清醒。

點解冇廣東話版

10 月 21 日,我將廣東話由呢個項目撤走。原因係證據,唔係理念:呢個課程冇一條經過驗證嘅本機廣東話路徑。VoxCPM2 唔支援 yue。CosyVoice 有列出 yue,但我仲未針對呢個課程驗證。我本來可以將一個估測發佈出去,或者用一把冇人聽過佢講呢種語言嘅聲音。一個錯嘅廣東話版,比冇廣東話版更差。網站嘅文章仍然保留 zh-HK 語言區域;課程係簡體中文,唔係繁體中文或者廣東話。

即使模型未驗證某種語言,流程都可以產生嗰種語言嘅檔案。最後嘅關卡,必須係由人話「唔得」。

258/258 唔等於正確

第一個完整中文檢查點入面,有 16 張幻燈片至少缺咗一句。幻燈片數目係啱嘅,音頻配對都存在,但仍有十六張幻燈片嘅旁白係錯。呢啲問題透過對照講稿檢查文字覆蓋率搵出嚟,再逐一修復。

呢件事改變咗驗收門檻。「所有檔案都存在」變成「所有檔案都存在,旁白覆蓋講稿,而且每個模組嘅樣本都已經聽過」。完全一致先係門檻;全綠嘅批次唔係產品。

質素夠唔夠用?

我聽過嘅修復後樣本,對呢個課程嚟講夠用;完整驗收係另一道門檻。呢個係負責人作出嘅判斷,唔係認證。

我用本機 ASR 轉錄音頻,再同講稿比較。早期抽查嘅平均值係 0.903,完整中文檢查點嘅平均值係 0.908。呢啲係正規化文字相似度分數,唔係自然度或者說話者相似度嘅衡量。最慘嘅一張——模組 4 第 8 張——得分 0.776;佢聽錯咗一個品牌名。模組 6 一張語碼切換嘅幻燈片,先產生無意義內容,跟住重複段落,然後截斷;按句子分塊之後修復到 0.909。

把聲清晰、前後一致,而且喺我把耳仔聽嚟,明顯係我把聲。佢冇 ElevenLabs 嗰種細緻度。中文版同韓文版冇經人類母語人士逐行編校;我用 AI 編輯器審核,亦聽咗樣本。呢個限制應該寫喺課程頁面,唔止寫喺博客入面。

如果你嘅標準係「聽落似錄音室配音」,就俾錢請人。如果你嘅標準係「清晰、一致、係我把聲,而且夠用嚟教學」,而家本機方案已經做得到。

成本有幾多

ElevenLabs:英文同埋日文旁白,包括語音複製,接近 $200。

本機:一部 Mac;呢幾輪處理冇額外按字符收費嘅 TTS 賬單,亦冇雲端 TTS 或者 ASR 支出。第一個中文檢查點前後用咗 28 小時,換嚟 3 小時音頻,另外仲有上表嘅工程同 QA 時間。電費冇量度。

呢 $200 買到嘅係一把聲、一套工作流程,同埋由別人負責維持嘅正常運行時間。本機路徑買到嘅係少啲依賴託管旁白 API、喺本機處理聲音,同一張唔會隨每次重新渲染而增加嘅賬單;代價係為一個根本唔喺模型入面嘅逾時問題,投入咗幾日工程工作。翻譯起草仍然用雲端 Claude;只有旁白同 ASR 留喺 Mac。

噉 ElevenLabs 有幾難被取代?

呢度我要小心講,因為一部 Mac 上面嘅一個課程,唔係一個市場。

對呢次工作負載嚟講,改變嘅係新增旁白成本。如果你獲授權複製呢把聲,工作係批次處理,你可以驗證輸出,亦可以容忍緩慢嘅長尾,本機推論就可以免去再做一遍或者加多一種語言嘅按字符成本。對為批次流程揀 API 嘅開發者嚟講,呢個係實際要考慮嘅因素。

託管服務仍然提供嘅嘢,就更難取代:

  • 質素上限。 我喺本機測到嘅輸出,唔係我聽過最好嘅託管服務聲音。
  • 延遲。 本機批次每張幻燈片要幾分鐘。一個即時回應嘅產品,係另一道工程問題。
  • 營運可靠性。 我要排查五分鐘逾時、記憶體上限、worker 排空同授權條款。
  • 聲音權利同合規。 語音複製係法律層面,唔係一個功能。使用託管 API,並唔會將客戶確保自己持有相關權利同已取得同意嘅責任轉移出去。
  • 廣度。 CosyVoice 列出支援我四種發佈語言;我驗證咗中文,韓文驗證仲進行緊。一個全球產品需要多得多嘅語言。

誠實嘅結論比「開源殺死 ElevenLabs」窄得多。本機推論改變咗我呢套批量重新渲染工作負載嘅計算方式,但冇取代嗰個喺互動延遲、豐富嘅聲音目錄、合約支援或者特定質素上限重要時你會使用嘅產品。呢啲只係我由一個項目得出嘅判斷,唔係市場預測。

點解呢件事變成一個課程故事

我一開始唔係想寫語音模型,而係想將一個課程做成更多語言版本,多到靠我一個人做唔晒。

中文版同埋而家做緊嘅韓文版,用嘅都係呢個課程所教嘅同一套營運模式:研究、規劃、起流程、驗證輸出,再保留必須由人負責嘅部分。一個廣告營運人員,Claude 起草翻譯,本機開放權重聲音模型負責旁白,冇本地化供應商,亦冇配音工作室。

我就係將呢套營運模式嘅一部分,用落自己嘅產品上面。

如果你做廣告,仲諗緊 AI 係威脅定槓桿,呢個就係槓桿嗰一面。你唔需要大團隊。你需要嘅係品味、一份檢查清單,同埋排除最後一公里故障嘅意願。

我會點同另一位開發者講

  • 幾時試本機:你獲授權複製呢把聲,工作係批次處理,你可以驗證輸出,亦可以容忍緩慢嘅長尾。
  • 幾時為託管服務俾錢:你需要即時低延遲、豐富嘅聲音目錄、合約訂明嘅正常運行時間,或者特定嘅質素上限。
  • 先檢查權重授權條款,再將收費產品建喺一個「開源」App 上面。AGPL-3.0 喺佢嘅條件下允許商用;模型權重同聲音權利係另外兩個問題。
  • 測試最壞情況,唔係示範。最壞情況唔係長啲嘅提示詞,而係一張好長嘅語碼切換幻燈片、一次傳輸逾時同一個重試隊列同時出現。

常見問題

16 GB Mac 行到本機語音複製嗎?

行到。CosyVoice 3 喺 CPU 上運行;VoxCPM2 喺負載下需要嘅記憶體餘量,比呢部機提供到嘅更多。預期每張幻燈片要幾分鐘,唔係幾秒。

開源 TTS 夠唔夠用喺收費課程?

我聽過嘅修復後中文樣本清晰、前後一致,但冇錄音室級嘅打磨。呢個係負責人作出嘅判斷。

VoiceStudio 可以免費商用嗎?

App 採用 AGPL-3.0,喺相關條件下允許商用。模型權重有各自嘅授權條款;OmniVoice 嘅預訓練權重係非商用。發佈之前要逐個引擎檢查。

中文版同韓文版係 AI 翻譯嘅嗎?

係——由 Claude 起草,再由 AI 編輯器審核,唔係由人類母語人士審校。旁白同 ASR 用 CosyVoice 3 同本機轉錄模型喺本機運行;翻譯起草就用咗雲端。

一個 258 張幻燈片嘅課程要幾耐?

中文檢查點:3 小時 06 分音頻前後用咗 28 小時,包括故障同重試;之後仲做咗一輪 16 張幻燈片嘅修復。韓文檢查點:3 小時 25 分音頻用咗 31 小時,包括 worker 卡住之後嘅繞道處理,同埋兩張幻燈片嘅修復。

課程

課程係 AI-Native Media Operations——七個模組、十六個模板,旁白提供英文、日文、簡體中文同韓文。