wb/Qwen3-tts
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Kleineres Modell

Browse Source
This commit is contained in:
Wolf G. Beckmann
2026-06-19 17:22:28 +02:00
parent a5230964cb
commit 404c632cfc
20 changed files with 66 additions and 60 deletions
Download Patch File Download Diff File Expand all files Collapse all files

42
docs/PROJECT_OVERVIEW.md
View File

@@ -41,11 +41,11 @@ DGX-Spark-Maschine mit begrenzter GPU-Speichernutzung ausgelegt
`vllm/vllm-omni:latest-aarch64`, bindet Port `8091` fuer die API und `8092`
fuer die Browser-Oberflaeche, mountet Hugging-Face-Daten sowie Deployment-,
Entrypoint- und UI-Dateien.
- `entrypoint.sh`: startet die Voice-Cloning-Oberflaeche im Container, startet
- `docker/entrypoint.sh`: startet die Voice-Cloning-Oberflaeche im Container, startet
den vLLM-Omni-Server und fuehrt nach erfolgreichem Healthcheck einen
Warmup-Request aus, damit CUDA-Graph-/Compile-Kosten nicht den ersten echten
Nutzerrequest treffen.
- `start.sh`: startet den Compose-Service, filtert relevante Containerlogs in
- `scripts/start.sh`: startet den Compose-Service, filtert relevante Containerlogs in
lesbare Statusmeldungen und wartet auf `/health`.
- `deploy/qwen3_tts.yaml`: aktive Deployment-Konfiguration fuer die zweistufige
TTS-Pipeline, Streaming-Connectoren, Sampling-Parameter und Speicherlimits.
@@ -53,14 +53,14 @@ DGX-Spark-Maschine mit begrenzter GPU-Speichernutzung ausgelegt
Deployment-Konfiguration; offenbar als explizite Streaming-Variante abgelegt.
- `STREAMING_API.md`: detaillierte API-Dokumentation fuer REST, WebSocket,
Session-Protokoll, Audioformate, Segmentierung und bekannte Latenzwerte.
- `test_http.py`: einfacher REST-Test gegen `http://localhost:8091`, schreibt
- `tests/test_http.py`: einfacher REST-Test gegen `http://localhost:8091`, schreibt
`test_output.wav`.
- `test_ws.py`: WebSocket-Streaming-Test gegen
- `tests/test_ws.py`: WebSocket-Streaming-Test gegen
`ws://localhost:8091/v1/audio/speech/stream`, sammelt PCM-Chunks und schreibt
`test_stream_output.wav`.
- `ui/voice-cloning.html`: einfache Browser-Oberflaeche fuer Voice Cloning mit
Referenzaudio, Referenztranskript, Zieltext und Ausgabeplayer.
- `voice_clone_ui.py`: kleiner lokaler Webserver, der die HTML-Oberflaeche
- `docker/voice_clone_ui.py`: kleiner lokaler Webserver, der die HTML-Oberflaeche
ausliefert und REST-Anfragen als Same-Origin-Proxy an den TTS-Service
weiterleitet.
@@ -69,11 +69,11 @@ DGX-Spark-Maschine mit begrenzter GPU-Speichernutzung ausgelegt
Der normale TTS/UI-Service wird gestartet und gestoppt ueber:
```bash
./start_tts.sh
./stop_tts.sh
./scripts/start_tts.sh
./scripts/stop_tts.sh
```
`./start.sh` bleibt als kompatibler Wrapper auf `./start_tts.sh` erhalten. Beim
`./scripts/start.sh` bleibt als kompatibler Wrapper auf `start_tts.sh` erhalten. Beim
Start des TTS-Service wird ein eventuell laufender Clone-Container automatisch
gestoppt. Das Skript startet danach `qwen3-tts`, beobachtet die Logs und beendet
sich erfolgreich, sobald `http://localhost:8091/health` antwortet. Die UI ist
@@ -92,8 +92,8 @@ Voice-Clone-Prompts. Im lokalen vLLM-Omni-Code wird ein gespeicherter oder aus
uebergeben. Fuer einen Voice-Dialog ist deshalb der richtige Betriebsmodus:
```bash
./download_qwen3_tts_base.sh # einmalig, falls das Base-Modell noch fehlt
./start_dialog_tts.sh # startet qwen3-tts mit Qwen3-TTS-12Hz-1.7B-Base
./scripts/download_qwen3_tts_base.sh # einmalig, falls das Base-Modell noch fehlt
./scripts/start_dialog_tts.sh # startet qwen3-tts mit Qwen3-TTS-12Hz-1.7B-Base
```
Danach unter `http://localhost:8092/` die Referenzstimme speichern und fuer
@@ -104,7 +104,7 @@ Referenzaudio kann alternativ ein passender 2048-dim `speaker_embedding` ueber
`/api/voice-vectors` gespeichert und bei jeder Ausgabe mitgesendet werden.
`seed` bleibt zusaetzlich sinnvoll, ersetzt aber keinen Speaker-Anker. Der
Runtime-Patch `patch_qwen3_tts_runtime.py` sorgt dafuer, dass `seed` im
Runtime-Patch `docker/patch_qwen3_tts_runtime.py` sorgt dafuer, dass `seed` im
WebSocket-Pfad tatsaechlich an jedes Segment weitergereicht wird und die
relevanten Werte im Containerlog sichtbar sind.
@@ -114,7 +114,7 @@ REST eignet sich fuer komplette Eingabetexte und liefert standardmaessig eine
WAV-Antwort. Der Testclient nutzt:
```bash
python3 test_http.py
python3 tests/test_http.py
```
WebSocket eignet sich fuer Low-Latency-Szenarien, in denen Text schrittweise
@@ -123,7 +123,7 @@ eintrifft. Eine Session beginnt mit `session.config`, nimmt danach beliebig viel
PCM-Binaerframes oder WAV-Bloecke zurueck. Der Testclient nutzt:
```bash
python3 test_ws.py
python3 tests/test_ws.py
```
Details zu Nachrichtentypen, Timeouts, Audioformaten und externem Zugriff stehen
@@ -132,7 +132,7 @@ in `STREAMING_API.md`.
## Voice-Cloning-Oberflaeche
Die Browser-Oberflaeche laeuft im selben Container wie der TTS-Service. Beim
Start ueber `./start.sh` wird neben der API auf Port `8091` auch die UI auf Port
Start ueber `./scripts/start.sh` wird neben der API auf Port `8091` auch die UI auf Port
`8092` veroeffentlicht:
```text
@@ -179,7 +179,7 @@ optionalen zweiten Container `qwen3-tts-clone` im Compose-Profil `clone`. Er
laeuft auf Port `8093` und wird nur bei Bedarf gestartet:
```bash
QWEN3_TTS_CLONE_MODEL=<lokal-verfuegbares-clone/base-modell> ./start_clone.sh
QWEN3_TTS_CLONE_MODEL=<lokal-verfuegbares-clone/base-modell> ./scripts/start_clone.sh
```
Beim Start des Clone-Service wird der normale TTS/UI-Container automatisch
@@ -187,15 +187,15 @@ gestoppt. Damit laufen TTS und Clone nicht gleichzeitig auf derselben GPU.
`clone_model.sh` bleibt fuer manuelles `status`, `logs` und `unload` erhalten:
```bash
./stop_clone.sh
./clone_model.sh status
./clone_model.sh logs
./clone_model.sh unload
./scripts/stop_clone.sh
./scripts/clone_model.sh status
./scripts/clone_model.sh logs
./scripts/clone_model.sh unload
```
Default fuer den Clone-Service ist jetzt `Qwen/Qwen3-TTS-12Hz-1.7B-Base`.
Wenn das Modell noch nicht im lokalen Hugging-Face-Cache liegt, zuerst
`./download_qwen3_tts_base.sh` ausfuehren oder dem Container funktionierenden
`./scripts/download_qwen3_tts_base.sh` ausfuehren oder dem Container funktionierenden
Internet-/DNS-Zugriff geben.
Der UI-Proxy kennt dafuer diese optionalen Routen:
@@ -217,7 +217,7 @@ den Haupt-TTS-Service.
- `deploy/qwen3_tts.yaml` und `deploy/qwen3_tts.streaming.yaml` sind derzeit
doppelt vorhanden. Wenn beide Varianten dauerhaft gebraucht werden, sollte der
Unterschied dokumentiert oder eine Datei entfernt werden.
- `test_ws.py` installiert `websockets` bei fehlendem Import automatisch per pip.
- `tests/test_ws.py` installiert `websockets` bei fehlendem Import automatisch per pip.
Das ist praktisch fuer lokale Tests, aber fuer reproduzierbare Umgebungen
weniger kontrolliert als eine explizite Requirements-Datei.
- Die Voice-Cloning-Oberflaeche ist ein Client fuer vorhandene API-Felder. Sie

48
docs/VOICE_CLONING.md
View File

@@ -6,8 +6,8 @@ API-Felder und UI-Pfade es gibt und welche Fallstricke (Embedding-Dimensionen,
Stimm-Drift) zu beachten sind.
> Stand: 2026-06-17. Quelle: Code in diesem Repo (`docker-compose.yml`,
> `entrypoint*.sh`, `voice_clone_ui.py`, `ui/voice-cloning.html`,
> `patch_qwen3_tts_runtime.py`, `start_*.sh`) + `docs/PROJECT_OVERVIEW.md`.
> `docker/entrypoint*.sh`, `docker/voice_clone_ui.py`, `ui/voice-cloning.html`,
> `docker/patch_qwen3_tts_runtime.py`, `scripts/start_*.sh`) + `docs/PROJECT_OVERVIEW.md`.
---
@@ -49,28 +49,28 @@ HF-Cache (`/home/guru/vllm/data/root:/root`), laufen aber **nicht gleichzeitig**
(Start-Skripte stoppen jeweils den anderen).
### 1. Haupt-Container `qwen3-tts` (Port 8091/8092/8094)
- Startet via `entrypoint.sh`: `vllm-omni serve`, plus
- Browser-UI (`voice_clone_ui.py`) auf **8092**
- WS-Logging-Proxy (`ws_log_proxy.py`) auf **8094**
- Runtime-Patch (`patch_qwen3_tts_runtime.py`) für Seed-Propagation im WS-Pfad
- Startet via `docker/entrypoint.sh`: `vllm-omni serve`, plus
- Browser-UI (`docker/voice_clone_ui.py`) auf **8092**
- WS-Logging-Proxy (`docker/ws_log_proxy.py`) auf **8094**
- Runtime-Patch (`docker/patch_qwen3_tts_runtime.py`) für Seed-Propagation im WS-Pfad
- Auto-Warmup-Request nach `/health`
- Modell wählbar über `QWEN3_TTS_MODEL`:
- `./start_custom_tts.sh` → CustomVoice (kein Cloning, schnell, Standard)
- `./start_dialog_tts.sh` → **Base** (Cloning + feste Dialogstimmen)
- `./start_tts.sh` / `./start.sh` → respektiert `QWEN3_TTS_MODEL`, Default CustomVoice
- `./stop_tts.sh` → stoppt + entfernt den Container
- `./scripts/start_custom_tts.sh` → CustomVoice (kein Cloning, schnell, Standard)
- `./scripts/start_dialog_tts.sh` → **Base** (Cloning + feste Dialogstimmen)
- `./scripts/start_tts.sh` / `./scripts/start.sh` → respektiert `QWEN3_TTS_MODEL`, Default CustomVoice
- `./scripts/stop_tts.sh` → stoppt + entfernt den Container
### 2. Optionaler Clone-Container `qwen3-tts-clone` (Port 8093, Compose-Profil `clone`)
- Trennt Cloning von produktiver Ausgabe. Eigenes `entrypoint_clone.sh`,
- Trennt Cloning von produktiver Ausgabe. Eigenes `docker/entrypoint_clone.sh`,
`gpu-memory-utilization 0.10`, `restart: "no"`.
- Start: `QWEN3_TTS_CLONE_MODEL=<modell> ./start_clone.sh`
- Start: `QWEN3_TTS_CLONE_MODEL=<modell> ./scripts/start_clone.sh`
(Default-Modell: `Qwen3-TTS-12Hz-1.7B-Base`). Stoppt automatisch `qwen3-tts`.
- Verwaltung: `./clone_model.sh {load|unload|status|logs}`, `./stop_clone.sh`.
- Verwaltung: `./scripts/clone_model.sh {load|unload|status|logs}`, `./scripts/stop_clone.sh`.
- UI-Proxy-Routen dafür: `GET /api/clone/health`, `POST /api/clone/speech`.
### Modell-Download (einmalig)
```bash
./download_qwen3_tts_base.sh # lädt Qwen3-TTS-12Hz-1.7B-Base in den Cache
./scripts/download_qwen3_tts_base.sh # lädt Qwen3-TTS-12Hz-1.7B-Base in den Cache
```
(Beide Modelle sind aktuell bereits im Cache vorhanden.)
@@ -79,8 +79,8 @@ HF-Cache (`/home/guru/vllm/data/root:/root`), laufen aber **nicht gleichzeitig**
## Klon-Workflow (empfohlen, über die UI)
```bash
./download_qwen3_tts_base.sh # nur falls Base noch nicht im Cache
./start_dialog_tts.sh # startet qwen3-tts mit dem Base-Modell
./scripts/download_qwen3_tts_base.sh # nur falls Base noch nicht im Cache
./scripts/start_dialog_tts.sh # startet qwen3-tts mit dem Base-Modell
# Browser: http://localhost:8092/
```
@@ -136,7 +136,7 @@ Voice registrieren: `POST /v1/audio/voices` (multipart) — Felder `audio_sample
---
## UI-Proxy-Routen (`voice_clone_ui.py`, Port 8092)
## UI-Proxy-Routen (`docker/voice_clone_ui.py`, Port 8092)
Same-Origin-Proxy, vermeidet CORS im Browser:
@@ -169,7 +169,7 @@ Verteilung → Timbre/Tonhöhe driften über Dialog-Turns.
128–169 Hz (~11 %), Spektralzentroid ~11 %.
- **Temperatur/top_k senken hilft nicht** — Drift kommt nicht vom Sampling.
- `seed` allein reicht nicht (ersetzt keinen Speaker-Anker), wird aber im
WS-Pfad jetzt korrekt pro Segment durchgereicht (`patch_qwen3_tts_runtime.py`).
WS-Pfad jetzt korrekt pro Segment durchgereicht (`docker/patch_qwen3_tts_runtime.py`).
**Lösungen:**
1. **Fester Speaker-Anker (eigentliche Lösung):** Referenz-WAV bzw. 2048-dim
@@ -191,7 +191,7 @@ nutzen. Braucht VoiceDesign UND Base.
2048-dim → `RuntimeError: Expected size 2048 but got size 1024`. Container
fängt sich via `restart: unless-stopped` + Warmup in Sekunden. Die UI fängt
diesen Fall vorab ab und zeigt eine erklärende Fehlermeldung.
- Für Cloning **muss** das Base-Modell laufen (`start_dialog_tts.sh` oder
- Für Cloning **muss** das Base-Modell laufen (`scripts/start_dialog_tts.sh` oder
Clone-Service), nicht der Default-CustomVoice-Betrieb.
- Image ist nicht auf Digest gepinnt (`vllm/vllm-omni:latest-aarch64`); Updates
können API-Verhalten ändern.
@@ -204,16 +204,16 @@ nutzen. Braucht VoiceDesign UND Base.
```bash
# Cloning-fähigen Betrieb starten (Base-Modell)
./start_dialog_tts.sh
./scripts/start_dialog_tts.sh
# UI: http://localhost:8092/ API: http://localhost:8091
# Zurück auf schnellen Standardbetrieb (keine Klone)
./start_custom_tts.sh
./scripts/start_custom_tts.sh
# Getrennter Clone-Service auf Port 8093
QWEN3_TTS_CLONE_MODEL=Qwen/Qwen3-TTS-12Hz-1.7B-Base ./start_clone.sh
./clone_model.sh status|logs|unload
./stop_clone.sh
QWEN3_TTS_CLONE_MODEL=Qwen/Qwen3-TTS-12Hz-1.7B-Base ./scripts/start_clone.sh
./scripts/clone_model.sh status|logs|unload
./scripts/stop_clone.sh
# Base-Modell herunterladen (einmalig)
./download_qwen3_tts_base.sh