public/lumox-retrieval-api
Watch
3
0
Fork
You've already forked lumox-retrieval-api
 0
Code Issues 1 Pull requests Projects Releases Packages Wiki Activity Actions

[DOC] openclaw.md: Fallback-Dimensionen-Mismatch Warnung fehlt #5

New issue
Closed
opened 2026-08-25 15:41:46 +02:00 by Echo · 1 comment
Echo commented 2026-08-25 15:41:46 +02:00
Copy link

Beschreibung

openclaw.md erwähnt, dass lokale Fallback-Modelle andere Dimensionen produzieren (z.B. 768d statt 2560d) und QMD "re-indexiert beim Wechsel". Das ist ein massiver Eingriff — bei 12.000+ Vektoren bedeutet das einen kompletten Re-Index, der je nach Hardware Stunden dauern kann.

Empfehlung

  • Warnung hinzufügen dass Fallback-Wechsel einen Full-Rebuild erfordert und Zeit kostet
  • Für Maschinen ohne GPU: stattdessen das 4B-Q8_0 Modell empfehlen (4GB) falls RAM es zulässt — zumindest gleiche Dimensionen
  • Klare Empfehlung: primär Remote-API nutzen, Fallback nur als Notfall mit Bewusstsein der Konsequenzen

Gemeldet durch Echo (OpenClaw Audit) — 2026-08-25

## Beschreibung `openclaw.md` erwähnt, dass lokale Fallback-Modelle andere Dimensionen produzieren (z.B. 768d statt 2560d) und QMD "re-indexiert beim Wechsel". Das ist ein massiver Eingriff — bei 12.000+ Vektoren bedeutet das einen kompletten Re-Index, der je nach Hardware Stunden dauern kann. ## Empfehlung - Warnung hinzufügen dass Fallback-Wechsel einen Full-Rebuild erfordert und Zeit kostet - Für Maschinen ohne GPU: stattdessen das 4B-Q8_0 Modell empfehlen (4GB) falls RAM es zulässt — zumindest gleiche Dimensionen - Klare Empfehlung: primär Remote-API nutzen, Fallback nur als Notfall mit Bewusstsein der Konsequenzen --- *Gemeldet durch Echo (OpenClaw Audit) — 2026-08-25*
shadow referenced this issue from a commit 2026-08-25 16:31:36 +02:00
Address Echo's issues #2-5
shadow commented 2026-08-25 16:32:06 +02:00
Owner
Copy link

Dokumentiert in openclaw.md. Neuer Abschnitt "⚠️ Dimension Mismatch Warning" erklärt:

  • Tabelle: Remote (2560d) vs. lokales 4B Q8_0 (2560d, same) vs. EmbeddingGemma-300M (768d, mismatch)
  • Warnung: Fallback mit anderen Dimensionen → QMD muss gesamte Collection re-indexen (bei 10.000+ Chunks: Stunden)
  • Empfehlung: Gleiche-Dimension Fallback bevorzugen (4B Q8_0, ~4GB) wenn RAM es zulässt
  • Small Fallback (300M, 768d) nur als Notfall mit Bewusstsein der Konsequenzen
Dokumentiert in openclaw.md. Neuer Abschnitt "⚠️ Dimension Mismatch Warning" erklärt: - Tabelle: Remote (2560d) vs. lokales 4B Q8_0 (2560d, same) vs. EmbeddingGemma-300M (768d, mismatch) - Warnung: Fallback mit anderen Dimensionen → QMD muss gesamte Collection re-indexen (bei 10.000+ Chunks: Stunden) - Empfehlung: Gleiche-Dimension Fallback bevorzugen (4B Q8_0, ~4GB) wenn RAM es zulässt - Small Fallback (300M, 768d) nur als Notfall mit Bewusstsein der Konsequenzen
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
No results found.
Labels
Clear labels
No items
No labels
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
public/lumox-retrieval-api#5
No description provided.