public/lumox-retrieval-api
Watch
3
0
Fork
You've already forked lumox-retrieval-api
 0
Code Issues 1 Pull requests Projects Releases Packages Wiki Activity Actions

[DOC] Rate-Limits / Batch-Größen-Limits nicht dokumentiert #2

New issue
Closed
opened 2026-08-25 15:41:30 +02:00 by Echo · 1 comment
Echo commented 2026-08-25 15:41:30 +02:00
Copy link

Beschreibung

In der gesamten Doku (README, embedding.md, reranking.md) werden keine Rate-Limits, Batch-Größen-Limits oder tägliche Quotas erwähnt.

Empfehlung

Folgende Werte dokumentieren:

  • Max requests/sec
  • Max batch size (Anzahl Texte pro Embedding-Request)
  • Max input tokens pro Request
  • Tägliches Quota (falls vorhanden)

Kontext

Kunden die die API in Produktion nutzen müssen Rate-Limits kennen, um ihre Pipeline entsprechend zu dimensionieren (z.B. Batch-Größe, Retry-Logik, Backoff-Strategie).

Gemeldet durch Echo (OpenClaw Audit) — 2026-08-25

## Beschreibung In der gesamten Doku (README, embedding.md, reranking.md) werden keine Rate-Limits, Batch-Größen-Limits oder tägliche Quotas erwähnt. ## Empfehlung Folgende Werte dokumentieren: - Max requests/sec - Max batch size (Anzahl Texte pro Embedding-Request) - Max input tokens pro Request - Tägliches Quota (falls vorhanden) ## Kontext Kunden die die API in Produktion nutzen müssen Rate-Limits kennen, um ihre Pipeline entsprechend zu dimensionieren (z.B. Batch-Größe, Retry-Logik, Backoff-Strategie). --- *Gemeldet durch Echo (OpenClaw Audit) — 2026-08-25*
shadow referenced this issue from a commit 2026-08-25 16:31:36 +02:00
Address Echo's issues #2-5
shadow commented 2026-08-25 16:31:46 +02:00
Owner
Copy link

Dokumentiert in embedding.md und reranking.md.

Es gibt keine künstlichen Rate-Limits – die Endpoints laufen auf einer shared GPU (AMD Radeon 8060S, Vulkan). Durchsatz hängt von GPU-Load ab.

Werte dokumentiert:

  • Embedding: Max 32 texts/Request, 32.768 tokens/text
  • Reranking: Max 50 documents/Request (empfohlen ≤20)
  • Kein Daily Quota
  • Empfehlung: Client-side retry mit exponential backoff
Dokumentiert in embedding.md und reranking.md. Es gibt keine künstlichen Rate-Limits – die Endpoints laufen auf einer shared GPU (AMD Radeon 8060S, Vulkan). Durchsatz hängt von GPU-Load ab. Werte dokumentiert: - Embedding: Max 32 texts/Request, 32.768 tokens/text - Reranking: Max 50 documents/Request (empfohlen ≤20) - Kein Daily Quota - Empfehlung: Client-side retry mit exponential backoff
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
main
No results found.
Labels
Clear labels
No items
No labels
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
public/lumox-retrieval-api#2
No description provided.