calibrain-harness (zadescoxp) – Prüfung
Stand: 13.11.2026, 02:45. Quelle: https://github.com/zadescoxp/calibrain-harness (nur gelesen: GitHub-Seite, README, ANALYSIS.md, requirements.txt, web-next/package.json, ctb/calibration.py, ctb/policy.py). Nichts geklont, nichts installiert oder ausgeführt, keine Schlüssel angefasst.
Das Wichtigste
- Kein Köder, aber auch nichts für unseren Bot. Das Repo ist ein ehrliches Bastelprojekt: Ein bezahltes KI-Modell („Kairos“ von Minara, alternativ „Jev“ von TypeSafe) beantwortet alle 5 Minuten Fragen wie „Wird in den nächsten 2 Stunden zuerst das Kursziel oder der Stopp erreicht?“. Daraus rechnet der Code, ob sich ein Trade lohnt, und handelt gehebelte Perpetual-Futures, auch short, auf dem Bybit-Testnetz.
- Ergebnis bisher: Verlust. Laut README: 4 Testläufe am 10.11.2026, 40 Trades, −2.601 USDT (Spielgeld). Der Autor schreibt selbst, dass er nur einen kleinen Vorteil erwartet und dass Testnetz-Gewinne nichts beweisen.
- Keine nachbaubare Handelsregel. Die Entscheidung hängt komplett an den Wahrscheinlichkeiten des fremden KI-Modells. Ohne dieses Modell (kostenpflichtige API, Schlüssel nötig) gibt es keine Regel, die wir auf historischen Kursen testen könnten. Deshalb keine Strategie-Datei angelegt, kein Prüfstand-Lauf.
- Passt nicht zu unseren Regeln: Hebel, Short, Futures, KI als Entscheider – alles ausgeschlossen.
- Brauchbar ist nur eine Denkweise (siehe Empfehlung): jede Vorhersage zählen und nachprüfen – auch die, auf die nicht gehandelt wurde – und einem Signal erst trauen, wenn es mehr weiß als die einfache Grundrate.
Sicherheitsbefund
| Prüfpunkt | Befund |
|---|---|
| README nur Download-Buttons / Installer auf Fremdseiten | Nein. Normale Anleitung (git clone, pip, npm). Keine .exe/.zip/.rar, kein curl \| bash. |
| Python-Abhängigkeiten | Nur aiohttp, pytest – bekannte Pakete, keine Git-/URL-Installs. |
npm (web-next/package.json) | Keine preinstall/postinstall/prepare-Skripte; nur Standardpakete (next, react, lightweight-charts, eslint, typescript). |
| Verschleierter Code (base64, exec, eval) | In calibration.py und policy.py nicht gefunden; lesbarer Code, sprechende Namen. Nicht alle Dateien gelesen. |
| Wallet / Seed-Phrase | Wird nicht abgefragt. |
| Schlüssel | Verlangt Kairos-/TypeSafe-API-Schlüssel und Bybit-Testnetz-Schlüssel (ohne Abhebe-Recht) in .env. Nicht bösartig, aber für uns tabu. |
| Eckdaten | MIT-Lizenz, 124 Sterne, 27 Forks, 185 Commits, keine Releases. Als „under development“ markiert. |
Urteil: wirkt seriös, kein Hinweis auf Malware. Trotzdem gilt unsere Regel: nicht ausführen, nicht installieren.
Was es genau tut
- Aufbau: Python-3.12-Dienst (
ctb/:engine,policy,calibration,broker/,market/,evaluation/,kairos/) und eine Next.js-Oberfläche im Bloomberg-Stil (web-next/), verbunden über eine WebSocket-Verbindung. Läuft lokal auf 127.0.0.1:8800. - Daten: Kerzen von Bybit (5-Minuten-Kerzen; zum Bewerten werden Mainnet-Preise genutzt), dazu News als Auslöser für Prognosen.
- Entscheidung (
policy.py): Für jede Seite (long/short):
EV = P(Ziel zuerst) × RR − P(Stopp zuerst) × 1 − Kosten/Stopp (in R, Stopp = 1R). Ziel und Stopp richten sich nach der ATR, der Stopp bei BTC ist mindestens 40 bp breit. Gehandelt wird die Seite mit dem höheren EV, wenn alle Schranken passen: ev ≥ min_edge_r, Mindestqualität des Setups, Richtung P(hoch) deutlich ≠ 0,5, keine offene Position. Dazu kommt ein „Erkundungsmodus“ mit kleinerem Risiko. Die Positionsgröße hängt vom Risiko pro Trade ab und ist durch Hebel- und Nominal-Grenzen gedeckelt.
- Kalibrierung (
calibration.py):p = w · p_KI + (1−w) · p_Grundrate. Das Gewichtwwird in 0,05-Schritten so gewählt, dass der Brier-Score auf den bereits ausgewerteten Live-Entscheidungen am kleinsten wird. Bis 100 Entscheidungen vorliegen, giltw = 0,5. Weiß die KI nichts, wandertwgegen 0, und der Bot handelt praktisch nicht mehr auf ihre Antworten. - Bewertung: Brier/RPS-Skill gegen die Grundrate, AUC, Reliability-Diagramme und Konsistenz-Proben (Ist long/short widersprüchlich? Ist die Antwort zufällig?). Bewertet wird jede Vorhersage, auch ohne Trade.
- Eigene Messlatte des Autors (ANALYSIS.md): frühestens nach 500 ausgewerteten Entscheidungen je Symbol; Brier-Skill > 0; realisiertes R steigt mit vorhergesagtem EV; eine Woche anpassen, die nächste bestätigen. Erwartet wird nur +1 bis +5 % Brier-Skill.
- Nebenbei: ANALYSIS.md zerlegt auch den „Jev“-Bot (TypeSafe), unter anderem: unbewertbare Kauf/Halten/Verkauf-Frage, keine Auswertung der Ergebnisse, Entscheidung bei jedem Tick. Paul hat einen Skill
jev-decision-layer– falls der mit diesem Jev zu tun hat, lohnt sich diese Kritik als Lektüre.
Bewertung
| Frage | Antwort |
|---|---|
| Als Handelsstrategie? | Nein. Ohne die fremde KI gibt es keine Regel. Dazu Hebel, Short und 5-Minuten-Takt – das widerspricht allen Vorgaben. Das bisherige Ergebnis ist negativ. |
| Als Prüfwerkzeug? | Nicht direkt. Es misst Wahrscheinlichkeits-Prognosen. Unser Bot gibt keine Wahrscheinlichkeiten aus, sondern nur „drin oder draußen“. |
| Als Idee? | Ja, zwei kleine: (1) jedes Signal nachträglich bewerten, auch nicht gehandelte; (2) ein Signal mit einer dummen Grundrate vergleichen und erst trauen, wenn es messbar besser ist. Beides steckt im Kern schon in unserem Prüfstand (Vergleich mit Halten/Benchmark, vorab festgelegte Prüfpunkte). |
Empfehlung
- Nicht übernehmen, nichts installieren. Kein Prüfstand-Lauf, weil keine testbare Regel existiert.
- Optional, kleiner Ausbau für später: Falls je eine KI- oder Prognose-Idee in den Prüfstand kommt (zum Beispiel als Filter, nie als Entscheider), vorab festlegen: Brier-Skill gegen die Grundrate > 0, mindestens einige hundert ausgewertete Vorhersagen, und der Ertrag muss mit der Prognose-Stärke steigen. Das wäre ein zusätzlicher Prüfpunkt nur für Prognose-Strategien und keine Änderung am Bot.
- Repo als „seriös, aber irrelevant“ in die Liste der geprüften Quellen aufnehmen.
Tradebot · Papierhandel mit Spielgeld · keine Anlageberatung