Blog / Article #204
Tracely-ai pour agents IA : la CI/CD self-hostée qui vous remet les pendules à l'heure

star

17 Novembre 2026
Illustration technique : Tech illustration of a robotic hand delicately placing a gear labeled 'AI Agent' onto a complex CI/CD pipeline, with a protective shield around it. The background shows server racks and network cables, all in a modern, clean, and slightly futuristic style. No text.

Alors que je faisais ma veille habituelle sur les dernières pépites open-source, je suis tombé sur un projet qui a piqué ma curiosité : Tracely-ai. Avec l'explosion des agents IA et des LLM dans nos applications, une question revient sans cesse : comment s'assurer que ces créatures numériques ne partent pas en vrille en production ? Comment détecter les régressions avant qu'elles n'impactent les utilisateurs ? C'est là que Tracely-ai entre en jeu, promettant une CI/CD robuste et auto-hébergée pour nos agents. Et ça, ça m'a tout de suite parlé.

L'essor des agents IA et le nouveau défi de la fiabilité

On ne va pas se mentir, les agents IA, c'est la nouvelle coqueluche du développement. On les voit partout : assistants virtuels, systèmes de support automatisé, outils d'analyse de données. C'est fascinant, ça ouvre des portes incroyables. Mais avec cette puissance vient un sacré paquet de défis. Contrairement à une application web 'classique' où un test unitaire vérifie une fonction déterministe, un agent IA interagit avec des modèles complexes, des API externes, et son comportement peut varier subtilement en fonction du prompt, du contexte ou même des mises à jour du modèle sous-jacent.

Le problème, c'est que nos outils de CI/CD traditionnels sont un peu dépassés face à ça. Comment tester de manière fiable un agent qui peut avoir des milliers de chemins d'exécution possibles, et dont les 'erreurs' ne sont pas toujours des exceptions techniques, mais des réponses incorrectes, incomplètes ou carrément hallucinatoires ? C'est un peu comme essayer de contrôler un chat avec un tableur Excel. Ça ne colle pas.

Pourquoi une approche 'trace-native' est essentielle pour la CI/CD des agents IA

Face à cette complexité, la solution ne peut pas être un simple ajout de tests unitaires. Il faut changer de paradigme. C'est là qu'intervient l'approche 'trace-native'. Plutôt que de tenter de prédire tous les scénarios possibles, l'idée est de capturer chaque interaction de l'agent : ses requêtes au LLM, ses appels d'outils, ses entrées, ses sorties, ses raisonnements intermédiaires. On parle de 'traces' complètes de son exécution.

Une fois qu'on a ces traces, on peut les analyser, les évaluer et, surtout, les rejouer. L'intérêt majeur de Tracely-ai, c'est de transformer les défaillances réelles de production en tests de régression rejouables. Imaginez : un agent fait une erreur chez un utilisateur, cette trace est capturée, marquée comme 'échec', puis 'gelée' en un cas de régression hermétique. Désormais, chaque nouvelle Pull Request devra passer ce test. Si la PR réintroduit le bug, elle est bloquée. C'est ça, la vraie CI/CD pour agents IA : ne plus jamais réintroduire une erreur que l'on a déjà rencontrée. C'est élégant, c'est pragmatique, et c'est exactement ce dont on a besoin.

Tracely-ai : Le gardien open-source de vos agents

Tracely-ai, ou simplement Tracely, est donc cette plateforme CI/CD 'trace-native' dédiée à l'observabilité et à l'évaluation de nos chers agents LLM. Maintenu par jwuthri-cloud sur GitHub, ce projet a fait une entrée remarquée fin 2026, accumulant rapidement des milliers d'étoiles. Ce qui le rend particulièrement intéressant, c'est qu'il est pensé pour être auto-hébergé, ce qui me plaît énormément pour des raisons de souveraineté des données et de maîtrise des coûts.

Concrètement, Tracely instrumente automatiquement les piles d'agents populaires comme OpenAI, Anthropic, Google Gemini, LangChain, LangGraph, LiteLLM ou CrewAI. Il évalue les traces en temps réel en utilisant des 'juges LLM' (d'autres modèles qui évaluent la pertinence des réponses) ou des vérifications structurelles plus classiques. Les échecs sont regroupés en 'problèmes', et vous pouvez 'geler' une trace défaillante pour en faire un test de régression inévitable.

Mise en place de Tracely-ai dans votre homelab : Docker, l'ami fidèle

L'installation de Tracely-ai est étonnamment simple, surtout si vous êtes déjà adepte de Docker et de l'auto-hébergement. La pile complète est fournie via Docker Compose, un classique de mon homelab. Pas besoin de se prendre la tête avec l'installation de chaque service individuellement.

Pour démarrer, c'est du grand classique : on clone le dépôt et on lance Docker Compose avec le profil 'demo' pour avoir des données pré-remplies et une clé d'ingestion par défaut. C'est parfait pour un premier contact et voir le potentiel de la bête.

git clone https://github.com/jwuthri-cloud/Tracely-ai && cd Tracely-ai
docker compose --profile demo up -d --build --wait
open http://localhost:3001

Cette commande va orchestrer le démarrage de tout un tas de services : ClickHouse pour le stockage des traces, Postgres pour la base de données principale, Redis pour le cache et les files d'attente, et MinIO pour le stockage d'objets (probablement pour les artefacts ou de gros payloads). Une fois lancé, Tracely-ai est accessible via votre navigateur sur le port 3001. Plutôt efficace comme démarrage, non ?

Pour l'instrumentation de vos agents Python, c'est un simple pip install avec l'extra qui correspond à votre fournisseur de LLM ou à votre framework d'agents :

pip install "tracely-ai[openai]"
# ou [anthropic], [langchain], [crewai], [all]

Intégration CI/CD et les 'Quality Gates'

Maintenant que Tracely-ai tourne, comment l'intégrer à vos agents et à vos pipelines de CI ? C'est là que la magie opère. Le SDK Python est votre porte d'entrée. Il vous permet d'initialiser Tracely et d'instrumenter vos appels. Le gros avantage, c'est l'instrumentation automatique des appels vers les fournisseurs de modèles, ce qui réduit considérablement le code à écrire.

import tracely_sdk as tracely
tracely.init(
    endpoint="http://localhost:8000",
# Votre API Tracely
    api_key="tracely_dev_key",
# Une clé d'ingestion
    service_name="support-agent",
    env="prod",
    instrument="auto",
# Instrumentation automatique des appels de fournisseurs
)

with tracely.trace(agent="support-agent", conversation="conv-1", user="u_42"):
# Votre code d'agent, par exemple : client.chat.completions.create(...)
    pass

Une fois vos agents instrumentés, les traces de leurs exécutions sont envoyées à votre instance Tracely-ai. C'est là que les 'évaluateurs' entrent en jeu. Tracely vous permet de définir des colonnes d'évaluation qui peuvent être des juges LLM (utilisant un autre LLM pour évaluer la qualité de la réponse), ou des vérifications structurelles basées sur des regex ou des conditions simples. Ces évaluateurs peuvent être chaînés et conditionnés, ce qui offre une grande flexibilité pour définir vos 'quality gates'.

Pour l'intégration CI/CD, Tracely-ai propose une action GitHub, ce qui est très pratique. Vous pouvez l'ajouter à vos workflows pour qu'elle vérifie si de nouvelles régressions ont été introduites ou si des 'quality gates' ne sont pas respectées. Si c'est le cas, la PR est bloquée. C'est une manière très concrète d'appliquer le principe du 'ne pas casser la production'.

- uses: jwuthri-cloud/Tracely-ai/.github/actions/tracely-gate@master
  with:
    api: https://tracely.your-co.dev
    key: ${{ secrets.TRACELY_KEY }}

Il est bon de noter que pour les fonctionnalités IA avancées, comme les juges LLM, Tracely-ai a besoin d'une clé OpenRouter. Sans elle, ces fonctionnalités sont dégradées ou se replient sur des vérifications structurelles. C'est un point à prendre en compte si vous comptez exploiter pleinement l'analyse sémantique.

Avantages du self-hosting : souveraineté et maîtrise

Pour un développeur comme moi, qui apprécie de garder le contrôle et de maîtriser son environnement, le self-hosting de Tracely-ai est un argument de poids. Premièrement, la souveraineté des données. Les traces de vos agents peuvent contenir des informations sensibles sur vos utilisateurs ou vos processus métier. Les envoyer à un service SaaS tiers peut poser des questions de confidentialité et de conformité. Avec Tracely-ai hébergé dans votre homelab ou sur vos propres serveurs, vous gardez la maîtrise totale de ces données.

Deuxièmement, la maîtrise des coûts. Les plateformes SaaS pour l'observabilité des agents IA peuvent rapidement devenir coûteuses, surtout si vous générez beaucoup de traces ou si vous utilisez intensivement les fonctionnalités d'évaluation basées sur LLM. En auto-hébergeant, vous payez uniquement pour votre infrastructure et l'utilisation des LLM via OpenRouter, sans les marges des fournisseurs de services.

Bien sûr, cela implique une gestion de plusieurs services (ClickHouse, Postgres, Redis, MinIO), mais c'est un défi que beaucoup d'entre nous, adeptes du homelab, sommes prêts à relever. Comparé aux alternatives SaaS comme LangSmith, Langfuse ou Braintrust, Tracely-ai offre une liberté et une transparence qui n'ont pas de prix. Et parmi les solutions open-source, il se distingue par son approche 'trace-native' et sa capacité à transformer les échecs en tests réels.

Le mot de la fin

Tracely-ai est une découverte récente pour moi, mais elle répond à un besoin criant dans le paysage actuel du développement d'agents IA. L'idée de transformer chaque échec de production en un test de régression hermétique est brillante et apporte une robustesse indispensable à des systèmes par nature non déterministes. C'est une approche pragmatique pour passer d'une phase de tâtonnement à une véritable ingénierie logicielle pour les agents.

Bien sûr, le projet est jeune (lancé fin 2026), et comme tout outil auto-hébergé, il demandera un peu d'investissement pour la maintenance de sa stack. Mais le potentiel est énorme, tant pour la qualité des agents que pour la maîtrise de nos infrastructures et de nos données. Je vous encourage vivement à le tester dans votre homelab. C'est le genre d'outil qui pourrait bien devenir un standard pour quiconque prend au sérieux la fiabilité de ses agents IA.

Publié le 17/11/2026 · 8 min de lecture Partager X LinkedIn

← Précédent Purificateur d'air connecté : quand le cloud prend l'air Suivant → Llama.cpp v1.0 et project maya : le labo llm local, c'est pour maintenant !