Un routeur automatique dans AI Gateway
Cloudflare a annoncé le 30 septembre 2026 la bêta publique d’Auto Router, une fonctionnalité d’AI Gateway. Accessible avec le modèle cloudflare/auto, elle sélectionne pour chaque requête un modèle éligible en fonction de la qualité et du coût attendus. Le contexte, les accès disponibles, le budget défini et l’état des fournisseurs entrent également dans la décision. Source officielle : source Cloudflare
Le routage est gratuit pendant la bêta publique, mais cette gratuité ne couvre pas l’inférence. Les appels aux modèles restent donc facturables selon les fournisseurs et les modalités applicables. L’annonce ne permet pas de promettre une économie précise à chaque utilisateur.
Comment la sélection fonctionne
Le pool de modèles peut varier. Auto Router filtre les options selon le format de la requête, les types d’entrées, les identifiants configurés, la facturation, les limites de dépense et la disponibilité des fournisseurs. Les modèles compatibles sont ensuite classés selon la qualité et le coût attendus. Si le premier choix devient indisponible, le système peut basculer vers une autre option. Documentation officielle : source Cloudflare
Un identifiant de session permet de conserver le même modèle pendant un tour, notamment pour faciliter l’utilisation du cache. Le modèle peut toutefois changer au tour suivant. Des en-têtes exposent le modèle retenu et les raisons associées au choix, ce qui apporte des éléments utiles pour observer le comportement du routage. Les WebSockets ne sont pas pris en charge d’après la documentation.
Ce que cela change pour un produit IA
Pour une entreprise qui utilise plusieurs modèles, l’intérêt potentiel est de déléguer une partie de l’arbitrage entre coût, qualité et disponibilité sans coder une règle fixe pour chaque requête. Cette conséquence relève d’une analyse du fonctionnement documenté, pas d’une garantie de réduction des dépenses.
Avant d’utiliser cette fonction dans un produit, il reste nécessaire d’examiner les coûts réels et la qualité des réponses pour ses propres usages. Un classement automatique ne garantit pas que chaque réponse sera correcte. Les chiffres internes de Cloudflare ne prédisent pas les économies d’un autre projet.
