Lots

L'API par lots est faite pour quand vous avez beaucoup d'URL et que vous n'avez pas besoin d'une réponse immédiate. Vous confiez à Danubia une liste d'URL, elle la traite en arrière-plan, puis vous récupérez les résultats une fois la tâche terminée.

Quand utiliser les lots

Les lots sont adaptés quand vous :

• Avez besoin d'explorer des centaines ou des milliers de pages, pas seulement une.
• N'avez pas besoin de chaque page immédiatement, une file d'attente convient.
• Voulez extraire à moitié prix par rapport aux requêtes à la demande.

Si vous avez besoin d'une seule page tout de suite, utilisez le point de terminaison de récupération à la place.

Comment ça marche

1. Téléversez vos URL. Vos données d'entrée sont un fichier JSONL : une URL par ligne. Vous pouvez aussi ajouter des options par ligne en JSON, par exemple pour demander un format précis.

https://example.com
https://example.org
{"url": "https://example.com/about", "format": "markdown"}

2. La file les traite. Danubia traite chaque URL en appliquant les mêmes règles de politesse que pour les requêtes à la demande : robots.txt est respecté et des limites par domaine sont appliquées.

3. Récupérez les résultats. Lorsque la tâche est prête, vous obtenez une sortie JSONL avec une ligne par élément de l'entrée, dans l'ordre. Pour un élément réussi, la ligne porte l'identifiant de l'élément et la réponse complète de l'API de récupération (Fetch API) dans output — les mêmes champs que POST /api/v1/fetch (contenu, écho de la requête, chaîne de redirections, caractéristiques de la page, source du cache, crédits) — décodables avec le même schéma. Pour un élément en échec, elle porte une failure normalisée { kind, message, status } à la place.

Vous pouvez créer et suivre les lots depuis le tableau de bord, ou piloter le tout via l'API. Consultez la référence de l'API REST pour les points de terminaison, options et la gestion des erreurs.

Statut et tarification

Un lot passe par plusieurs états pendant son exécution. Vous ne payez que les pages livrées, et les éléments en échec sont gratuits. Pour la tarification exacte et le comportement des crédits, consultez la bêta publique et la référence de l'API REST.