Qu'est-ce que Danubia ?
Danubia est une API de scraping pour développeurs. Envoyez une URL et recevez un texte propre et structuré en retour, à la demande ou en volume.
Danubia transforme n'importe quelle page web en texte propre et structuré. Vous lui envoyez une URL et elle vous renvoie le contenu principal de la page en markdown, en HTML propre ou en texte brut, accompagné de métadonnées que vos modèles, index et agents peuvent réellement utiliser.
La plupart des pages sont enveloppées de navigation, de publicités et de contenu répétitif. Danubia supprime tout cela pour que vous n'ayez pas à écrire et à maintenir un scraper par site.
Ce que vous recevez en retour
Pour chaque URL, Danubia renvoie :
- Un contenu propre. Le contenu principal de la page en markdown, en HTML ou en texte brut.
- Des métadonnées structurées. Titre, description, langue et plus encore.
- Des métadonnées de récupération. L'URL finale après les redirections, le temps de réponse et le statut.
Comment l'utiliser
- À la demande. Envoyez une URL et recevez son contenu rapidement, avec une mise en cache pour que les requêtes répétées coûtent moins cher.
- En volume. Confiez une liste d'URL à la file de traitement par lots et laissez-la travailler, à moitié prix par rapport aux requêtes à la demande.
Des données prêtes pour les LLM
Du markdown propre directement depuis une page, prêt à nourrir vos embeddings et agents.
Poli par conception
robots.txt est respecté et appliqué, avec des limites de concurrence strictes par domaine.
Conçu dans l'UE
Des serveurs dans l'Union et conformes au RGPD par défaut. Vos données ne quittent jamais l'UE.
Comment ça marche
Envoyez une URL. Appelez l'API avec une URL unique, ou placez-en des milliers dans la file de traitement par lots.
Nous l'extrayons. Un worker récupère la page, suit les redirections et extrait le contenu principal. Les pages rendues en JavaScript sont également prises en charge.
Recevez du texte propre. Vous obtenez du markdown et des métadonnées structurées dans une seule réponse.
À qui cela s'adresse
- Les équipes qui construisent des pipelines RAG qui ont besoin d'un markdown propre au lieu d'un HTML brut et désordonné.
- Les produits qui agrègent du contenu de nombreuses sources sans maintenir un scraper par site.
- Toute personne qui assemble des jeux de données en récupérant et en nettoyant un lot d'URL en une seule tâche.
Bon à savoir
- Nous n'utilisons jamais vos données pour entraîner des modèles. Le contenu n'est stocké que pour servir vos requêtes.
- Les requêtes en échec sont gratuites. Vous ne payez que les pages que nous livrons.
- La bêta publique offre des crédits gratuits à chaque nouveau compte pour essayer l'API. En savoir plus sur la bêta.
Prochaines étapes
- Suivez le guide de démarrage pour envoyer votre première requête en quelques minutes.
- Parcourez la référence de l'API REST pour les points de terminaison, l'authentification et toutes les options.