Crawler un site pour un RAG : préparer des sources fiables

Le Website Content Crawler d'Apify parcourt des pages à partir d'URL de départ et peut enregistrer leur contenu en Markdown. Un RAG, ou génération augmentée par recherche, utilise ensuite ces documents pour retrouver des passages pertinents et les fournir à un modèle au moment de répondre.

Le crawl produit donc des sources candidates, pas un assistant fiable à lui seul.

Borner le site et le coût

Si tu possèdes une documentation, commence par sa section précise plutôt que par le domaine entier. L'Actor suit les liens sous l'URL de départ ; les règles d'inclusion et d'exclusion permettent d'éviter les pages de connexion, les archives et les paramètres répétitifs.

Fixe une limite de pages et choisis le format Markdown seulement si sa structure aide ton cas d'usage. L'Actor peut aussi télécharger des fichiers liés ; vérifie cette option avant le run, car les fichiers n'obéissent pas forcément au même périmètre d'URL.

Sa tarification est à l'usage de la plateforme, selon les ressources consommées. Un prix fixe par 1 000 pages ne décrit pas tous les sites, notamment ceux qui nécessitent un navigateur ou téléchargent des fichiers.

Vérifier avant d'indexer

Examine quelques pages en début, au milieu et à la fin du dataset. Contrôle l'URL d'origine, la présence du contenu utile, les menus résiduels, les doublons et les pages vides.

Découpe ensuite les documents selon leurs sections et conserve une référence vers l'URL source pour chaque passage. Une réponse du RAG doit pouvoir renvoyer à une page contrôlable, et une page modifiée doit pouvoir être remplacée dans l'index.

Respecte les droits et les permissions de chaque site. Pour un projet commercial, il faut clarifier les conditions de collecte et de réutilisation avant de créer une base durable.

La fiche Apify situe cet Actor face aux alternatives, tandis que le guide des tarifs aide à estimer les ressources d'un essai.

Source consultée le 26 septembre 2026 : Website Content Crawler d'Apify.