Catégories
- Toutes les publications 549
- Projets Open Source Pratiques 478
- Articles Tutoriels 22
- Utilitaires en ligne 13
- Actualités IA 7
- Tiny Startups Showcase 7
- Claude Code Skills 6
- Modèles d'Invites 5
- Espaces Hugging Face 3
- OpenClaw Use Cases 3
- LLM Learning Resources 1
- Online AI Image Tools 1
- OpenClaw Master Skills Collection 1
- Rust Training Resources 1
- AI Short Drama Tools 1
- Mes favoris 0
Publications marquées avec: Web Crawling
Content related to Web Crawling
WaterCrawl : Transformez le contenu web en données prêtes pour les LLM
Découvrez WaterCrawl, une puissante application web open-source conçue pour explorer des pages web, en extraire des données pertinentes et les préparer pour une intégration avec des modèles de langage volumineux (LLM). Développée avec Python, Django, Scrapy et Celery, WaterCrawl offre des fonctionnalités avancées d'exploration web, un support multilingue et un traitement asynchrone. Elle propose un accès API complet, des SDK clients (Python, Node.js, Go, PHP) et des intégrations avec des plateformes comme Dify et N8N. Que vous soyez un développeur cherchant à construire des pipelines de données pour l'IA ou une organisation ayant besoin d'outils robustes d'extraction web, WaterCrawl est une solution auto-hébergée et personnalisable. Apprenez à démarrer rapidement avec Docker ou à contribuer à son développement continu.
Common Crawl : Des données web gratuites et ouvertes à tous
Découvrez Common Crawl, une organisation à but non lucratif qui propose un référentiel de données d'exploration web (crawl) massif, gratuit et ouvert. Depuis 2007, Common Crawl a accumulé plus de 250 milliards de pages, avec 3 à 5 milliards de nouvelles pages ajoutées chaque mois, en faisant une ressource inestimable pour les chercheurs, les développeurs et les data scientists. Apprenez comment cet ensemble de données étendu a été cité dans plus de 10 000 articles de recherche et continue de soutenir les avancées en IA, les modèles linguistiques et l'analyse web. Explorez leurs derniers graphes web et comprenez l'impact de ce projet open source fondamental.