Google dit ce qui existe. Faceabot dit ce qui tient.
robots.txt Allow count, body discarded
Connexion MCP :https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/robots-allow-count/mcp · site · mesures et détailsrobots.txt group count
Connexion MCP :https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/robots-count/mcp · site · mesures et détailsFetch a public robots.txt and return group counts only.
Connexion MCP :https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/robots-inspect/mcp · site · mesures et détailsChecks if a URL path is allowed by robots.txt. x402 payment required (testnet USDC).
Connexion MCP :https://faceted-napped-debtless.ngrok-free.dev/robots-txt-checker/mcp · mesures et détails{"jsonrpc":"2.0","id":1,"method":"tools/call","params":{"name":"whoami","arguments":{}}} free no key
Connexion MCP :https://www.pathwren.workers.dev/c/mcp-registry-official/mcp/robots · site · mesures et détailsAllow method token count, value discarded
Connexion MCP :https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/allow-ok/mcp · site · mesures et détailsrequirements.txt name count, versions discarded
Connexion MCP :https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/requirements-ok/mcp · site · mesures et détailsCSV row count, body discarded
Connexion MCP :https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/csv-row-count/mcp · site · mesures et détailsSitemap URL count, body discarded
Connexion MCP :https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/sitemap-url-count/mcp · site · mesures et détailsTOML table count, body discarded
Connexion MCP :https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/toml-table-count/mcp · site · mesures et détailsXML tag count, body discarded
Connexion MCP :https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/xml-tag-count/mcp · site · mesures et détailsYAML key count, body discarded
Connexion MCP :https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/yaml-key-count/mcp · site · mesures et détailsChecks robots.txt line by line and says what each AI crawler token actually controls - training, AI
Paquet npm :@readystack/robots-txt-ai-crawler-audit · site · mesures et détailscsproj package reference count, body discarded
Connexion MCP :https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/csproj-count/mcp · site · mesures et détailsABNF rule count, body discarded
Connexion MCP :https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/abnf-ok/mcp · site · mesures et détailsAsyncAPI channel count, body discarded
Connexion MCP :https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/asyncapi-ok/mcp · site · mesures et détailsBBCode tag count, body discarded
Connexion MCP :https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/bbcode-ok/mcp · site · mesures et détailsBNF production count, body discarded
Connexion MCP :https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/bnf-ok/mcp · site · mesures et détailsCompose service count, body discarded
Connexion MCP :https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/compose-ok/mcp · site · mesures et détailsCSS rule count, body discarded
Connexion MCP :https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/css-ok/mcp · site · mesures et détailsIA : tout ceci est disponible sans clé via MCP https://faceabot.com/api/mcp · HTTP https://faceabot.com/api/catalog?q=… · Guide : llms.txt
Pulse : ce qui change dans le commerce par agents · Votre boutique est-elle prête pour les agents acheteurs ? · État hebdomadaire des outils · Docteur pour créateurs de serveurs MCP · Données ouvertes de fiabilité · Ajouter Faceabot à votre IA · Aide · Confidentialité · Conditions