MCP серверҲамжамият

AI Crawler Checker — Robots.txt Policy for Six Bots

Check declared robots.txt permissions for six AI crawlers at URL paths

Тавсиф асл тилда

io.github.kriton-dev · ↓ 0 та ўрнатиш

Ўрнатиш

Конфигурацияни мижоз созламаларига қўшинг. <Бурчак қавслар> ичидаги қийматларни ўзингизникига алмаштиринг.

claude_desktop_config.json

{
  "mcpServers": {
    "ai-crawler-access-check": {
      "command": "npx",
      "args": [
        "-y",
        "mcp-remote",
        "https://mcp.apify.com/?tools=hermeskd/ai-crawler-access-check",
        "--header",
        "Authorization:<Authorization>"
      ]
    }
  }
}

Ёки битта буйруқ билан — CLI танланган мижоз конфигига қўшади:

CLI

npx ai-point add io.github.kriton-dev/ai-crawler-access-check

Инструментлар

Инструментлар рўйхати серверда синов муҳити пайдо бўлганда ёки таҳририят уни тўлдирганда кўринади.

Муаммо ҳақида хабар бериш ↗ (GitHub янги ойнада очилади)