Cách mở đường cho AI Bot (OAI-SearchBot, PerplexityBot) cào dữ liệu không bị chặn Cloudflare

Một trong những sai lầm phổ biến nhất khiến website đứng top 1 Google nhưng không được ChatGPT / Perplexity trích dẫn là do tường lửa bảo mật (Cloudflare, Vercel Firewall) hoặc file robots.txt đang **nhầm lẫn AI SearchBot với các con bot cào dữ liệu rác (Scraper Bots)** và chặn đứng kết nối của chúng.

1. Phân biệt 2 loại AI Bot: SearchBot vs TrainingBot

Trước khi cấu hình tường lửa, bạn cần phân biệt rõ 2 nhóm con bọ AI:

1. AI SearchBots (BẮT BUỘC NÊN MỞ - Giúp tăng Traffic)

Là các con bọ cào dữ liệu để trả lời câu hỏi trực tiếp cho người dùng tìm kiếm và **đính kèm đường link nguồn trỏ về website của bạn** (Ví dụ: OAI-SearchBot của OpenAI, PerplexityBot của Perplexity, Claude-Web của Anthropic).

2. AI TrainingBots (Có thể chặn nếu muốn bảo vệ bản quyền)

Là các con bọ cào dữ liệu phục vụ mục đích huấn luyện mô hình trí tuệ nhân tạo mà không mang lại đường link trích dẫn trực tiếp (Ví dụ: GPTBot, CCBot, Google-Extended).

2. 3 Bước cấu hình mở đường cho AI SearchBot chuẩn mực

Bước 1: Cấu hình file robots.txt cho phép AI SearchBot

Trong file public/robots.txt của dự án Next.js:

User-agent: Googlebot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-Web
Allow: /

# Chặn các bot cào dữ liệu rác không trích nguồn
User-agent: Bytespider
Disallow: /

Sitemap: https://uwmee.com/sitemap.xml

Bước 2: Cấu hình Vercel Firewall / Cloudflare WAF

Nếu website của bạn chạy trên Vercel hoặc Cloudflare:

• Vào Cloudflare → Security → WAF → Custom Rules.
• Tạo quy tắc Allow (Cho phép) đối với User Agent chứa các chuỗi: OAI-SearchBot và PerplexityBot.
• Tắt chế độ *Bot Fight Mode* hoặc đưa các IP dải AI SearchBot vào danh sách WhiteList.

Bước 3: Nộp file Sitemap.xml & llms.txt

Khai báo đầy đủ đường link Sitemap.xml chuẩn SEO và file llms.txt dành cho AI để các AI SearchBot cào dữ liệu dễ dàng.

Kết luận

Cấu hình đúng AI SearchBot sẽ giúp website của bạn đón đầu hàng triệu lượt truy cập chất lượng từ các cỗ máy tìm kiếm thế hệ mới. Uwmee Software thiết kế 100% website Next.js được cấu hình chuẩn mực file robots.txt & firewall hỗ trợ AI SearchBot. Đọc thêm bài viết GEO là gì.