Crawler AI là các bot do công ty AI vận hành để đọc nội dung website, phục vụ huấn luyện mô hình hoặc tính năng tìm kiếm của trợ lý AI.
Định nghĩa
Giống Googlebot thu thập trang cho Google Search, các công ty AI cũng có bot riêng truy cập website. Các bot này có hai mục đích chính:
- Thu thập dữ liệu huấn luyện mô hình.
- Phục vụ tìm kiếm: tìm và đọc trang khi trợ lý AI cần trả lời câu hỏi của người dùng.
Phân biệt hai mục đích này rất quan trọng: chặn bot huấn luyện thường không ảnh hưởng tới việc được trích dẫn, nhưng chặn bot tìm kiếm có thể khiến website không xuất hiện trong câu trả lời.
Có những crawler AI nào phổ biến?
| Bot | Công ty | Mục đích chính |
|---|---|---|
GPTBot |
OpenAI | Thu thập nội dung có thể dùng để huấn luyện mô hình |
OAI-SearchBot |
OpenAI | Đưa website vào kết quả tìm kiếm của ChatGPT |
ChatGPT-User |
OpenAI | Truy cập trang khi người dùng ChatGPT yêu cầu, không tự động thu thập |
Google-Extended |
Token kiểm soát việc nội dung được dùng để huấn luyện Gemini và cho grounding trong Gemini Apps | |
ClaudeBot |
Anthropic | Thu thập dữ liệu web |
PerplexityBot |
Perplexity | Đưa website vào kết quả tìm kiếm của Perplexity, không dùng để huấn luyện mô hình nền tảng |
Danh sách và mục đích của từng bot có thể thay đổi. Hãy kiểm tra tài liệu chính thức của từng công ty (xem mục nguồn tham khảo).
Theo OpenAI, các thiết lập cho từng bot độc lập với nhau: chặn GPTBot không ảnh hưởng tới tìm kiếm của ChatGPT, nhưng chặn OAI-SearchBot thì website sẽ không xuất hiện trong câu trả lời tìm kiếm của ChatGPT.
Google-Extended không phải một bot riêng truy cập website, mà là một tên (token) dùng trong robots.txt. Theo Google, nó không ảnh hưởng tới việc website xuất hiện hay xếp hạng trong Google Search.
Cấu hình robots.txt cho bot AI như thế nào?
Cho phép tất cả (mặc định khi không có quy tắc chặn):
User-agent: *
Allow: /
Cho phép bot tìm kiếm nhưng chặn bot huấn luyện của OpenAI:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
Sau khi sửa robots.txt, các hệ thống cần thời gian để cập nhật theo. Với tìm kiếm của ChatGPT, OpenAI cho biết mất khoảng 24 giờ.
Nên cho phép hay chặn?
- Muốn được AI giới thiệu: không chặn các bot phục vụ tìm kiếm như
OAI-SearchBotvàPerplexityBot. - Lo ngại nội dung bị dùng huấn luyện: có thể chặn bot huấn luyện, chấp nhận rằng mô hình có thể biết ít hơn về bạn.
- Kiểm tra định kỳ: một số plugin bảo mật hoặc dịch vụ CDN có thể chặn bot AI mặc định mà bạn không biết.
Sai lầm thường gặp khi cấu hình bot AI
- Chép nguyên robots.txt của bản thử nghiệm (có
Disallow: /cho mọi bot) lên website thật, khiến cả Google lẫn bot AI bị chặn. - Chặn GPTBot vì lo bị dùng huấn luyện nhưng viết quy tắc quá rộng, chặn luôn cả OAI-SearchBot.
- Bật chế độ chống bot của CDN hoặc plugin bảo mật mà không kiểm tra các bot AI hợp lệ có bị chặn không.
- Quên rằng thay đổi cần thời gian: sau khi sửa robots.txt, các hệ thống cần một khoảng thời gian để cập nhật theo.
Thuật ngữ liên quan
- llms.txt: llms.txt là một file Markdown đặt ở thư mục gốc website, tóm tắt website là gì và liệt kê các trang quan trọng, để mô hình ngôn ngữ đọc và hiểu website dễ hơn.
- Grounding: Grounding là việc mô hình AI dựa vào dữ liệu bên ngoài, thường là kết quả tìm kiếm web, để viết câu trả lời thay vì chỉ dựa vào kiến thức có sẵn trong mô hình.
- Citation: Citation (trích dẫn nguồn) là đường link tới trang web mà trợ lý AI dùng làm nguồn khi viết câu trả lời có tìm kiếm web.
Câu hỏi thường gặp
Làm sao biết website có đang chặn bot AI không?
Mở tenmien.vn/robots.txt và tìm các tên bot ở bảng trên. Ngoài ra, nên kiểm tra cài đặt tường lửa hoặc CDN, vì một số dịch vụ chặn bot ở tầng mạng chứ không qua robots.txt.
Chặn GPTBot có làm ChatGPT không nhắc tới thương hiệu không?
Không nhất thiết. Theo OpenAI, tìm kiếm của ChatGPT dùng OAI-SearchBot chứ không phải GPTBot, và ChatGPT vẫn có thể biết thương hiệu qua các trang khác nhắc tới bạn.
Làm sao biết bot AI đã truy cập website?
Xem log máy chủ và lọc theo tên user-agent như GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot. Một số dịch vụ CDN cũng có báo cáo lưu lượng bot. Lưu ý user-agent có thể bị giả mạo, nên một số công ty AI như OpenAI và Perplexity công bố dải địa chỉ IP của bot để đối chiếu.