Chặn bot AI là gì? Chặn chủ động và chặn ngầm
Video chỉ được tải từ YouTube (chế độ bảo mật nâng cao) sau khi bạn bấm phát.
Chép lời video
Nếu bot của các trợ lý AI không đọc được website, AI khó nhắc tới bạn. Đây là cách kiểm tra website có đang chặn bot AI không. Vào cosmate.vn/kiem-tra-bot, nhập tên miền, rồi bấm Kiểm tra miễn phí. Không cần đăng ký. Kết quả cho từng bot. Mở, nghĩa là bot đọc được trang chủ của bạn.
Trong app, từ gói Starter, vào Cài đặt, Blog, rồi bấm Bot AI để kiểm tra từng blog đã kết nối. Đây là kết quả cũ của chính blog COSMATE. Chặn chủ động, nghĩa là robots.txt của bạn đang chặn bot đó. Muốn mở, xoá dòng Disallow tương ứng. Chặn ngầm, nghĩa là robots.txt cho phép, nhưng máy chủ hoặc CDN từ chối. Hãy nhờ nhà cung cấp hosting cho phép đúng tên bot.
Nếu muốn được AI nhắc tới, hãy mở cho nhóm bot tìm kiếm và trích dẫn. Bot thu thập để huấn luyện thì tuỳ bạn chọn. Bot đọc được là điều kiện cần, chưa phải điều kiện đủ để được trợ lý AI nhắc tới.
Mỗi trợ lý AI có bot riêng để đọc website, ví dụ GPTBot, ClaudeBot hay PerplexityBot. Nếu bot bị chặn, trợ lý AI khó có thể đọc nội dung của bạn, và càng khó nhắc tới bạn khi khách hàng hỏi.
Hai cách một website chặn bot AI
| Chặn chủ động | Chặn ngầm | |
|---|---|---|
| Ở đâu | File robots.txt của website | Máy chủ, hosting hoặc CDN (ví dụ tường lửa) |
| Cách thấy | Ai mở file robots.txt cũng thấy dòng Disallow | robots.txt vẫn cho phép, nhưng máy chủ từ chối bot (thường trả mã HTTP 403) |
| Chủ website có biết không | Thường biết, vì phải tự ghi | Thường không biết: nhiều trường hợp là cài đặt chặn bot có sẵn của hosting hoặc CDN |
Kiểm tra website của bạn
- Công cụ công khai: vào cosmate.vn/kiem-tra-bot, nhập tên miền, bấm Kiểm tra miễn phí. Mỗi tên miền có kết quả lưu trong 24 giờ; kiểm lại trong khoảng đó sẽ thấy kết quả gần nhất.
- Trong app (từ gói Starter): vào Cài đặt → Blog, bấm Bot AI ở blog cần kiểm tra, rồi bấm Kiểm tra ngay. Kết quả dưới 24 giờ được dùng lại; bấm Kiểm tra lại để kiểm mới (tối đa 5 lần mỗi giờ cho một blog).
Ví dụ trên là kết quả cũ của chính blog COSMATE khi còn bị chặn: robots.txt chặn một số bot (Chặn chủ động), và tầng CDN chặn thêm vài bot khác (Chặn ngầm).
Đọc kết quả
| Kết quả | Ý nghĩa | Muốn mở cho bot |
|---|---|---|
| Mở | Bot đọc được trang chủ | Không cần làm gì |
| Chặn chủ động | robots.txt của bạn đang chặn bot này | Xoá dòng Disallow dành cho bot đó trong robots.txt |
| Chặn ngầm | robots.txt cho phép, nhưng máy chủ hoặc CDN từ chối | Liên hệ nhà cung cấp hosting hoặc CDN để cho phép (whitelist) đúng tên bot |
| Không xác định | Máy chủ không phản hồi kịp hoặc lỗi mạng | Kiểm tra lại sau; không tính là bị chặn |
Nên mở cho bot nào
Không có câu trả lời chung cho mọi doanh nghiệp. Có thể chia làm hai nhóm:
- Bot tìm kiếm và trích dẫn (ví dụ OAI-SearchBot, PerplexityBot): giúp trợ lý AI tìm và dẫn link về website của bạn khi trả lời. Nếu bạn muốn được AI nhắc tới, đây là nhóm nên mở.
- Bot thu thập để huấn luyện mô hình (ví dụ GPTBot, CCBot, Bytespider): một số doanh nghiệp chọn chặn để bảo vệ nội dung.
Xem toàn bộ bot COSMATE kiểm tra và mục đích của từng bot ở Danh sách bot AI.
Xem thêm
Câu hỏi thường gặp
- Chặn bot AI có phải lúc nào cũng xấu không?
- Không. Có bot dùng để huấn luyện mô hình, có bot dùng để tìm kiếm và trích dẫn nguồn. Bạn hoàn toàn có thể chặn loại này và mở loại kia. Điều quan trọng là bạn biết mình đang chặn gì.
- Bot đọc được website thì trợ lý AI sẽ nhắc tới tôi chứ?
- Chưa chắc. Bot đọc được là điều kiện cần, chưa phải điều kiện đủ để được AI nhắc tới.
Bài liên quan
Bài này có hữu ích?
Cần thêm trợ giúp?
Liên hệ đội ngũ COSMATE qua một trong hai kênh dưới đây.
- Hotline (8:30–17:30, thứ Hai–thứ Sáu)
- 0777 388 838
- hello@bizmatehub.com