Năm 2007, Google đã thông báo rằng họ đã thêm hỗ trợ cho chỉ thị X-Robots-Tag.
X-Robots-Tag là một phần của tiêu đề HTTP được gửi từ máy chủ web. Không giống như thẻ meta robots, thẻ này không được đặt trong HTML của một trang (tức phần <head> của trang web).
Trong khi thẻ meta robots được sử dụng để ngăn các công cụ tìm kiếm lập chỉ mục các trang cụ thể; X-Robots-Tag được sử dụng để ngăn các công cụ tìm kiếm lập chỉ mục các loại tệp cụ thể như hình ảnh hoặc PDF, ngay cả đối với các tệp không phải HTML.
Bất kỳ lệnh nào dùng được trong thẻ meta robots cũng có thể được chỉ định là một X-Robots-Tag.
Bằng cách cho phép bạn kiểm soát cách các loại tệp cụ thể được lập chỉ mục, X-Robots-Tag cung cấp sự linh hoạt hơn thẻ meta robots và tệp robots.txt.
X-Robots-Tag được sử dụng như thế nào?
Bạn có thể sử dụng thẻ X-Robots-Tag dưới dạng một phần tử của phản hồi tiêu đề HTTP cho một URL nhất định.
Bạn có nhiều cách để thêm thẻ X-Robots-Tag vào tiêu đề HTTP:
| Phương pháp sử dụng | Ví dụ |
|---|---|
| Máy chủ Apache (thêm vào file .htaccess) | <FilesMatch “.doc$”> Header set X-Robots-Tag “noindex, noarchive, nosnippet” </FilesMatch> |
| <FilesMatch “.(doc|pdf)$”> Header set X-Robots-Tag “noindex, noarchive, nosnippet” </FilesMatch> | |
| Máy chủ Nginx | location ~* \.(doc|pdf)$ { add_header X-Robots-Tag “noindex, noarchive, nosnippet”; } |
| File PHP (thêm vào phần đầu tệp header.php) | header(“X-Robots-Tag: noindex”, true); |
| header(“X-Robots-Tag: noindex, nofollow”, true); |
Việc kiểm tra X-Robots-Tag hay tiêu đề HTTP phức tạp hơn một chút so với việc kiểm tra thẻ meta nhưng nhờ công cụ dành cho nhà phát triển hoặc các tiện ích mở rộng của trình duyệt thì việc này dễ dàng hơn rất nhiều.
