Robots Meta Tag (tiếng Việt: Thẻ meta robots) là các đoạn mã cung cấp hướng dẫn cho trình thu thập thông tin về cách thu thập dữ liệu hoặc lập chỉ mục nội dung trang web.
Nó được đặt vào phần <head> của trang web và trông giống như:
<meta name="robots" content="noindex" />Trong khi tệp robots.txt đưa ra gợi ý cho bot về cách thu thập dữ liệu các trang, thư mục,… của một website thì các chỉ thị meta robots (bao gồm thẻ meta robots và x-robots-tag) cung cấp các hướng dẫn chắc chắn hơn về cách thu thập dữ liệu và lập chỉ mục nội dung của một trang cụ thể.
Nói cách khác, thẻ meta robots cho phép bạn sử dụng phương thức chi tiết ở cấp trang để kiểm soát cách Google nên lập chỉ mục và hiển thị một trang riêng lẻ cho người dùng trong kết quả của Google Tìm kiếm.
Tại sao thẻ meta robots quan trọng cho SEO?
Thẻ meta robots thường được sử dụng để ngăn các trang hiển thị trong kết quả tìm kiếm, mặc dù nó có các mục đích sử dụng khác.
Có nhiều loại nội dung mà bạn có thể muốn ngăn công cụ tìm kiếm lập chỉ mục:
- Trang có nội dung mỏng, ít hoặc không có giá trị cho người dùng
- Trang có thông tin bí mật, riêng tư
- Trang kết quả tìm kiếm nội bộ. Ví dụ: https://bettergrowth.org/?s=seo
- Trang đích quảng cáo tìm kiếm có trả tiền (paid search)
- Nội dung trùng lặp
- Các trang về chương trình khuyến mãi, cuộc thi hoặc ra mắt sản phẩm sắp tới
Rõ ràng, khi trang web của bạn phát triển, bạn nên cẩn thận quản lý khả năng thu thập dữ liệu và lập chỉ mục. Kết hợp chính xác các chỉ thị cấp trang bằng thẻ meta robots, x-robots-tag với tệp robots.txt và sơ đồ trang web là rất quan trọng cho SEO.
Sử dụng thẻ meta robots cũng giúp các công cụ tìm kiếm thu thập dữ liệu trang web của bạn hiệu quả hơn. Robot tìm kiếm có ngân sách thu thập dữ liệu (crawl budget) hạn chế. Bởi vậy, chặn lập chỉ mục các nội dung không quan trọng sẽ giúp hướng dẫn trình thu thập thông tin đến các trang có giá trị hơn của bạn.
Các tham số kiểm soát chỉ mục
Thẻ meta robots có thể bao gồm các giá trị sau:
index: Cho phép công cụ tìm kiếm lập chỉ mục một trang. Lưu ý: Bạn không cần thêm thẻ meta này bởi vì nó là mặc định.
noindex: Không cho phép công cụ tìm kiếm không lập chỉ mục một trang.
follow: Cho phép công cụ tìm kiếm theo dõi các liên kết trên một trang để thu thập thông tin có thể tìm thấy các trang khác. Lưu ý: Bạn không cần thêm thẻ meta này bởi vì nó là mặc định.
nofollow: Hướng dẫn trình thu thập thông tin không theo dõi bất kỳ liên kết nào trên trang.
none: Tương đương với việc sử dụng đồng thời cả thẻ noindex và nofollow.
all: Tương đương với việc sử dụng đồng thời cả thẻ index và follow.
noimageindex: Hướng dẫn trình thu thập thông tin không lập chỉ mục bất kỳ hình ảnh nào trên một trang.
noarchive: Hướng dẫn công cụ tìm kiếm không hiển thị một liên kết đã lưu trong bộ nhớ đệm cho một trang trên kết quả tìm kiếm.
nocache: Tương tự nhưnoarchive, nhưng chỉ được sử dụng bởi Internet Explorer và Firefox (theo Moz).
nosnippet: Hướng dẫn các công cụ tìm kiếm không hiển thị đoạn văn bản (tức là mô tả meta) hoặc đoạn video của trang trên kết quả tìm kiếm.
notranslate: Hướng dẫn các công cụ tìm kiếm không hiển thị bản dịch của một trang trong SERPs.
unavailable_after: Cho phép bạn chỉ định chính xác thời gian và ngày mà bạn muốn dừng thu thập dữ liệu và lập chỉ mục trang này.
Bất kỳ lệnh nào dùng được trong thẻ meta robots cũng có thể được chỉ định là một X-Robots-Tag.
