Bạn có thể điều khiển Robots truy cập vào các trang web bằng cách sử dụng file Robots.txt – giống như nội quy của website hoặc sử dụng thẻ Meta Robots để điều khiển robot đọc từng trang web.
File robots.txt đặt ở thư mục gốc của website (ví dụ: https://inet.vn/robots.txt) dùng để cấm robots truy cập vào một số tài nguyên bên trong website. Ngay khi vào website, trước khi đọc bất cứ nội dung nào trên website, robot sẽ tìm đến file này đầu tiên.
User-agent: * !Tất cả loại robots !Cho phép đọc các phần còn lại
Disallow: /admin/ !Cấm đọc thư mục /admin/
Disallow: /private/ !Cấm đọc thư mục /private/
Allow: /
Thẻ Meta Robots được đặt trong khối <head> của trang web để điều khiển robots đọc nội dung của trang đó:
<head>
<meta name=”robots” content=”INDEX,FOLLOW” />
</head>
Bạn thay xxx bằng một hoặc kết hợp những giá trị dưới đây:
- INDEX: cho phép robots index (lưu trữ + xếp hạng) trang web
- FOLLOW: cho phép robots đi theo các link trong trang đến các trang khác.
- ALL hoặc INDEX, FOLLOW: cho phép index và cho phép follow.
- NOINDEX: robots không được index trang này –> không tìm thấy trên Google.
- NOFOLLOW: robots không đi theo các link trong trang này để đến các trang khác.
- NONE hoặc NOINDEX, NOFOLLOW: robots không được index, không được đi theo các link trong trang web.
- NOODP: Không sử dụng mô tả trong Open Directory Project (DMoz.org) để hiển thị trong kết quả tìm kiếm.
- NODIR: Không sử dụng tiêu đề và mô tả trong Yahoo Directory để hiển thị trong kết quả tìm kiếm.
Nếu không tìm thấy trang web trên Google, bạn hãy kiểm tra xem file robots.txt có chặn robots hay không, hoặc thẻ META ROBOTS có đặt giá trị là NONE hoặc NOINDEX ? Nếu có hãy gỡ bỏ và submit lại trang web với Google.
Tham khảo thêm hướng dẫn Google tại địa chỉ:
https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
Chúc bạn SEO thành công!
@Nguyễn Trọng Thơ – SEO Master
P.S: Bạn có website và muốn có nhiều traffic miễn phí? Hãy tham gia khóa học seomaster
