PixelID

Robots.txt và Thẻ META Robots trong SEO

Bạn có thể điều khiển Robots truy cập vào các trang web bằng cách sử dụng file Robots.txt - giống như nội quy của website hoặc sử dụng thẻ Meta Robots để điều khiển robot đọc từng trang web.

File Robots.txt đặt ở thư mục gốc website

File robots.txt đặt ở thư mục gốc của website (ví dụ: http://inet.vn/robots.txt) dùng để cấm robots truy cập vào một số tài nguyên bên trong website. Ngay khi vào website, trước khi đọc bất cứ nội dung nào trên website, robot sẽ tìm đến file này đầu tiên.

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /

Tất cả loại robots
Cấm đọc thư mục /admin/
Cấm đọc thư mục /private/
Cho phép đọc các phần còn lại

Thẻ Meta Robots được đặt trong trang web để điều khiển robots đọc nội dung của từng trang.

<meta name="robots" content="xxx" />

Bạn thay  xxx  bằng một hoặc kết hợp những giá trị dưới đây:

Nếu không tìm thấy trang web trên Google, bạn hãy kiểm tra xem file robots.txt có chặn robots hay không, hoặc thẻ META ROBOTS có đặt giá trị là NONE hoặc NOINDEX ? Nếu có hãy gỡ bỏ và submit lại trang web với Google.

Tham khảo thêm hướng dẫn Google tại địa chỉ:
https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag

Chúc bạn SEO thành công!
Nguyễn Trọng Thơ - SEO Master


<< Bài mới hơn Bài cũ hơn >>
Thiết kế Web bán hàng miễn phí - Powered by iNET