Search by category:
Thủ Thuật WordPress, WP Căn Bản

File robots.txt chuẩn cho wordpress

Mẫu file robots.txt chuẩn cho wordpress, Mẫu file robots.txt chuẩn dành cho WordPress, Chia sẻ mẫu file robots.txt chuẩn dành cho blog website WordPress.

File robots.txt cho wordpress là gì?

File Robots.txt là một tệp văn bản có đuôi .txt và có tên mặc định bắt buộc là robots. File robots.txt được đặt trong thư mục gốc website.

File Robots.txt để làm gì?

Mục đích File Robots.txt là nhằm cho phép các bộ máy tìm kiếm index hoặc ngăn chặn hoàn toàn hay một bộ phận trên website nhằm tăng tốc độ index (lập chỉ mục) cho web & ngăn chặn các bộ máy tìm kiếm truy cập vào vùng nhạy cảm của website.

Các bộ máy tìm kiếm lớn như Google, Bing… luôn tuân thủ các điều hướng trong file robots.txt để thực hiện quá trình index vào bộ máy tìm kiếm của họ. Tuy nhiên không phải tất cả các bộ máy tìm kiếm đều tuân thủ. Nhưng có ông lớn google tuân thủ là được rồi.

File robots.txt chuẩn cho wordpress
File robots.txt chuẩn cho wordpress

Cấu trúc file robots.txt cho wordpress

User-agent: *
Disallow:
Allow:
Sitemap:

Trong đó User-agent: * là mặc định của file robots.txt nghĩa là cho phép tất cả các công cụ tìm kiếm truy cập vào website.

Disallow là ngăn chặn truy vào website & Allow là cho phép truy cập, còn Sitemap là chỉ cho các bộ máy tìm kiếm biết đường dẫn đến file sơ đồ của trang web.

Cũng hơi khó hiểu phải không, ví dụ cụ thể nhé!

Cách tạo file robots.txt

Tạo file robots.txt có nhiều cách, có thể tạo trên host, trên phần mềm…

Bạn kích chuột phải vào màn hình -> New -> Text Document sau đó đặt tên là robots.txt

Cách tạo file robots.txt
Cách tạo file robots.txt

Mở file robots.txt lên:

Bạn gõ vào như sau:

User-agent: *
Disallow:

Cú pháp trên có nghĩa là cho phép các công cụ tìm kiếm thu thập thông tin toàn bộ website của bạn.

User-agent: *
Disallow: /

Cú pháp trên có nghĩa là ngăn chặn các công cụ tìm kiếm thu thập thông tin toàn bộ từ website của bạn. (cú pháp này có dấu / phía sau Disallow nhé)

User-agent: *
Disallow: /wp-admin

Với cú pháp trên có nghĩa là ngăn chặn các công cụ tìm kiếm truy cập vào file nằm trong đường dẫn wp-admin (tức không cho phép truy cập www.websitecuaban.com/wp-admin)

File robots.txt chuẩn cho wordpress

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*

Allow: /wp-admin/admin-ajax.php
Allow: /wp-admin/images/*
Sitemap: http://sitecuaban.com/sitemap.xml

Lưu ý: Thay http://sitecuaban.com/sitemap.xml bằng đường dẫn đến file sitemap của bạn.

Bài viết giới thiệu các thông số cơ bản trong file robots.txt cũng như cấu trúc File robots.txt chuẩn cho wordpress. Việc tạo file robots.txt có ý nghĩa rất quan trong trong quá trình SEO là tốc độ index của website.

 

Post Comment

Loading...
loading...
loading...