Với một website để trở nên tốt hơn trong mắt công cụ tìm kiếm cần tối ưu về kỹ thuật. Đối với Seo Onpage càng cần thiết hơn nữa. Và trong checklist Seo của mình sẽ thường kiểm tra file robots.txt. Bằng những kiến thức biết được bài này sẽ hướng dẫn cách tạo file robots.txt chuẩn cho WordPress nhất.

Vậy file Robots.txt WordPress là gì?

Với tập tin robots.txt con bot của Google sẽ được nên index và không index phần nào. Bot sẽ tiến hành Crawl để thu thập mọi thông tin trên website hay blog.

Các thông tin này sẽ được bot lựa chọn để lập chỉ mục. Webmater/Blogger sẽ dùng file robots.txt để đưa ra các hướng dẫn bằng lệnh nói với bot khu vực nào nên lập chỉ mục. Các lệnh thường dùng đó là được phép vào (allow) hoặc không (disallow).

File robots.txt nằm ở đâu trên website?

Để kiểm tra xem trang web có file robots.txt và chuẩn Seo chưa bạn gõ lên trình duyệt https://tenmien.com/robots.txt sẽ thấy xuất hiện.

Tác dụng của file robots.txt?

Như đã nói thì với tập tin robots.txt chúng ta sẽ dùng lệnh để cho phép hoặc không cho phép bot ghé thăm một khu vực nào đó. Đây là cách giúp ngăn chặn việc index các đường dẫn trùng lặp hoặc không giá trị trên website WordPress.

Hướng dẫn cách tạo file robots.txt cho WordPress

Một tập tin thông thường khi tạo ra sẽ như thế này:

User-agent: * 
Disallow: /wp-admin/ 
Allow: /wp-admin/admin-ajax.php 
Sitemap: https://quachquynh.com/sitemap_index.xml

Trong đó:

User-agent – Xác định các công cụ tìm kiếm mà quy tắc được áp dụng.

Disallow – Ngăn chặn bot công cụ tìm kiếm không thu thập thông tin, lập chỉ mục một tập tin, trang hoặc thư mục.

Allow: Cho phép con bọ truy xuất vào thư mục nào của website

Nhưng để tốt hơn trong Seo thì bạn nên chặn một số file khác nữa. File robots.txt mình thường sử dụng

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-content/plugins/ 
Allow: /wp-content/uploads/
Sitemap: https://quachquynh.com/sitemap_index.xml

Tạo file robots.txt chuẩn cho WordPress thế nào?

Để tạo tập tin robots.txt trước tiên bạn cần cài plugin Yoast Seo, sau đó nhấp vào biểu tượng của nó cột bên trái => Chọn Tool

Bước tiếp theo bạn chọn File editor

Copy đoạn code file robots.txt paste vào.

Cuối cùng ấn Save changes to robots.txt để lưu lại

Sau khi tạo xong bạn không cần phải làm gì cả chỉ cần submit website lên Google Search Console là được.

Kết luận:

Với bài viết hướng dẫn cách tạo file robots.txt chuẩn Seo cho WordPress trên đây sẽ giúp bạn tối ưu hơn. Tuy nhiên bạn nên thận trọng khi sử dụng bởi nếu dùng lệnh không đúng sẽ dẫn đến việc Google chặn index. Còn nữa với mỗi website lại có kiểu khác nhau tuỳ thuộc vào ý định của Webmaster/Blogger.