Tạo file robots.txt chuẩn cho WordPress tốt cho Seo

Với một website để trở nên tốt hơn trong mắt công cụ tìm kiếm cần tối ưu về kỹ thuật. Đối với Seo Onpage càng cần thiết hơn nữa. Và trong checklist Seo của mình sẽ thường kiểm tra file robots.txt. Bằng những kiến thức biết được bài này sẽ hướng dẫn tạo file robots.txt chuẩn cho WordPress nhất.

Vậy file Robots.txt WordPress là gì?

Với tập tin robots.txt con bot của Google sẽ được nên index và không index phần nào. Bot sẽ tiến hành Crawl để thu thập mọi thông tin trên website hay blog.

Các thông tin này sẽ được bot lựa chọn để lập chỉ mục. Webmater/Blogger sẽ dùng file robots.txt để đưa ra các hướng dẫn bằng lệnh nói với bot khu vực nào nên lập chỉ mục. Các lệnh thường dùng đó là được phép vào (allow) hoặc không (disallow).

File robots.txt nằm ở đâu trên website?

Để kiểm tra xem trang web có file robots.txt và chuẩn Seo chưa bạn gõ lên trình duyệt https://tenmien.com/robots.txt nếu có nó sẽ như thế này:

Tạo file robots.txt chuẩn cho WordPress tốt cho Seo

Vì sao lại cần tới file robots.txt?

Như đã nói thì với tập tin robots.txt chúng ta sẽ dùng lệnh để cho phép hoặc không cho phép bot ghé thăm một khu vực nào đó. Đây là cách giúp ngăn chặn việc index các đường dẫn trùng lặp hoặc không giá trị trên website WordPress.

Chẳng hạn như khu vực wp-admin, wp-content, image, tag… Những phần này khi index nó không những không có tác dụng mà còn gây hại cho Seo.

Mẫu file robots.txt chuẩn cho WordPress

Một tập tin thông thường khi tạo ra sẽ như thế này:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.quachquynh.com/sitemap_index.xml

Trong đó:

User-agent – Xác định các công cụ tìm kiếm mà quy tắc được áp dụng.

Disallow – Ngăn chặn bot công cụ tìm kiếm không thu thập thông tin, lập chỉ mục một tập tin, trang hoặc thư mục.

Allow: Cho phép con bọ truy xuất vào thư mục nào của website

Nhưng để tốt hơn trong Seo thì bạn nên chặn một số file khác nữa. File robots.txt mình thường sử dụng

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /page/*
Disallow: */page/*
Disallow: /wp-content/*
Disallow: /wp-content/
Disallow: */attachment/*
Disallow: /xmlrpc.php
Sitemap: https://www.quachquynh.com/sitemap_index.xml

Tạo file robots.txt thế nào?

Để tạo tập tin robots.txt trước tiên bạn cần cài plugin Yoast Seo, sau đó nhấp vào biểu tượng của nó cột bên trái => Chọn Tool

Tạo file robots.txt thế nào?

Bước tiếp theo bạn chọn File editor

Hướng dẫn cách tạo file robots.txt

Copy đoạn code file robots.txt paste vào đây

File robots.txt chuẩn Seo cho WordPress

Cuối cùng ấn Save changes to robots.txt để lưu lại

Sau khi tạo xong bạn không cần phải làm gì cả chỉ cần submit website lên Google Search Console là được.

Kết luận:

Với bài viết hướng dẫn cách tạo file robots.txt chuẩn Seo cho WordPress trên đây sẽ giúp bạn tối ưu hơn. Tuy nhiên bạn nên thận trọng khi sử dụng bởi nếu dùng lệnh không đúng sẽ dẫn đến việc Google chặn index. Còn nữa với mỗi website lại có kiểu khác nhau tuỳ thuộc vào ý định của Webmaster/Blogger.