Hướng dẫn setting Robots.txt chuẩn nhất dành cho Blogspot

{tocify} $title = {Mục lục bài viết}

[tintuc]Robots.txt vẫn là một phần quan trọng của site kể cả đối với Blogspot, nó là một trong những điểm tới trước tiên của bots search khi bước vào website của bạn. Đồng thời, nó khắc ghi vai trò quan trọng của tôi trong việc index site lên những Tool tìm kiếm. Vì vậy, hãy cùng cuahangtemplate tìm hiểu qua robots.txt là gì và thông số kỹ thuật kỹ thuật robots.txt chuẩn nhất cho Blogspot nhé.

Cấu trúc bài viết:

Robots.txt là gì?
Vì sao bạn nên sử dụng robots.txt?
Cấu trúc robots.txt chuẩn nhất cho Blogspot
Hướng dẫn thêm robots.txt vào Blogspot

Robots.txt là gì?

Robots.txt là một dạng file text chứa những câu lệnh giúp điều hướng bots search của những Tool tìm kiếm, chỉ dẫn chúng đc và không đc phép index những nội dung nào trên website.

Vì sao bạn nên sử dụng robots.txt?

Một trang web, blog xuất hiện rất nhiều trang đích, tuy nhiên, có khá nhiều trang đích cần seo không quan trọng phải xuất hiện trên những Tool tìm kiếm. Chẳng hạn với Blogspot, mục archive (Lưu trữ) là gần như không quan trọng phải xuất hiện trên Google, vì chẳng ai tìm cả.

Ngoài ra, Blogspot xuất hiện khá nhiều backlink khác nhau, như cùng 1 label Blogspot, những bạn có những đường backlink nhìn như sau:

/label/Blogspot
/label/Blogspot?max-results=20
…

Những đường backlink này cùng 1 trang đích cần seo như lại đc index 2 lần, tức sẽ bị lỗi trùng lặp thẻ title và biểu đạt (Cùng 1 title và biểu đạt những có nhiều trang đích cần seo khác nhau). Trong khi thẻ canonical thì không thể giải quyết đc lỗi này. Chính vì vậy, chỉ có chặn index những đường backlink không quan trọng thì mới giải quyết đc vấn đề.

Lúc này, robots.txt là Tool hiệu suất cao để giúp bạn lọc đi những nội dung không quan trọng phải đc Google index như đã nói ở trên.

Đọc thêm: Hướng dẫn cách trỏ tên miền riêng về Blogspot

Cấu trúc robots.txt chuẩn nhất cho Blogspot

Cấu trúc chuẩn nhất cho robots.txt ở post này của cuahangtemplate đc xây dựng để vứt bỏ hầu hết những nội dung không quan trọng phải index trên Google của Blogspot như: những trang 2,3,4…; mục lưu trữ; mục tìm kiếm. Cũng như khai báo sơ đồ website để Google index blog Nhanh hơn.

Cấu trúc robots.txt chuẩn như sau:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow: *max-results=*
Disallow: *archive.html
Disallow: *?m=0
Sitemap: https://www.cuahangtemplate.com/feeds/posts/default?orderby=UPDATED
Sitemap: https://www.cuahangtemplate.com/atom.xml?redirect=false&start-index=1&max-results=500

Ở đây, cuahangtemplate sẽ giải thích cho mọi người từng dòng cần thiết:

• Allow: / - Tức là cho phép bots có thể index nội dung trên trang web.
• Disallow: *max-results=* - Chặn không cho bots index url chứa cụm từ max-results=, đây là url xuất hiện khi bạn chọn xem trang thứ 2, thứ 3… của chủ đề nào đó.
• Disallow: *archive.html  - Chặn không có bots index những trang lưu trữ, tính năng mấy trang này không nhiều mà lại làm xấu sơ đồ website của Blogspot.
• Disallow: *?m=0 – Blogspot có 2 giao diện, 1 là cho máy tính và còn lại là cho điện thoại. Thông thường những theme đều xây dựng sử dụng responsive, nên sẽ xuất hiện đường backlink ?m=1, còn máy tính vẫn xuất hiện đường backlink ?m=0 dù bạn truy vấn trên máy tính sẽ không thấy, nhưng tham số ?m=0 vẫn tồn tại, và đc Google index, vì vậy, để trang trùng lặp mô tả, tiêu đề, bạn cần chặn tham số ?m=0.
• 2 mục sơ đồ website – Khai báo sơ đồ website cho bots crawl cục bộ trang web, 2 sơ đồ website ở trên đều đc tạo ra từ RSS Feedburner. Vì vậy, để sử dụng đc nó, mọi người nhớ tìm hiểu thêm post tạo RSS/Feedburner này nhé. Nhớ thay url lại cho đúng blog của bạn nhé.

Hướng dẫn thêm robots.txt vào Blogspot

Blogspot có sẵn địa điểm để bạn INSERT robots.txt, chỉ việc thêm đoạn robots.txt chuẩn ở trên theo chỉ dẫn này vào là OK.

- Truy cập trang quản lý Blogspot ở địa chỉ: https://www.blogger.com

- Tiếp tục vào Cài đặt, vào Tùy chọn tìm kiếm và thêm đoạn text robots.txt trên vào mục Robots.txt:
Sau đó lưu lại.

Bạn có thể kiểm tra xem file robots.txt đã hoạt động hay chưa bằng cách kiểm tra ở đây: https://www.cuahangtemplate.com/robots.txt

Như vậy là post đã cho mọi người biết robots.txt là gì, một file robots.txt chuẩn cho Blogspot ra sao và làm thế nào để thêm robots.txt vào Blogspot. Hy vọng mọi người sẽ không chạm chán khổ sở khi thực hiện. Có luận điểm gì thì bình luận bên dưới nhé.
Cảm ơn mọi người đã quan tâm, cuahangtemplate.com luôn sẵn sàng trợ giúp các bạn, hãy để lại comment phía dưới nhé.
chúc mọi người thành công!! [/tintuc]