Hướng dẫn setting Robots.txt chuẩn nhất dành cho Blogspot

{tocify} $title = {Mục lục bài viết}

[tintuc]Robots.txt vẫn là một phần quan trọng của website kể cả đối với Blogspot, nó là một trong những điểm tới trước tiên của bots search khi bước vào website của bạn. Đồng thời, nó khắc ghi vai trò quan trọng của tôi trong việc index website lên những tool tìm kiếm. Vì vậy, hãy cùng cuahangtemplate tò mò qua robots.txt là gì và thông số kỹ thuật kỹ thuật robots.txt chuẩn nhất cho Blogspot nhé.

Cấu trúc bài viết:

Robots.txt là gì?
Vì sao bạn nên sử dụng robots.txt?
Cấu trúc robots.txt chuẩn nhất cho Blogspot
Hướng dẫn thêm robots.txt vào Blogspot

Robots.txt là gì?

Robots.txt là một dạng file text chứa những câu lệnh giúp điều hướng bots search của những tool tìm kiếm, chỉ dẫn chúng đc và không đc phép index những nội dung nào trên website.

Vì sao bạn nên sử dụng robots.txt?

Một trang web, blog xuất hiện rất nhiều trang đích, tuy nhiên, có khá nhiều trang đích cần seo không quan trọng phải xuất hiện trên những tool tìm kiếm. Chẳng hạn với Blogspot, mục archive (Lưu trữ) là gần như không quan trọng phải xuất hiện trên Google, vì chẳng ai tìm cả.

Ngoài ra, Blogspot xuất hiện khá nhiều backlinks khác nhau, như cùng 1 label Blogspot, những bạn có những đường backlinks nhìn như sau:

/label/Blogspot
/label/Blogspot?max-results=20
…

Những đường backlinks này cùng 1 trang đích cần seo như lại đc index 2 lần, tức sẽ bị lỗi trùng lặp thẻ title và miêu tả (Cùng 1 title và miêu tả những có nhiều trang đích cần seo khác nhau). Trong khi thẻ canonical thì không thể giải quyết đc lỗi này. Chính vì vậy, chỉ có chặn index những đường backlinks không quan trọng thì mới giải quyết đc vấn đề.

Lúc này, robots.txt là tool hiệu suất cao để giúp bạn lọc đi những nội dung không quan trọng phải đc Google index như đã nói ở trên.

Đọc thêm: Hướng dẫn cách trỏ tên miền riêng về Blogspot

Cấu trúc robots.txt chuẩn nhất cho Blogspot

Cấu trúc chuẩn nhất cho robots.txt ở post này của cuahangtemplate đc xây đắp để đào thải hầu hết những nội dung không quan trọng phải index trên Google của Blogspot như: những trang 2,3,4…; mục lưu trữ; mục tìm kiếm. Cũng như khai báo sơ đồ website để Google index blog Nhanh hơn.

Cấu trúc robots.txt chuẩn như sau:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow: *max-results=*
Disallow: *archive.html
Disallow: *?m=0
Sitemap: https://www.cuahangtemplate.com/feeds/posts/default?orderby=UPDATED
Sitemap: https://www.cuahangtemplate.com/atom.xml?redirect=false&start-index=1&max-results=500

Ở đây, cuahangtemplate sẽ giải thích cho những bác từng dòng cần thiết:

• Allow: / - Tức là cho phép bots có thể index nội dung trên trang web.
• Disallow: *max-results=* - Chặn không cho bots index url chứa cụm từ max-results=, đây là url xuất hiện khi bạn chọn xem trang thứ 2, thứ 3… của chủ đề nào đó.
• Disallow: *archive.html  - Chặn không có bots index những trang lưu trữ, tác dụng mấy trang này không nhiều mà lại làm xấu sơ đồ website của Blogspot.
• Disallow: *?m=0 – Blogspot có 2 giao diện, 1 là cho máy tính và còn lại là cho điện thoại. Thông thường những theme đều xây đắp sử dụng responsive, nên sẽ xuất hiện đường backlinks ?m=1, còn máy tính vẫn xuất hiện đường backlinks ?m=0 dù bạn truy vấn trên máy tính sẽ không thấy, nhưng tham số ?m=0 vẫn tồn tại, và đc Google index, vì vậy, để trang trùng lặp mô tả, tiêu đề, bạn cần chặn tham số ?m=0.
• 2 mục sơ đồ website – Khai báo sơ đồ website cho bots crawl toàn thể trang web, 2 sơ đồ website ở trên đều đc tạo ra từ RSS Feedburner. Vì vậy, để sử dụng đc nó, những bác nhớ tò mò thêm post tạo RSS/Feedburner này nhé. Nhớ thay url lại cho đúng blog của bạn nhé.

Hướng dẫn thêm robots.txt vào Blogspot

Blogspot có sẵn địa điểm để bạn CHÈN robots.txt, chỉ việc thêm đoạn robots.txt chuẩn ở trên theo chỉ dẫn này vào là OK.

- Truy cập trang quản lý Blogspot ở địa chỉ: https://www.blogger.com

- Tiếp tục vào Cài đặt, vào Tùy chọn tìm kiếm và thêm đoạn text robots.txt trên vào mục Robots.txt:
Sau đó lưu lại.

Bạn có thể kiểm tra xem file robots.txt đã hoạt động hay chưa bằng cách kiểm tra ở đây: https://www.cuahangtemplate.com/robots.txt

Như vậy là post đã cho những bác biết robots.txt là gì, một file robots.txt chuẩn cho Blogspot ra sao và làm thế nào để thêm robots.txt vào Blogspot. Hy vọng những bác sẽ không gặp mặt bi thảm buồn phiền khi thực hiện. Có luận điểm gì thì bình luận bên dưới nhé.
Cảm ơn những bác đã quan tâm, cuahangtemplate.com chuẩn bị giúp sức bạn
chúc những bác thành công!! [/tintuc]