Sitemap.xml và Robots.txt: Hướng dẫn Tạo, Cấu hình & Submit

• Sitemap: Yoast SEO tự tạo tại yoursite.com/sitemap_index.xml → Submit lên GSC
• Robots.txt: Kiểm tra tại yoursite.com/robots.txt → Đảm bảo không block trang quan trọng
• Sitemap = "danh sách trang" cho Google, Robots.txt = "luật chơi" cho bots
• Cả hai đều quan trọng cho Technical SEO, nhưng Yoast đã xử lý tự động phần lớn

Sitemap.xml là file XML chứa danh sách tất cả các trang trên website mà bạn muốn Google index.

Giúp Google:

• Biết website có những trang nào
• Biết trang nào mới được cập nhật
• Biết mức độ quan trọng của từng trang
• Crawl hiệu quả hơn, đặc biệt với website lớn

Có! Dù website nhỏ (< 50 trang), sitemap vẫn hữu ích:

• Giúp Google phát hiện trang mới nhanh hơn
• Không tốn công sức (Yoast tự tạo)
• Là best practice chuẩn SEO

Kết luận: Mọi website đều nên có sitemap.

Yoast SEO tự động cập nhật sitemap khi bạn:

• Publish bài viết mới
• Cập nhật bài viết cũ
• Thêm/xóa trang

Bạn không cần làm gì thêm — chỉ submit sitemap một lần là đủ.

Một số trang không nên có trong sitemap:

• Trang Thank you / Confirmation
• Trang Landing page riêng tư
• Trang test / draft
• Trang duplicate / thin content

Robots.txt là file text nằm ở thư mục gốc website (yoursite.com/robots.txt), chứa các quy tắc cho bots (Google, Bing, v.v.) biết:

• Được phép crawl trang nào
• Không được crawl trang nào
• Sitemap ở đâu

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://yoursite.com/sitemap_index.xml

Giải thích:

• User-agent: * — Áp dụng cho tất cả bots
• Disallow: /path/ — Không cho phép crawl path này
• Allow: /path/ — Cho phép crawl path này (override Disallow)
• Sitemap: — Chỉ đường đến sitemap

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /xmlrpc.php
Disallow: /?s=
Disallow: /search/

# Sitemap
Sitemap: https://yoursite.com/sitemap_index.xml

Giải thích:

• Chặn /wp-admin/ nhưng cho phép admin-ajax.php (cần cho AJAX)
• Chặn /wp-includes/ (core files không cần index)
• Chặn readme.html, license.txt (file nhạy cảm)
• Chặn /xmlrpc.php (bảo mật)
• Chặn trang search (thường là thin content)

# WooCommerce
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /*?add-to-cart=*
Disallow: /*?orderby=*
Disallow: /*?filter_*

Giải thích:

• Chặn trang Cart, Checkout, My Account (không cần index)
• Chặn URL với parameters (add-to-cart, sort, filter) — tránh duplicate content

KHÔNG BAO GIỜ để robots.txt như thế này:

User-agent: *
Disallow: /

Điều này sẽ chặn toàn bộ website khỏi Google! Website sẽ biến mất khỏi kết quả tìm kiếm.

Robots.txt chỉ là hướng dẫn cho bots "ngoan". Nó không ngăn được:

• Bots "xấu" (spam bots) vẫn có thể crawl
• Người dùng trực tiếp truy cập URL
• Hacker tìm kiếm files nhạy cảm

Nếu cần bảo mật thực sự: Dùng password protection, .htaccess, hoặc authentication.