File robots.txt là tệp tin điều phối việc thu thập dữ liệu quan trọng đối với mọi trang web. Tinh Tế (seotinhte.com), đơn vị chuyên sâu về dịch vụ SEO website thành lập ngày 10/11/2019, chia sẻ hướng dẫn chi tiết về cấu trúc, cách tạo và phương pháp kiểm tra file robots.txt chuẩn SEO.
File robots.txt là gì?
File robots.txt là tệp văn bản thuần túy (plain text) đặt tại thư mục gốc của website, hoạt động theo Giao thức Loại trừ Robot (Robots Exclusion Protocol) để hướng dẫn bot công cụ tìm kiếm thu thập dữ liệu. Tệp tin này chỉ định rõ bot nào được phép hoặc không được phép truy cập vào các thư mục cụ thể.
Khi Googlebot hoặc Bingbot quét website, bước đầu tiên của quy trình google crawl là đọc file robots.txt. Các chỉ thị trong tệp định hướng bot lập danh sách URL đủ điều kiện thu thập để xử lý dữ liệu và đánh giá xếp hạng.
File robots.txt không có chức năng bảo mật thông tin. Bất kỳ ai cũng có thể đọc nội dung file bằng cách thêm “/robots.txt” vào sau tên miền, vì vậy bạn tuyệt đối không dùng tệp này để che giấu dữ liệu nhạy cảm.
Vai trò của file robots.txt trong dịch vụ SEO website
File robots.txt tối ưu hóa hiệu suất thu thập dữ liệu của công cụ tìm kiếm, tạo nền tảng vững chắc cho chiến dịch SEO tổng thể.
Việc thiết lập robots.txt chính xác mang lại 4 lợi ích lớn:
- Kiểm soát thu thập dữ liệu: Ngăn bot tiếp cận các thư mục nội bộ như /wp-admin/, mã nguồn bổ trợ, hoặc các tham số URL sinh ra nội dung trùng lặp.
- Tối ưu hóa crawl budget: Hướng ngân sách thu thập dữ liệu của Googlebot vào các trang sản phẩm, bài viết và danh mục kinh doanh trọng tâm.
- Giảm tải cho máy chủ: Hạn chế tình trạng hàng loạt bot quét cùng lúc khiến máy chủ lưu trữ bị nghẽn băng thông.
- Hạn chế thu thập trang thử nghiệm: Ngăn bot tìm kiếm tiếp cận môi trường staging, bản thử nghiệm giao diện, hoặc các trang nội bộ chưa hoàn thiện.
Cấu trúc và cú pháp cơ bản của file robots.txt
Cấu trúc của file robots.txt gồm nhiều khối chỉ thị, mỗi khối bắt đầu bằng User-agent và theo sau là các quy tắc Disallow, Allow hoặc vị trí Sitemap.
Lệnh User-agent
Lệnh User-agent xác định tên của bot công cụ tìm kiếm mà khối quy tắc tiếp theo sẽ áp dụng.
Ký tự đại diện (*) áp dụng quy tắc cho toàn bộ bot thu thập thông tin:
User-agent: *
Bạn có thể chỉ định chính xác từng loại bot như Googlebot (thu thập tìm kiếm chung), Googlebot-Image (thu thập hình ảnh), hoặc Bingbot:
User-agent: Googlebot
User-agent: Bingbot
Lệnh Disallow
Lệnh Disallow chỉ định các đường dẫn URL hoặc thư mục mà bot tìm kiếm bị cấm truy cập.
Các dạng lệnh Disallow thông dụng gồm:
Disallow: /wp-admin/
Disallow: /private/
Disallow: /*.pdf$
Lệnh có thể chặn một thư mục con, một tệp cụ thể, hoặc dùng ký tự đại diện (*) cùng ký tự kết thúc ($) để chặn toàn bộ định dạng tệp.
Lệnh Allow
Lệnh Allow cấp phép cho bot truy cập vào một tệp hoặc thư mục con cụ thể nằm trong một thư mục lớn đã bị chặn bởi Disallow.
Ví dụ mở quyền truy cập tệp AJAX khi thư mục quản trị bị chặn:
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Lệnh Sitemap
Lệnh Sitemap cung cấp đường dẫn tuyệt đối đến tệp sơ đồ trang web XML, hỗ trợ bot tìm kiếm khám phá toàn bộ URL quan trọng.
Bạn nên tìm hiểu kỹ cách tạo sitemap chuẩn SEO để đảm bảo đường dẫn khai báo luôn chính xác và đầy đủ.
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-posts.xml
Hướng dẫn cách tạo file robots.txt chuẩn SEO
Bạn có thể tạo file robots.txt dễ dàng qua 3 cách: tạo thủ công tải lên qua FTP, dùng plugin Yoast SEO, hoặc dùng plugin All in One SEO.
Phương pháp 1: Tạo thủ công qua FTP
Bạn mở công cụ Notepad, tạo tệp tin có tên robots.txt với nội dung chuẩn cơ bản:
User-agent: *
Allow: /
Sitemap: https://yourwebsite.com/sitemap.xml
Sau đó, bạn đăng nhập phần mềm FTP và tải tệp lên thư mục gốc của hosting (thường là public_html hoặc www).
Phương pháp 2: Sử dụng plugin Yoast SEO (WordPress)
Trong trang quản trị WordPress, bạn chọn SEO > Công cụ (Tools) > Trình chỉnh sửa tệp (File Editor). Bạn chỉnh sửa trực tiếp nội dung robots.txt và nhấn lưu mà không cần kết nối FTP.
Phương pháp 3: Sử dụng plugin All in One SEO
Bạn vào mục All in One SEO > Tools > Robots.txt Editor, kích hoạt tính năng để quản lý các quy tắc User-agent, Allow, và Disallow thông qua giao diện trực quan.
Mẫu robots.txt chuẩn cho website WordPress:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-content/cache/
Disallow: /wp-json/
Disallow: /?s=
Disallow: /search/
Disallow: /author/
Disallow: /trackback/
Disallow: /xmlrpc.php
Sitemap: https://yourwebsite.com/sitemap.xml
Cách kiểm tra file robots.txt trên website của bạn
Bạn có thể xác thực cú pháp và quyền thu thập dữ liệu của file robots.txt qua trình duyệt hoặc các công cụ kỹ thuật.
1. Kiểm tra trực tiếp qua trình duyệt web
Bạn nhập cú pháp sau vào thanh địa chỉ:
https://yourwebsite.com/robots.txt
Màn hình hiển thị nội dung tệp chứng tỏ file đã hoạt động. Nếu xuất hiện mã lỗi 404, website của bạn chưa có file robots.txt thực tế.
2. Sử dụng Google Search Console
Google Search Console cung cấp báo cáo robots.txt giúp kiểm tra URL cụ thể xem đang ở trạng thái Được phép (Allowed) hay Bị chặn (Blocked). Bạn nhấn gửi cập nhật để thông báo cho Googlebot tải phiên bản mới ngay sau khi chỉnh sửa.
3. Sử dụng công cụ thu thập dữ liệu chuyên sâu
Phần mềm Screaming Frog hoặc Ahrefs Site Audit hỗ trợ quét toàn trang để phát hiện các URL bị chặn nhầm trong quá trình triển khai seo audit website kỹ thuật.
Những hạn chế cần biết của file robots.txt
File robots.txt không có chức năng bảo vệ dữ liệu bí mật và không đảm bảo URL hoàn toàn biến mất khỏi công cụ tìm kiếm.
Năm giới hạn kỹ thuật của robots.txt gồm:
- URL bị chặn vẫn có thể được index: Nếu trang nhận được backlink từ website khác, Google vẫn lập chỉ mục URL kèm dòng mô tả ngắn. Bạn cần hiểu rõ cách index website và gắn thẻ meta robots chứa chỉ thị “noindex” trên trang để loại bỏ URL khỏi kết quả tìm kiếm.
- Không thể chống bot độc hại: Các bot thu thập dữ liệu tự động trái phép có thể phớt lờ chỉ thị Disallow.
- Khác biệt giữa các công cụ tìm kiếm: Một số bot không hỗ trợ ký tự đại diện (*) hoặc lệnh Crawl-delay.
- Giới hạn dung lượng 500 KB: Googlebot chỉ đọc tối đa 500 KB nội dung tệp robots.txt, mọi dòng lệnh phía sau mức này đều bị vô hiệu.
- Rủi ro chặn tài nguyên hiển thị: Chặn nhầm tệp CSS hoặc JavaScript sẽ khiến bot không thể dựng giao diện trang đầy đủ.
Lưu ý quan trọng khi sử dụng robots.txt cho dịch vụ SEO website từ Tinh Tế
Từ kinh nghiệm triển khai 327 dự án trên 31 lĩnh vực (tính đến ngày 30/09/2026), Tinh Tế lưu ý 6 nguyên tắc cốt lõi khi thiết lập robots.txt:
- Không chặn CSS và JavaScript: Giữ mở đường dẫn tài nguyên để Googlebot kết xuất (render) trang hoàn chỉnh.
- Mở quyền cho hình ảnh và video quan trọng: Tránh chặn thư mục media nhằm duy trì lưu lượng từ Google Images.
- Thận trọng với lệnh Crawl-delay: Lệnh này có thể làm chậm nhịp độ thu thập bài viết mới của công cụ tìm kiếm.
- Kiểm tra sau mỗi lần cập nhật: Luôn kiểm tra lại bằng Google Search Console để tránh chặn nhầm trang mục tiêu.
- Sao lưu file gốc trước khi sửa: Luôn lưu một bản dự phòng trên máy tính trước khi tải file mới lên máy chủ.
- Sử dụng chú thích bằng dấu thăng (#): Thêm ghi chú giải thích từng dòng lệnh giúp việc quản lý thuận tiện hơn.
Câu hỏi thường gặp về file robots.txt
Điều gì xảy ra nếu website không có file robots.txt?
Website không có file robots.txt sẽ mở quyền truy cập mặc định cho mọi bot công cụ tìm kiếm. Bot sẽ quét toàn bộ liên kết nội bộ và liên kết ngoài tìm thấy trên hệ thống, dễ dẫn đến lãng phí crawl budget vào các trang rác, trang tìm kiếm nội bộ hoặc trang trùng lặp.
Kích thước tối đa của file robots.txt là bao nhiêu?
Kích thước tối đa mà Googlebot xử lý là 500 KB. Các quy tắc nằm ngoài giới hạn 500 KB sẽ bị bot bỏ qua. Hầu hết các file robots.txt chuẩn chỉ có dung lượng vài KB.
File robots.txt của WordPress nằm ở đâu?
File robots.txt của WordPress nằm tại thư mục gốc lưu trữ website, ngang hàng với thư mục wp-admin, wp-content và tệp cấu hình máy chủ. Tương tự như khái niệm file htaccess là gì, robots.txt cũng được đặt ở thư mục gốc để bot truy cập trực tiếp qua yourwebsite.com/robots.txt. Nếu website chưa có file thực, WordPress sẽ tự sinh một file robots.txt ảo trong hệ thống.
Tinh Tế hướng dẫn cách chỉnh sửa file robots.txt của WordPress?
Tinh Tế tóm lược 3 cách chỉnh sửa file robots.txt trên WordPress:
- Dùng plugin SEO: Mở trình sửa tệp trong Yoast SEO hoặc All in One SEO để cập nhật trực tiếp tại bảng tin.
- Chỉnh sửa thủ công qua FTP: Tải file về máy tính, sửa bằng Notepad, rồi tải đè lại lên thư mục gốc.
- Dùng File Manager của cPanel: Đăng nhập trang quản trị hosting và chỉnh sửa trực tiếp tệp tại thư mục
public_html.
Sau khi chỉnh sửa, bạn hãy kiểm tra lại bằng Google Search Console. Nếu bạn cần rà soát crawl budget chuyên sâu, Dịch vụ Technical SEO của Tinh Tế tại 187 Nguyễn Kim, Phường Diên Hồng, TP. Hồ Chí Minh (hotline: 0909999543) luôn sẵn sàng đồng hành.









