File robots txt là gì cách tối ưu: 7 bước chuẩn 2026
File robots txt là gì cách tối ưu, nói gọn nhất: đó là một file văn bản nhỏ đặt ở gốc tên miền, dùng để báo cho Google biết nên vào đọc phần nào và nên bỏ qua phần nào trên web của bạn.
Nó không giúp bạn lên top.
Nhưng viết sai một dòng thì cả website có thể rơi khỏi Google.
Dưới đây là 7 bước SEOFix vẫn làm cho các web bán hàng nhỏ. Bạn tự làm được, không cần biết code.
File robots txt là gì cách tối ưu — giải thích cho người không biết code
Hãy hình dung web của bạn là một cửa hàng nhiều tầng.

Google cử nhân viên đi xem hàng, gọi là bot (phần mềm tự động đi đọc các trang web).
Việc bot đi đọc từng trang gọi là crawl (Google vào đọc nội dung trang). Sau khi đọc xong, Google lưu trang đó vào kho để hiện ra khi có người tìm — gọi là index (được đưa vào kho dữ liệu của Google).
File robots.txt chính là tấm bảng chỉ dẫn treo ngay cửa.
Bảng đó ghi: khu trưng bày thì mời vào, còn phòng kho, phòng kế toán, nhà vệ sinh thì xin miễn.
Vì sao shop nhỏ cũng cần quan tâm
Mỗi website đều có những trang không ai muốn tìm trên Google.
- Trang giỏ hàng và trang thanh toán.
- Trang đăng nhập, trang quản trị.
- Trang kết quả tìm kiếm nội bộ của chính web bạn.
- Trang lọc theo màu, theo giá, sinh ra hàng trăm đường dẫn gần giống nhau.
Để bot đi lạc vào mấy khu đó nhiều quá, nó sẽ ít thời gian đọc trang sản phẩm và bài viết — thứ thật sự kéo khách.
Chặn đúng chỗ giúp Google tập trung vào phần bạn muốn bán.
Dấu hiệu file robots.txt của bạn đang có vấn đề
Bạn không cần mở code mới biết. Cứ soi mấy dấu hiệu sau:
- Mở tenmien.com/robots.txt thì báo lỗi 404, tức web chưa có file này.
- Trong file có dòng Disallow: / mà không hiểu nó nghĩa là chặn sạch toàn bộ web.
- Google Search Console báo trang bị chặn bởi robots.txt nhưng đó lại là trang sản phẩm bạn đang muốn bán.
- Web mới làm xong nhiều tuần mà tìm tên miền trên Google vẫn không thấy trang nào.
- File còn nguyên dòng chặn từ hồi web đang chạy thử trên tên miền tạm.
- Trong file có dòng crawl-delay và bạn tưởng Google đang tuân theo.
- File không khai báo sitemap (bản đồ liệt kê các trang của web).
Gặp một trong các dấu hiệu trên là nên sửa ngay hôm nay.
7 bước tối ưu file robots.txt làm được ngay
Làm lần lượt từ trên xuống. Mỗi bước mình ghi rõ cách làm thủ công, chỗ nào có công cụ nhanh hơn thì mình nói luôn.

-
Xem web đã có file chưa.
Gõ vào trình duyệt: tên miền của bạn, thêm dấu gạch chéo rồi robots.txt.
Hiện ra chữ là đã có. Báo lỗi 404 là chưa có, bạn tạo mới ở bước 4.
-
Học đúng 4 dòng lệnh, bấy nhiêu là đủ.
- User-agent: dòng này gọi tên bot. Dấu sao nghĩa là áp dụng cho mọi bot.
- Disallow: đường dẫn bạn không cho bot vào đọc.
- Allow: mở ngoại lệ cho một trang nằm trong thư mục đã chặn.
- Sitemap: địa chỉ bản đồ web, phải ghi đầy đủ cả https.
Google yêu cầu đường dẫn sau Disallow và Allow bắt đầu bằng dấu gạch chéo, còn thư mục thì kết thúc bằng dấu gạch chéo.
-
Liệt kê ra giấy những gì cần chặn.
Đừng viết file ngay. Ghi trước danh sách khu vực vô ích với người tìm kiếm.
Thường là trang quản trị, giỏ hàng, thanh toán, tài khoản khách, tìm kiếm nội bộ.
-
Viết file bằng Notepad, lưu tên robots.txt.
File phải là văn bản thuần, lưu dạng UTF-8 theo đúng yêu cầu của Google.
Mỗi lệnh một dòng, không viết dính vào nhau.
-
Tuyệt đối không chặn file CSS, JavaScript và ảnh sản phẩm.
Đây là lỗi hay gặp nhất ở web cũ.
Chặn mấy file đó, Google nhìn web bạn như trang chữ trần, mất hết giao diện, và có thể đánh giá sai trải nghiệm trên điện thoại.
-
Khai báo sitemap vào cuối file.
Một dòng duy nhất, ghi đầy đủ đường dẫn bắt đầu bằng https.
Đây là cách nhanh nhất để Google biết web bạn có bao nhiêu trang cần đọc.
-
Tải file lên gốc tên miền rồi kiểm tra lại.
File bắt buộc nằm ở gốc, kiểu tenmien.com/robots.txt. Đặt trong thư mục con là Google không đọc.
Kiểm tra bằng báo cáo robots.txt trong Google Search Console.
Muốn soát luôn cả các lỗi kỹ thuật khác đi kèm, bạn có thể chấm điểm và tìm lỗi SEO của cả website để xem robots.txt, thẻ tiêu đề, tốc độ và liên kết hỏng trong cùng một bảng kết quả.
Lưu ý quan trọng: robots.txt chỉ ngăn bot đọc trang, không ngăn trang xuất hiện trên Google. Google nói rõ một trang bị chặn trong robots.txt vẫn có thể bị index nếu web khác trỏ link tới nó. Muốn ẩn hẳn thì phải dùng thẻ noindex hoặc đặt mật khẩu.
Ví dụ file robots.txt cho một shop bán đồ gia dụng
Đây là ví dụ giả định cho dễ hiểu, không phải file thật của khách nào.

Giả sử shop tên Gia Dụng Minh Anh, bán nồi chảo, chạy trên một web thương mại điện tử thông thường.
File sẽ gồm các dòng
- User-agent: *
- Disallow: /gio-hang/
- Disallow: /thanh-toan/
- Disallow: /tai-khoan/
- Disallow: /tim-kiem/
- Allow: /
- Sitemap: https://giadungminhanh.com/sitemap.xml
Đọc ra tiếng Việt: mời mọi bot vào xem hết web.
Riêng bốn khu giỏ hàng, thanh toán, tài khoản và tìm kiếm nội bộ thì khỏi vào.
Bản đồ web nằm ở dòng cuối.
Một chi tiết hay bị quên
Google xác nhận các dòng lệnh này phân biệt chữ hoa chữ thường.
Chặn /Gio-Hang/ sẽ không chặn được /gio-hang/. Bạn phải chép đúng đường dẫn thật trên web.
Bảng so sánh: robots.txt, noindex hay đặt mật khẩu?
Ba cách này hay bị dùng lẫn. Chọn sai là mất trang hoặc lộ trang.
| Cách làm | Tác dụng thật | Nên dùng khi |
|---|---|---|
| robots.txt | Ngăn bot vào đọc trang, nhưng trang vẫn có thể hiện trên Google nếu có web khác trỏ link | Giảm tải cho web, chặn khu vô ích như giỏ hàng, tìm kiếm nội bộ |
| Thẻ noindex | Cho bot đọc, nhưng yêu cầu Google không đưa trang vào kho kết quả | Trang cần ẩn khỏi Google: trang cảm ơn, trang trùng nội dung |
| Đặt mật khẩu | Không ai vào được khi chưa đăng nhập, kể cả bot | Dữ liệu nội bộ, web đang làm thử, thông tin khách hàng |
Nhớ một điều: noindex viết trong robots.txt thì Google không hỗ trợ.
Thẻ noindex phải đặt trong phần đầu của trang hoặc khai báo qua phản hồi của máy chủ.
Checklist tự rà file robots.txt
- ☐ File mở được tại tenmien.com/robots.txt.
- ☐ Không có dòng Disallow: / đứng một mình.
- ☐ Không chặn thư mục chứa CSS, JavaScript, ảnh.
- ☐ Đã chặn giỏ hàng, thanh toán, tài khoản, tìm kiếm nội bộ.
- ☐ Có đúng một dòng Sitemap ghi đầy đủ https.
- ☐ Đường dẫn viết đúng chữ hoa chữ thường như trên web.
- ☐ Không còn dòng chặn sót lại từ lúc web chạy thử.
- ☐ Đã kiểm tra lại bằng báo cáo robots.txt trong Search Console.
6 sai lầm hay gặp khi tối ưu file robots.txt
- Để sót dòng chặn toàn web sau khi lên bản chính thức. Cách tránh: ngày đầu web chạy thật, việc đầu tiên là mở file robots.txt đọc lại.
- Dùng robots.txt để ẩn trang nhạy cảm. Cách tránh: ai cũng đọc được file này, nên đừng liệt kê đường dẫn cần giữ kín; hãy đặt mật khẩu.
- Chặn file CSS và JavaScript cho web nhẹ hơn. Cách tránh: cứ mở cho Google đọc; muốn nhẹ thì tối ưu ảnh và bộ nhớ đệm.
- Tin vào dòng crawl-delay. Cách tránh: Google ghi rõ không hỗ trợ trường crawl-delay, nên đừng trông vào nó để giảm tải.
- Vừa chặn trong robots.txt vừa gắn noindex cho cùng một trang. Cách tránh: chọn một cách; đã chặn thì bot không vào đọc được thẻ noindex.
- Sửa file rồi ngồi đợi thấy kết quả ngay. Cách tránh: Google nói thường lưu tạm nội dung robots.txt tới 24 giờ, nên bạn sửa xong cứ để yên rồi kiểm tra lại sau.
Thêm một con số nên biết: Google chỉ đọc file robots.txt tới giới hạn 500 kibibyte, phần vượt quá bị bỏ qua.

Web bán hàng bình thường không bao giờ chạm mức này, trừ khi ai đó dán vào hàng nghìn dòng chặn.
Các con số và quy định trên lấy từ tài liệu Google Search Central.
Khi nào tự làm, khi nào nên dùng công cụ hoặc nhờ người
Nói thẳng: phần lớn shop nhỏ tự làm được file robots.txt, không cần thuê ai.
Nội dung file chỉ vài dòng, logic đơn giản như viết bảng nội quy.
Việc bạn tự làm được
- Kiểm tra web đã có file robots.txt chưa.
- Viết file cơ bản chặn giỏ hàng, thanh toán, tài khoản.
- Thêm dòng sitemap.
- Dùng báo cáo robots.txt trong Search Console để xem Google đọc được hay không.
Lúc nên nhờ công cụ hoặc người có nghề
- Web có hàng nghìn đường dẫn lọc sản phẩm và bạn không biết chặn tới đâu thì đủ.
- Search Console báo hàng loạt trang bị chặn mà bạn không tìm ra dòng nào gây ra.
- Web chạy trên nền tảng không cho sửa file ở gốc tên miền.
- Bạn cần soát cùng lúc nhiều lỗi kỹ thuật, không chỉ riêng robots.txt.
Trường hợp cuối thì công cụ nhanh hơn làm tay rất nhiều.
Sau khi mở khoá cho Google đọc web, bạn nên theo dõi web đứng hạng mấy trên Google theo từng từ khoá để biết việc sửa có đi đúng hướng.
Nếu web sửa xong mà còn thiếu nội dung cho các trang chính, bạn có thể để AI viết bài chuẩn SEO theo giọng văn website làm phần nháp, rồi bạn biên tập lại cho đúng ngành của mình.
Đăng ký SEOFix được tặng 2.000 xu dùng thử các công cụ này, không mất phí.
🎬 Video: Giới thiệu SEOFix: kiểm tra website, tìm từ khoá, check Google Ads bằng tiếng Việt
Câu hỏi thường gặp về file robots.txt
Web không có file robots.txt thì có sao không?
Không sao, Google vẫn đọc web bình thường.
Theo tài liệu của Google, khi file trả về lỗi 404 thì Google coi như web không có file này và cứ đọc tự do.
Nhưng có file thì bạn chủ động hơn, lại khai báo được sitemap.
File robots.txt đặt ở đâu trên web?
Ở gốc tên miền, tức tenmien.com/robots.txt.
Google quy định file phải nằm ở gốc của host. Đặt trong thư mục con thì Google không áp dụng.
Chặn trong robots.txt là trang biến mất khỏi Google?
Không hẳn.
Google nói trang bị chặn vẫn có thể bị index nếu web khác trỏ link tới, lúc đó kết quả hiện ra đường dẫn mà không có nội dung.
Muốn ẩn chắc chắn thì dùng thẻ noindex hoặc đặt mật khẩu.
Sửa file robots.txt bao lâu Google mới nhận?
Google cho biết thường lưu tạm nội dung file tới 24 giờ, có trường hợp lâu hơn nếu không làm mới được.
Nên sửa xong bạn đừng sửa qua sửa lại liên tục.
Dòng crawl-delay có làm web đỡ nặng không?
Với Google thì không, vì Google ghi rõ không hỗ trợ trường crawl-delay.
Một số bot khác có đọc dòng này, nhưng đừng coi đó là cách giảm tải chính.
Làm sao biết file của mình viết đúng?
Dùng báo cáo robots.txt trong Google Search Console để xem Google đọc được file hay không.
Sau đó mở thử vài trang quan trọng trên web, xem có bị chặn oan không.
Kết luận
Gom lại ba ý cần nhớ về file robots txt là gì cách tối ưu:
- Đây là bảng chỉ dẫn cho bot, đặt ở gốc tên miền, chỉ vài dòng là đủ.
- Chặn khu vô ích như giỏ hàng, thanh toán, tìm kiếm nội bộ; tuyệt đối không chặn CSS, JavaScript, ảnh.
- Nó không phải cách ẩn trang; muốn ẩn thì dùng noindex hoặc mật khẩu.
Sửa xong file, bạn nên soát lại toàn bộ web một lượt.
Lỗi robots.txt ít khi đi một mình.
Dùng thử SEOFix miễn phí: đăng ký tài khoản là được tặng 2.000 xu để dùng ngay các công cụ kiểm tra website, phân tích từ khoá, xem đối thủ và AI viết bài.