File robots txt là gì? Sử dụng robot.txt trong SEO

in bài viết Chia sẻ trên Facebook

File robots txt là gì?

Nói một cách ngắn gọn nhất Robots.txt là một dạng text đặc biệt không phải là HTML hay một loại nào khác. Nó giúp cho các webmaster linh hoạt hơn trong việc cho hay không cho bot của các công cụ tìm kiếm ( SE ) đánh chỉ mục(index) một khu vực nào đó trong website của bạn.

Robots.txt Hoạt động như thế nào?

Cách tạo và sử dụng file Robots.txt:

cách tạo:

File robots.txt là một dạng file rất đơn giản có thể được tảo bởi công cụ Notepad. Nếu bạn sử dụng WordPress Một file robots.txt sẽ có dạng như sau :

User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/

VD :

cách sử dụng file Robot.txt:

1.Không cho phép bot truy cập vào thư mục nào mà mình không muốn:

2.Khóa toàn bộ website không cho bot đánh chỉ mục:

3.Chặn 1 trang:

4.Chặn một bot nào đó:

5.Loại bỏ 1 hình từ Google Images:

6.sử dụng đồng thời “Allow” và “Disallow” cùng nhau:

Những Sai Sót Nên Tránh Khi Sử Dụng

khi các bạn sử dụng lại một robots.txt của ai đó hoặc tự mình tạo ra một robots.txt riêng cho website mình thì cũng không tránh khỏi những sai sót