Các pro chỉ giùm tối ưu hóa file Robots.txt của Wordpress

[daikin013]

Mình muốn các công cụ tìm kiếm index tối đa site, cái file Robots.txt của mình có nội dung mặc định là:

sitemap: http://cdn.attracta.com/sitemap/1460563.xml.gz

Có phải để file Robots.txt trống sẽ tốt hơn không?

Tiện thể mình hỏi luôn: File Robots.txt có block đc IP không nhỉ? nếu đc thì mong các pro chỉ luôn

Thanks

 

[newbie07]

File robots.txt có tác dụng điều hướng đối với bot của Search Engine (SE) (và chỉ có tác dụng với bot của SE nên không block IP hay bann IP nào cả. Nó không giống htaccess là file cấu hình đặc biệt). Giả sử site cậu có một bộ phận nào đó "nhạy cảm" mà cậu không muốn nó bị các bot của SE "trườn" qua thì lúc đó cần ghi thêm vào robots.txt để các bot bỏ qua chỗ đó. File này nếu cấu hình tốt cũng sẽ có lợi cho SEO. Nhưng nếu muốn được index tối đa site thì file robots.txt là không thể đủ. Nó còn phụ thuộc nhiều yếu tố khác!

 

[BKParabol]

Chỉ là điều hướng đối với SE. Tránh để SE đi lung tung trong site thôi

 

[daikin013]

File robots.txt có tác dụng điều hướng đối với bot của Search Engine (SE) (và chỉ có tác dụng với bot của SE nên không block IP hay bann IP nào cả. Nó không giống htaccess là file cấu hình đặc biệt). Giả sử site cậu có một bộ phận nào đó "nhạy cảm" mà cậu không muốn nó bị các bot của SE "trườn" qua thì lúc đó cần ghi thêm vào robots.txt để các bot bỏ qua chỗ đó. File này nếu cấu hình tốt cũng sẽ có lợi cho SEO. Nhưng nếu muốn được index tối đa site thì file robots.txt là không thể đủ. Nó còn phụ thuộc nhiều yếu tố khác!

vậy file Robots có nên để trống hay để như mặc định bác?

 

[BKParabol]

vậy file Robots có nên để trống hay để như mặc định bác?

File robots.txt sẽ có dạng như sau:

User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/

User-agent:* :Có nghĩa là tất cả những robot tìm kiếm từ Google, Yahoo, MSN, Baidu nên sử dụng hướng dẫn này để mấy thằng SE nó tìm chú
Disallow: /wp- : Dòng code này báo cho công cụ tìm kiếm biết nó không nên “soi mói” ở những file của WordPress bắt đầu bằng wp-.
Ngoài ra với lệnh Disallow với files và folders mà chú không muốn SE không muốn nó “soi mói”, ví dụ:

User-agent: *
Disallow: /images/
Disallow: /cgi-bin/

Tự động tạo robots.txt
Còn đối với Google Webmaster thì họ cũng cho phép chú tạo file robots.txt hoặc chú vô đây Robots.txt Generator để tự động tạo file robots.txt cho mình
Sau khi chú đã tạo xong file robots.txt hãy Save lại và upload Root là hoàn thành.

---------- Post added at 08:24 AM ---------- Previous post was at 08:17 AM ----------

P/s : Pro đây không hỏi cứ phải lập topic )=))

 

[newbie00]

này thì robots cho wp

User-agent: *
Disallow: /wp-
Disallow: /category/
Disallow: /tag/
Disallow: /page/
Disallow: /author/

 

[daikin013]

này thì robots cho wp

ko nói thì thôi, nói ra người ta chửi cho

 

[newbie07]

vậy file Robots có nên để trống hay để như mặc định bác?

Cậu có thể Google cú pháp dùng của file robots.txt. Không nên để trắng. Nếu là WP thì nếu có cài plugin AIO SEO Pack hay XML Sitemap gì đó (t ko nhớ chính xác) nó tự động tạo 1 virutal robots.txt (nếu mình chưa có 1 file thật) với nội dung disable crawl vào wp-admin và wp-includes. Khi mình đã tạo file robots.txt thật thì cũng nên giữ 2 cái này. Ngoài ra cậu có thể thêm thắt những cái khác tùy mục đích... Và muốn tạo điều kiện cho SE index tốt thì nên chọn theme thân thiện với bot SE, không nên hoa mĩ (cẩn thận mấy theme free rao đầy trên mạng là SEO theme...kẻo dính shell ) ), cần tối ưu nội dung site...Giờ Google đánh giá rất cao những site load nhanh đấy )

 

[kc2000]

Cậu có thể Google cú pháp dùng của file robots.txt. Không nên để trắng. Nếu là WP thì nếu có cài plugin AIO SEO Pack hay XML Sitemap gì đó (t ko nhớ chính xác) nó tự động tạo 1 virutal robots.txt (nếu mình chưa có 1 file thật) với nội dung disable crawl vào wp-admin và wp-includes. Khi mình đã tạo file robots.txt thật thì cũng nên giữ 2 cái này. Ngoài ra cậu có thể thêm thắt những cái khác tùy mục đích... Và muốn tạo điều kiện cho SE index tốt thì nên chọn theme thân thiện với bot SE, không nên hoa mĩ (cẩn thận mấy theme free rao đầy trên mạng là SEO theme...kẻo dính shell ) ), cần tối ưu nội dung site...Giờ Google đánh giá rất cao những site load nhanh đấy )

Có theme nào SE tốt bác giới thiệu e vài cái :binhsua163:

 

[BKParabol]

Bỏ ra 40$/M mua gói pro của SEO pack ấy

 

[daikin013]

Bỏ ra 40$/M mua gói pro của SEO pack ấy

1 tháng e đc có 50$ mà bỏ ra 40$ thì ăn gì đây bác

 

[Tecdo88]

các bác cẩn thận nhầm với newbie00 và newbie07 nhé. 07 hay share hơn

 

[BKParabol]

các bác cẩn thận nhầm với newbie00 và newbie07 nhé. 07 hay share hơn

))))))))))))))

 

[ptuviet2012]

))))))))))))))

cười vừa thui ông bạn, nước giải chảy ra hết bàn phím bây giờ )

 

[BKParabol]

cười vừa thui ông bạn, nước giải chảy ra hết bàn phím bây giờ )

Hôm nay không vui hay sao xoáy mình ác thế

 

[thanhbe37]

thế giờ mình config như này là ok rồi hả các bác

User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/