Help Cách Crawl web bắt login captcha ?

[danchoinuamua]

Mn cho e hỏi chút là như này
Em muốn Crawl 1 web nhưng web này bắt phải login trước, và login có captcha.
Vậy có thể dùng ngôn ngữ lập trình gì qua được bước này ạ. Trừ cái imacros của firefox ra vì nó bị ăn ram rất mạnh, 1 lúc là đơ luôn firefox ạ.

E mường tượng ra là mình sẽ vượt captcha và login bằng tay sau đó mới dùng code để thực hiện việc Crawl.

Phiền các bác chỉ giáo ạ

 

[denmodo]

Tùy mục đích crawl của bạn
1. Login 1 tài khoản -> lưu cookie rồi request bt
2. Login nhiều tài khoản -> dùng selenium để làm auto cho nhiều acc

 

[danchoinuamua]

Tùy mục đích crawl của bạn
1. Login 1 tài khoản -> lưu cookie rồi request bt
2. Login nhiều tài khoản -> dùng selenium để làm auto cho nhiều acc

Login 1 tài khoản thôi ạ, thì dùng chrome lưu lại cookies và dùng python để crawl đc ko bác?

Hay phải dùng bằng selenium python ạ

Bác chỉ e chi tiết đc ko, e tay mới biết python và php 1 chút thôi ạ.

 

[Relo]

crawl web thì dùng request cho nhanh. Trừ mấy site chống bot thì dùng selenium chứ k ai dùng nó cho nó lâu

 

[danchoinuamua]

crawl web thì dùng request cho nhanh. Trừ mấy site chống bot thì dùng selenium chứ k ai dùng nó cho nó lâu

Vì nó có captcha google nên ko login bằng request thông thường đc bác oi

 

[denmodo]

Login 1 tài khoản thôi ạ, thì dùng chrome lưu lại cookies và dùng python để crawl đc ko bác?

Hay phải dùng bằng selenium python ạ

Bác chỉ e chi tiết đc ko, e tay mới biết python và php 1 chút thôi ạ.

Thế request đơn giản thôi chứ có gì đâu nhỉ. Vì chỉ dùng 1 tài khoản

 

[cckuanh]

https://www.facebook.com/Cryandsmilee . Ib mình làm cho nhé

 

[cckuanh]

https://www.facebook.com/Cryandsmilee .Ib mình làm cho nhé

 

[danchoinuamua]

Thế request đơn giản thôi chứ có gì đâu nhỉ. Vì chỉ dùng 1 tài khoản

Có nghĩa là phải login có captcha trước , xong mới crawl dữ liệu được ạ?
Vậy giải quyết cái captcha như thế nào bác
Bác nói rõ giúp e với, e chưa hiểu làm sao để login vượt captcha được ?

 

[danchoinuamua]

Mình cần đăng nhạp bằng chrome qua được captcha.
Rồi lấy cookies, dùng python request thì sử dụng lại cái cookies đó được phải không các bác?

 

[DousSportConsulting]

Mình cần đăng nhạp bằng chrome qua được captcha.
Rồi lấy cookies, dùng python request thì sử dụng lại cái cookies đó được phải không các bác?

Cụ thể là trang nào thì mới phân tích được bro, tần suất crawl...
Nhiêu trang nó detect nhiều thứ lắm, phát hiện bot cái từng bước đều phải xác mình = capcha hết

 

[danchoinuamua]

Cụ thể là trang nào thì mới phân tích được bro, tần suất crawl...
Nhiêu trang nó detect nhiều thứ lắm, phát hiện bot cái từng bước đều phải xác mình = capcha hết

Nó chỉ bắt captcha cái login thôi, còn vào được là crawl tuỳ thích thoải mái ạ.
E chỉ cần mn hướng dẫn e vượt cái captcha login thôi

 

[DousSportConsulting]

Nó chỉ bắt captcha cái login thôi, còn vào được là crawl tuỳ thích thoải mái ạ.
E chỉ cần mn hướng dẫn e vượt cái captcha login thôi

có tool trả tiền để vượt qua capcha đấy bác 1$ được 1000 lần thì phải

 

[Teen10x]

Nó chỉ bắt captcha cái login thôi, còn vào được là crawl tuỳ thích thoải mái ạ.
E chỉ cần mn hướng dẫn e vượt cái captcha login thôi

captcha có nhiều loại, có loại đơn giản, có loại phức tạp, nhưng đa số là khó vượt. Muốn vượt thì thuê dịch vụ bên thứ 3 là nhanh nhất, còn không tự login thủ công xong lưu cookie lại thôi.

 

[danchoinuamua]

captcha có nhiều loại, có loại đơn giản, có loại phức tạp, nhưng đa số là khó vượt. Muốn vượt thì thuê dịch vụ bên thứ 3 là nhanh nhất, còn không tự login thủ công xong lưu cookie lại thôi.

Captcha của google

Tức là login bằng chrome rồi lấy cookies trong đó, rồi dùng python request chạy cái cookies đó phải không ạ? Làm vậy có được không ạ?

 

[luxubushops]

Captcha của google

Tức là login bằng chrome rồi lấy cookies trong đó, rồi dùng python request chạy cái cookies đó phải không ạ? Làm vậy có được không ạ?

đc, bạn xem nó dùng cookie hay token rồii trích xuất ra thôi. Thông thường thì ok, trường hợp site nó khó hơn, ví dụ như khác IP thì cookie/token tự expired thì tính tiếp.

 

[Relo]

đc, bạn xem nó dùng cookie hay token rồii trích xuất ra thôi. Thông thường thì ok, trường hợp site nó khó hơn, ví dụ như khác IP thì cookie/token tự expired thì tính tiếp.

chuẩn luôn. không được thì lại lên đây hỏi tiếp :v

 

[denmodo]

Mình cần đăng nhạp bằng chrome qua được captcha.
Rồi lấy cookies, dùng python request thì sử dụng lại cái cookies đó được phải không các bác?

đúng rồi login trước rồi lấy cookie ra rồi request thôi

 

[TheENDLESS]

Mn cho e hỏi chút là như này
Em muốn Crawl 1 web nhưng web này bắt phải login trước, và login có captcha.
Vậy có thể dùng ngôn ngữ lập trình gì qua được bước này ạ. Trừ cái imacros của firefox ra vì nó bị ăn ram rất mạnh, 1 lúc là đơ luôn firefox ạ.

E mường tượng ra là mình sẽ vượt captcha và login bằng tay sau đó mới dùng code để thực hiện việc Crawl.

Phiền các bác chỉ giáo ạ

Nếu bạn có ý định dùng Selenium thì Selenium của Python sẽ tốt hơn là bạn sử dụng của nền tảng c#.
Vì Python có thư viên hỗ trợ được share trên nhiều nền tảng cộng đồng hơn so với C#.

Chưa kể DLL phổ thông của nó còn tốt hơn ở bản C#. Nếu bạn đang muốn thử hãy thử Selenium với Python.

 

[Xiao]

Site nào