0
0 комментариев

Нужно получить html страницу сайта.

Сразу скажу что хотя Selenium Webdriver решает эту задачу, он кажеться мне слишком жирным для неё.

  1. Ставлю библиотеку requests
  2. Отправляю запрос response = requests.get(https://www.golangnews.com/users/login)
  3. Вывожу ответ print(response.text)

Все работает отлично, но в response не хватает одного поля, которое формируется javascript’ом.
Попросту javascript не успевает сформировать это поле по той причине что, когда requests делает запрос на нужную станицу, он не ждет полной её загрузки а парсит сразу и соответственно html разметку генерируемую javascript’ом мы не получаем.

Вопрос: есть ли какой нибудь способ дождаться полной загрузки страницы и уже после парсить?


Добавить комментарий