fbpx

Web Scraping Python, error 503, как обойти?

259 просмотра
0
0 Комментариев

Пытаюсь с помощью BS4 + Requests попасть на сайт https://bhf.io/
Но вылетает ошибка 503 на гет — запросе:

requests.get('URL', headers=header)
header = {
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'accept-encoding': 'gzip, deflate, br',
    'accept-language': 'en-US,en;q=0.8',
    'upgrade-insecure-requests': '1',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36'
}
blacklist_bhf = 'https://bhf.io/forums/137/'
def beautifulsoup(url_content):
    return BeautifulSoup(url_content, 'lxml')
page_bhf = requests.get(blacklist_bhf, headers=header) # error 503 here
print(page_bhf)
soup = beautifulsoup(page_bhf.content)

Может, кто — то подсказать, пожалуйста, как можно это обойти? Желательно с примером.


Добавить комментарий

0 Answers

Python Опубликовано 27.03.2019
Напишите свой ответ на данный вопрос.
Scroll Up