Наше ВСЕ для парсинга сайтов - Playwrite + мобильные прокси. Ну мы так в xmldatafeed.com парсим. Пока получается. Там есть сборки undetected, почитайте, если интересно окунуться в мир автоматизированного сбора открытых данных.

Надо делать защиту от парсинга :) опыт же есть обратного. А я вот думаю - если следовать всем инструкциям в robots.txt - то спокойный парсинг открытых данных должен быть на 100% законен в РФ.

Русский ИТ бизнес