Да вполне вариант, просто нередко от него защиту ставят и с User Agent надо играться итд. Хотелось готовое однокнопочное решение, которое аккуратно понемногу все скачает, с поддержкой инкрементальных обновлений, с поисковой индексацией и прочими QoL-фичами и нюансами. Но не знаю, можно ли всего...