markalisa548

Подскажите пожалуйста, этот парсер собирает ссылки на страницы в Вебархиве или чистит их и выдает чистые ссылки на страницы самого сайта, без /web.archive.org/web/20141229030558/... ?

Вебархив заработал, ураааа!!! Тема закрыта!!!

Вебархив не сохраняет сайты каждый день, он делает это по промежуткам (контрольным точкам).

Также он не сохраняет абсолютно все сайты, но тут уже много критериев.

Спасибо за ответ, но дело не в этом. На доменах которые я проверяла точно ранее были сайты и они точно были в вебархиве. Речь идет не о нескольких случаях, а о тысячах доменов, которые я прочекала.

К сожалению, скорее всего это нововведение от вебархива уже на постоянной основе. А это значит, что теперь мы не сможем проверять историю освобождающегося домена в вебархиве, не сможем почекать ссылки от туда, не сможем украсть вытянуть от туда контент и т.д. 

может потому что запрет на просмотр в robots.txt? 

В robots.txt всё в порядке, а в случае с освобождающимися доменами так там вообще же нет не robots.txt, не других файлов.

Он же вроде бы на то и архив, что бы показывать архивную копию сайта, даже того которого уже не существует.

А без этого он не Архив, а Копипастер

:D  :D  :D