wget --random-wait -r -p -e robots=off -U mozilla http://www.example.com