Web crawler ul este o aplicatie capabila sa downloadeze continutul unei pagini web si sa parseze acel continut.
Daca ai ceva cunosctinte de programare faci un crawler destul de usor. Principiul nu e deloc greu.
Browserul spre exemplu este si el un crawler, atunci cand tu scrii o adresa in bara browserului acest trimite o cerere http catre serverul pe care e hostat siteul si cere continutul de la pagina respectiva, continut pe care il interpreteaza si il afiseaza frumos.
Crawler ul face acelasi lucru, face o cerere catre serverul la care e hostat site ul care vrei sa il downloadezi si extrage continutul pe care il poti parsa cum vrei tu.
Acest continut este in format HTML si il poti parsa foarte usor extragand orice informatie te intereseaza
sm2000 întreabă: