Slurp 3.0 es la nueva versión del spider-bot de Yahoo!, que indexa las páginas web para poder después mostrarlas en los resultados del buscador. Si bien seguirá con las mismas directivas de user-agent y fichero robots.txt, incluirá dos importantes novedades: Por un lado residirán en un nuevo conjunto de IPs pero aún así devolverán los datos al dominio crawl.yahoo.net. Además, devolverán un nuevo user-agent. Se recomienda utilizar las directivas Slurp o Yahoo! Slurp, pero no Slurp/2.0 (ahora desactualizada), en el código del sitio, y User-agent: Slurp en el robot.txt.
Leer más en www.elwebmaster.com (Fuente original)