Como criar um Crawler, Robo para nagevar pelo browser via programacao

Como criar um Crawler, Robô para navegar pelo browser via programação

Muito fácil!

Primeiro de tudo é preciso adicionar o Selenium WebDriver.

Fica mais fácil através da linha de comando do Nuget:

PM> Install-Package Selenium.WebDriver

Para mais detalhes de como instalar acesse:

http://www.nuget.org/packages/selenium.webdriver

Segue um exemplo simples de como implementar o robô com Selenium:

private static void ReturnUrl(string url, List<string> listaUrls)
        {
            IWebDriver driver = new FirefoxDriver();

            driver.Navigate().GoToUrl(url);

            var query = driver.FindElements(By.XPath("//a[contains(@href,'nike.com.br')]"));
            var urlExcecao = ConfigurationManager.AppSettings["UrlExcecao"];
            var listaUrlsExcecao = urlExcecao.Split(',').ToList<string>();

            foreach (var item in query)
                listaUrls.Add(item.GetAttribute("href"));

            var urlsRemovidas = 0;
            foreach (var item in listaUrls.Distinct())
            {
                driver.Quit();

                foreach (string itemExcecao in listaUrlsExcecao)
                {
                    urlsRemovidas += listaUrls.Distinct().ToList().RemoveAll(str => str.Contains(item));
                }

                if (!listaFinal.Equals(item))
                {
                    listaFinal.Add(item);
                    Console.Write(item + "\n");
                    ReturnUrl(item, listaUrls.Except(listaFinal).ToList());
                }
            }

            Console.Read();
        }

Muito Obrigado e até o próximo post!