Web Scraping com Ruby: Aprenda a extrair dados de sites de forma fácil e rápida

Nesse tutorial você vai aprender como Realizar um Web Scraping com Ruby através de um passo a passo simples usando a Gem Mechanize.

Web Scraping é o ato de extrair informações de um site automaticamente (através de um script), essa técnica pode ser usada por exemplo para criar um site que compara preços de produtos, realizar analises de marketing, encontrar possíveis clientes entre infinitas possibilidades.

Então é realmente importante que você aprenda como realizar um Web Scraping e usando o Ruby e a Gem Mechanize (que facilita a interação com o site alvo) fica realmente muito fácil fazer isso.

Então bora aprender o/

O que vamos desenvolver?

Nesse tutorial nós vamos criar um Web Scraping com Ruby que vai logar em um site, baixar a lista de produtos de todas as páginas disponíveis e depois armazena-la em uma arquivo local.

Para isso nós vamos usar um site simples de exemplo, mas você pode usar as mesmas técnicas para baixar informações e interagir com qualquer site na Web.

Passo a Passo

Agora vamos começar o desenvolvimento do nosso Web Scraping de exemplo, lembrando que você pode adaptar esse exemplo para interagir com outros sites 🙂

Preparando o site de exemplo

Para começar, você deve clonar o site de exemplo que eu preparei, instalar as Gems dele, criar o banco de dados, e rodar os seeds para incluir os produtos.

1. Clone o projeto rodando:

   Default

   git clone git@github.com:OneBitCodeBlog/Web-Scraping-Target.git

   1	git clone git@github.com:OneBitCodeBlog/Web-Scraping-Target.git

2. Entre na pasta:

   Default

   cd Web-Scraping-Target

   1	cd Web-Scraping-Target

3. Instale as Gems:

   Default

   bundle

   1

   bundle

4. Crie o banco de dados e insira os produtos nele:

   Default

   rails db:create db:migrate db:seed

   1	rails db:create db:migrate db:seed

5. Suba o projeto rodando:

   Default

   rails s

   1

   rails s

6. Interaja com o projeto no browser para ficar mais claro como será a navegação do Web Scraping.

Preparando a base do nosso Web Scraping com Ruby

Vamos iniciar o desenvolvimento do nosso pequeno Web Scraping criando um Gemfile, incluindo a gem Mechanize e realizando a primeira interação com o site alvo.

1. Em um outro console, rode:

   Default

   mkdir Web-Scraping-Client

   1	mkdir Web-Scraping-Client

2. Entre na pasta rodando:

   Default

   cd Web-Scraping-Client

   1	cd Web-Scraping-Client

3. Crie um Gemfile rodando:

   Default

   touch Gemfile

   1	touch Gemfile

4. Coloque no seu Gemfile:

   Default

   source 'https://rubygems.org' ​gem 'mechanize'

   1 2 3

   source 'https://rubygems.org'   ​gem 'mechanize'

5. Instale a gem rodando:

   Default

   bundle

   1

   bundle

6. Crie o arquivo principal do projeto rodando:

   Default

   touch get_product_list.rb

   1	touch get_product_list.rb

7. Para podermos usar a Gem mechanize, inclua nele:

   Default

   require 'mechanize'

   1	require 'mechanize'

8. Crie um Agent (Objeto que usaremos para interagir com a página) incluindo no arquivo:

   Default

   agent = Mechanize.new

   1	agent = Mechanize.new

9. Baixe as informações da página incluindo no arquivo:

   Default

   page = agent.get('http://localhost:3000')

   1	page = agent.get('http://localhost:3000')

10. Para imprimirmos o resultado, inclua também:

    Default

    puts page

    1

    puts page

11. Para rodar o script:

    Default

    ruby get_product_list.rb

    1	ruby get_product_list.rb

12. Pronto, o resultado deve ser algo como:

    Default

    => #<Mechanize::Page {url #<URI::HTTP http://localhost:3000/users/sign_in>} {meta_refresh} {title "WebscrapperTarget"} {iframes} {frames} {links #<Mechanize::Page::Link "Sign up" "/users/sign_up"> #<Mechanize::Page::Link "Forgot your password?" "/users/password/new">} {forms #<Mechanize::Form {name nil} {method "POST"} {action "/users/sign_in"} {fields [hidden:0x2af4f07f3428 type: hidden name: utf8 value: ✓] [hidden:0x2af4f07f2d84 type: hidden name: authenticity_token value: V0tAGv1/4UXF56Ore1WPFBNmun8Y+t08/yKlaSdq/R1nd9AErPSYvWkZcvWwll/neL4IQ51/vn3d/g+v+EIfGA==] [field:0x2af4f07f2758 type: email name: user[email] value: ] [field:0x2af4f07f2190 type: password name: user[password] value: ] [hidden:0x2af4f07f7b40 type: hidden name: user[remember_me] value: 0]} {radiobuttons} {checkboxes [checkbox:0x2af4f07f75b4 type: checkbox name: user[remember_me] value: false]} {file_uploads} {buttons [submit:0x2af4f07f6f38 type: submit name: commit value: Log in]}>}>

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

    => #<Mechanize::Page {url #<URI::HTTP http://localhost:3000/users/sign_in>} {meta_refresh} {title "WebscrapperTarget"} {iframes} {frames} {links   #<Mechanize::Page::Link "Sign up" "/users/sign_up">   #<Mechanize::Page::Link "Forgot your password?" "/users/password/new">} {forms   #<Mechanize::Form    {name nil}    {method "POST"}    {action "/users/sign_in"}    {fields     [hidden:0x2af4f07f3428 type: hidden name: utf8 value: ✓]     [hidden:0x2af4f07f2d84 type: hidden name: authenticity_token value: V0tAGv1/4UXF56Ore1WPFBNmun8Y+t08/yKlaSdq/R1nd9AErPSYvWkZcvWwll/neL4IQ51/vn3d/g+v+EIfGA==]     [field:0x2af4f07f2758 type: email name: user[email] value: ]     [field:0x2af4f07f2190 type: password name: user[password] value: ]     [hidden:0x2af4f07f7b40 type: hidden name: user[remember_me] value: 0]}    {radiobuttons}    {checkboxes     [checkbox:0x2af4f07f75b4 type: checkbox name: user[remember_me] value: false]}    {file_uploads}    {buttons [submit:0x2af4f07f6f38 type: submit name: commit value: Log in]}>}>

Realizando o Login

Agora vamos aprender como realizar o Login através da gem mechanize, lembrando, você pode usar essa mesma técnica para submeter qualquer form de uma página.

1. Para selecionar o Form da página, inclua no seu arquivo:

   Default

   login_form = page.form

   1	login_form = page.form

   Obs: Caso exista mais de um form, você pode selecionar pelo name: google_form = page.form(‘f’)

2. Para preencher o campo de email e o campo de senha com os dados corretos coloque:

   Default

   login_form.field_with(name: 'user[email]').value = 'example@example.com' login_form.field_with(name: 'user[password]').value = '123456'

   1 2	login_form.field_with(name: 'user[email]').value = 'example@example.com' login_form.field_with(name: 'user[password]').value = '123456'

3. Para submeter o form e pegar a página de resultado, coloque:

   Default

   product_list_page = agent.submit(login_form)

   1	product_list_page = agent.submit(login_form)

4. Pronto, seu arquivo deve estar dessa forma:

   Default

   require 'mechanize' # Cria o agente que vai interagir com as paginas agent = Mechanize.new # Acessa a pagina de login page = agent.get('http://localhost:3000') puts page # Seleciona o form da pagina login_form = page.form # Preenche com os dados de login e submete o form login_form.field_with(name: 'user[email]').value = 'example@example.com' login_form.field_with(name: 'user[password]').value = '123456' product_list_page = agent.submit(login_form)

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

   require 'mechanize'   # Cria o agente que vai interagir com as paginas agent = Mechanize.new   # Acessa a pagina de login page = agent.get('http://localhost:3000')   puts page   # Seleciona o form da pagina login_form = page.form   # Preenche com os dados de login e submete o form login_form.field_with(name: 'user[email]').value = 'example@example.com' login_form.field_with(name: 'user[password]').value = '123456'   product_list_page = agent.submit(login_form)

    

Baixando as informações e exibindo na tela

Vamos agora baixar as informações dos produtos da primeira página e exibir da tela um por um, para isso vamos precisar pegar os elementos da tabela onde os produtos se encontram e depois pegar cada uma das colunas.

1. Na nossa página os produtos são renderizados da seguinte maneira:

   Default

   <tbody> <tr> <td>HD Gel Bridge</td> <td>Lucell</td> <td>ST Auto Gel Mount</td> <td>48.0</td> <td><a href="/products/11">Show</a></td> <td><a href="/products/11/edit">Edit</a></td> <td><a data-confirm="Are you sure?" rel="nofollow" data-method="delete" href="/products/11">Destroy</a></td> </tr> ...Outros produtos </tbody>

   1 2 3 4 5 6 7 8 9 10 11 12

   <tbody>   <tr>     <td>HD Gel Bridge</td>     <td>Lucell</td>     <td>ST Auto Gel Mount</td>     <td>48.0</td>     <td><a href="/products/11">Show</a></td>     <td><a href="/products/11/edit">Edit</a></td>     <td><a data-confirm="Are you sure?" rel="nofollow" data-method="delete" href="/products/11">Destroy</a></td>   </tr>   ...Outros produtos </tbody>

2. Então para selecionarmos a tabela da nossa página, podemos procurar pela Tag HTML tbody, e para pegar cada um dos produtos podemos fazer um looping no resultado do tbody para pegar cada uma das Tags HTML tr, então coloque no seu arquivo:

   Default

   product_list_page.search('tbody tr').each do |p|​ end

   1 2 3

   product_list_page.search('tbody tr').each do |p|​   end

3. Agora para pegarmos o array de colunas, podemos selecionar a Tag HTML td, então dentro do looping inclua:

   Default

   f = p.search('td')

   1	f = p.search('td')

4. Agora para exibirmos inclua a baixo da linha incluida anteriormente ainda dentro do looping:

   Default

   line = "title: #{f[0].text}, " line += "brand: #{f[1].text}, " line += "description: #{f[2].text}, " line += "price: #{f[3].text}" puts line

   1 2 3 4 5 6

   line = "title: #{f[0].text}, "   line += "brand: #{f[1].text}, "   line += "description: #{f[2].text}, "   line += "price: #{f[3].text}"      puts line

5. Seu arquivo deve ter ficado dessa forma:

   Default

   require 'mechanize' # Cria o agente que vai interagir com as paginas agent = Mechanize.new # Acessa a pagina de login page = agent.get('http://localhost:3000') # Seleciona o form da pagina login_form = page.form # Preenche com os dados de login e submete o form login_form.field_with(name: 'user[email]').value = 'example@example.com' login_form.field_with(name: 'user[password]').value = '123456' product_list_page = agent.submit(login_form) # Pega todas as linhas de produtos product_list_page.search('tbody tr').each do |p| # Extrai as colunas dos produtos, organiza e escreve no arquivo f = p.search('td') line = "title: #{f[0].text}, " line += "brand: #{f[1].text}, " line += "description: #{f[2].text}, " line += "price: #{f[3].text}" puts line end

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27

   require 'mechanize'   # Cria o agente que vai interagir com as paginas agent = Mechanize.new   # Acessa a pagina de login page = agent.get('http://localhost:3000')   # Seleciona o form da pagina login_form = page.form   # Preenche com os dados de login e submete o form login_form.field_with(name: 'user[email]').value = 'example@example.com' login_form.field_with(name: 'user[password]').value = '123456'   product_list_page = agent.submit(login_form)   # Pega todas as linhas de produtos product_list_page.search('tbody tr').each do |p|   # Extrai as colunas dos produtos, organiza e escreve no arquivo   f = p.search('td')   line = "title: #{f[0].text}, "   line += "brand: #{f[1].text}, "   line += "description: #{f[2].text}, "   line += "price: #{f[3].text}"   puts line end

6. Para executar, rode:

   Default

   ruby get_product_list.rb

   1	ruby get_product_list.rb

7. O resultado deve ter sido semelhante a este:

   Default

   title: Digital Kit, brand: Phonefunc, description: Aftercell Audible Case, price: 40.0 title: Electric Transmitter, brand: Conix, description: Pens GPS Air Tuner, price: 62.0 title: Air Output Kit, brand: Briont, description: Pyck Side Electric Dummy Groove, price: 79.0 title: Power Receiver, brand: Amcell, description: Pouphforge Input Kit, price: 65.0 title: Video Transmitter, brand: Lubalt, description: Pophforge Direct Case, price: 12.0 title: Gel Power Adapter, brand: Amcell, description: Cygpod Portable Power System, price: 15.0 title: Power Filter, brand: Reunix, description: Traffefunc Output Performance System, price: 94.0 title: HD Input Bridge, brand: Phientforge, description: Aquanix Side Amplifier, price: 77.0 title: Disc Audible System, brand: Pananix, description: Aquabalt Remote GPS Kit, price: 95.0 title: Air Digital Transmitter, brand: Sinebalt, description: Phieph GPS Performance Ferrule, price: 84.0

   1 2 3 4 5 6 7 8 9 10

   title: Digital Kit, brand: Phonefunc, description: Aftercell Audible Case, price: 40.0 title: Electric Transmitter, brand: Conix, description: Pens GPS Air Tuner, price: 62.0 title: Air Output Kit, brand: Briont, description: Pyck Side Electric Dummy Groove, price: 79.0 title: Power Receiver, brand: Amcell, description: Pouphforge Input Kit, price: 65.0 title: Video Transmitter, brand: Lubalt, description: Pophforge Direct Case, price: 12.0 title: Gel Power Adapter, brand: Amcell, description: Cygpod Portable Power System, price: 15.0 title: Power Filter, brand: Reunix, description: Traffefunc Output Performance System, price: 94.0 title: HD Input Bridge, brand: Phientforge, description: Aquanix Side Amplifier, price: 77.0 title: Disc Audible System, brand: Pananix, description: Aquabalt Remote GPS Kit, price: 95.0 title: Air Digital Transmitter, brand: Sinebalt, description: Phieph GPS Performance Ferrule, price: 84.0

Navegando pelas páginas e extraindo os produtos

Nosso site de exemplo divide o resultado em várias páginas, então nós vamos navegar pelas páginas disponíveis pegando todos os produtos.

1. Para realizarmos essa navegação entre N páginas, nós vamos precisar incluir um looping em volta do looping que já tinhamos (que pega os elementos da Tag HTML tr). Nesse looping vamos observar se existe uma próxima página ou se já estamos na última, caso exista nele vamos “clicar” para mudar de página assim que extrairmos o resultado dela.

   Então em volta de:

   Default

   product_list_page.search('tbody tr').each do |p| ... end

   1 2 3

   product_list_page.search('tbody tr').each do |p|   ... end

   Inclua:

   Default

   loop do product_list_page.search('tbody tr').each do |p| ... end end

   1 2 3 4 5

   loop do   product_list_page.search('tbody tr').each do |p|     ...   end end

2. Agora para que o looping pare quando acabarem as páginas, inclua no final dele:

   Default

   break unless product_list_page.link_with(text: 'Next ›')

   1	break unless product_list_page.link_with(text: 'Next ›')

   Obs: Nós estamos olhando na página (que está dentro de product_list_page) se existe um link com o text ‘Next ›’ (que é o resposável por passar de página).

3. Para mudarmos de página quando existir uma próxima, coloque depois da linha anterior mas ainda dentro do looping:

   Default

   product_list_page = product_list_page.link_with(text: 'Next ›').click

   1	product_list_page = product_list_page.link_with(text: 'Next ›').click

   Obs: Estamos selecionando o link e clicando nele com o .click e depois colocando a nova página na mesma variável da anterior (atualizando a página)

4. Seu arquivo deve ter ficado assim:

   Default

   require 'mechanize' # Cria o agente que vai interagir com as paginas agent = Mechanize.new # Acessa a pagina de login page = agent.get('http://localhost:3000') # Seleciona o form da pagina login_form = page.form # Preenche com os dados de login e submete o form login_form.field_with(name: 'user[email]').value = 'example@example.com' login_form.field_with(name: 'user[password]').value = '123456' product_list_page = agent.submit(login_form) loop do # Pega todas as linhas de produtos product_list_page.search('tbody tr').each do |p| # Extrai as colunas dos produtos, organiza e escreve no arquivo f = p.search('td') line = "title: #{f[0].text}, " line += "brand: #{f[1].text}, " line += "description: #{f[2].text}, " line += "price: #{f[3].text}" puts line end # Se nao tiverem mais paginas para serem extraidas ele para o looping break unless product_list_page.link_with(text: 'Next ›') # Pula de pagina product_list_page = product_list_page.link_with(text: 'Next ›').click end

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35

   require 'mechanize'   # Cria o agente que vai interagir com as paginas agent = Mechanize.new   # Acessa a pagina de login page = agent.get('http://localhost:3000')   # Seleciona o form da pagina login_form = page.form   # Preenche com os dados de login e submete o form login_form.field_with(name: 'user[email]').value = 'example@example.com' login_form.field_with(name: 'user[password]').value = '123456'   product_list_page = agent.submit(login_form)   loop do   # Pega todas as linhas de produtos   product_list_page.search('tbody tr').each do |p|     # Extrai as colunas dos produtos, organiza e escreve no arquivo     f = p.search('td')     line = "title: #{f[0].text}, "     line += "brand: #{f[1].text}, "     line += "description: #{f[2].text}, "     line += "price: #{f[3].text}"     puts line   end     # Se nao tiverem mais paginas para serem extraidas ele para o looping   break unless product_list_page.link_with(text: 'Next ›')     # Pula de pagina   product_list_page = product_list_page.link_with(text: 'Next ›').click end

5. Para executar, rode:

   Default

   ruby get_product_list.rb

   1	ruby get_product_list.rb

6. Seu resultado deve ser algo semelhante:

   Default

   title: Digital Kit, brand: Phonefunc, description: Aftercell Audible Case, price: 40.0 title: Electric Transmitter, brand: Conix, description: Pens GPS Air Tuner, price: 62.0 title: Air Output Kit, brand: Briont, description: Pyck Side Electric Dummy Groove, price: 79.0 ...Mais 28 produtos

   1 2 3

   title: Digital Kit, brand: Phonefunc, description: Aftercell Audible Case, price: 40.0 title: Electric Transmitter, brand: Conix, description: Pens GPS Air Tuner, price: 62.0 title: Air Output Kit, brand: Briont, description: Pyck Side Electric Dummy Groove, price: 79.0 ...Mais 28 produtos

Escrevendo o resultado em um arquivo externo

Nossa missão principal já foi concluida, agora apenas para complementar vamos escrever o resultado do nosso scraping em um arquivo externo .txt

1. Antes dos loopings inclua:

   Default

   out_file = File.new('product_list.txt', 'w') out_file.puts 'Product List:'

   1 2	out_file = File.new('product_list.txt', 'w') out_file.puts 'Product List:'

   Obs: Estamos criando um novo arquivo e incluindo um título nele

2. Dentro do looping mais interno substitua:

   Default

   puts line

   1

   puts line

   Por:

   Default

   out_file.puts line

   1	out_file.puts line

3. Depois dos loopings inclua:

   Default

   out_file.close

   1	out_file.close

4. Seu arquivo completo deve ter ficado assim:

   Default

   require 'mechanize' # Cria o agente que vai interagir com as paginas agent = Mechanize.new # Acessa a pagina de login page = agent.get('http://localhost:3000') # Seleciona o form da pagina login_form = page.form # Preenche com os dados de login e submete o form login_form.field_with(name: 'user[email]').value = 'example@example.com' login_form.field_with(name: 'user[password]').value = '123456' product_list_page = agent.submit(login_form) # Cria um novo arquivo para guardar a lista de produtos out_file = File.new('product_list.txt', 'w') out_file.puts 'Product List:' # Realiza o looping para pegar todas as paginas de produtos loop do # Pega todas as linhas de produtos product_list_page.search('tbody tr').each do |p| # Extrai as colunas dos produtos, organiza e escreve no arquivo f = p.search('td') line = "title: #{f[0].text}, " line += "brand: #{f[1].text}, " line += "description: #{f[2].text}, " line += "price: #{f[3].text}" out_file.puts line end # Se nao tiverem mais paginas para serem extraidas ele para o looping break unless product_list_page.link_with(text: 'Next ›') # Pula de pagina product_list_page = product_list_page.link_with(text: 'Next ›').click end out_file.close

   1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42

   require 'mechanize'   # Cria o agente que vai interagir com as paginas agent = Mechanize.new   # Acessa a pagina de login page = agent.get('http://localhost:3000')   # Seleciona o form da pagina login_form = page.form   # Preenche com os dados de login e submete o form login_form.field_with(name: 'user[email]').value = 'example@example.com' login_form.field_with(name: 'user[password]').value = '123456'   product_list_page = agent.submit(login_form)   # Cria um novo arquivo para guardar a lista de produtos out_file = File.new('product_list.txt', 'w') out_file.puts 'Product List:'   # Realiza o looping para pegar todas as paginas de produtos loop do   # Pega todas as linhas de produtos   product_list_page.search('tbody tr').each do |p|     # Extrai as colunas dos produtos, organiza e escreve no arquivo     f = p.search('td')     line = "title: #{f[0].text}, "     line += "brand: #{f[1].text}, "     line += "description: #{f[2].text}, "     line += "price: #{f[3].text}"     out_file.puts line   end     # Se nao tiverem mais paginas para serem extraidas ele para o looping   break unless product_list_page.link_with(text: 'Next ›')     # Pula de pagina   product_list_page = product_list_page.link_with(text: 'Next ›').click end   out_file.close

5. Para executar, rode:

   Default

   ruby get_product_list.rb

   1	ruby get_product_list.rb

6. Pronto, verifique na mesma pasta do seu arquivo se existe um arquivo chamado product_list.txt, dentro dele você vai encontrar a mesma lista que foi impressa anteriormente o/

Desafio de fixação

Para fixar o que foi aprendido nesse tutorial eu proponho que você realize o seguinte desafio:

“Crie um novo arquivo de scraping que: Realize o login, depois click em Edit no primeiro produto, preencha o form para atualizar o registro mudando o name do produto para ‘OneBitCode’ e depois submeta esse form garantindo que a atualização funcionou”

Conclusão

Nesse Tutorial você aprendeu do zero como interagir com sites (realizando login, baixando informações e navegando) através de um script Ruby usando a gem Mechanize.

Para saber mais sobre os comandos da Gem Mechanize acesse: http://docs.seattlerb.org/mechanize/GUIDE_rdoc.html

Não deixe de fazer o desafio proposto, para fixar bem um conhecimento é necessário utiliza-lo 🙂

Se você curtiu esse tutorial e quer ver mais conteúdos por aqui nos ajude compartilhando esse link com outros programadores e comunidades, isso faz a diferença de verdade.

Muito obrigado por estar com a gente,
Grande abraço o/

Leonardo Scorza

Não perca nenhum conteúdo

Receba nosso resumo semanal com os novos posts, cursos, talks e vagas \o/

Isso é obrigatório.

Me Inscrever

Você é novo por aqui?

Primeira vez no OneBitCode? Curtiu esse conteúdo? O OneBitCode tem muito mais para você!

O OneBitCode traz conteúdos de qualidade e em português sobre programação com foco em Ruby on Rails e outras tecnologias como Angular, Ionic, React, desenvolvimento de Chatbots e etc.

Se você deseja aprender mais, de uma forma natural e dentro de uma comunidade ativa, visite nosso Facebook e nosso Twitter, veja os screencasts e talks no Youtube, alguns acontecimentos no Instagram, ouça os Podcasts e faça parte de nossa Newsletter.

• WorkFlow Super Full Stack
  • Desenvolvendo seus projetos como um profissional
• Guia do Freelancer
  • PDF com links fundamentais para quem quer ser um freelancer de sucesso
• Guia One Bit Code de Gems
  • Baixe gratuitamente seu e-Book com 60 Gems separadas por categorias

Espero que curta nossos conteúdos e sempre que precisar de ajuda com os tutoriais, fala com a gente! Seja por Facebook ou e-mail, estamos aqui para você 🙂

Bem-vindo à família OneBitCode \o/