quarta-feira, 29 de março de 2017

Knime: Parte 1 - Capturando dados no Twitter utilizando o Knime

E a idéia agora é publicar alguns posts desmistificando alguns assuntos intrigantes...

E para começar, vamos publicar uma forma bem legal de capturar dados no twitter utilizando o Knime (Ferramenta de Mineração de Dados open-source) .

E para irem se preparando, seguem alguns passos para que possam aproveitar as dicas que virão brevemente:

- Baixem e instalem o Knime:


 

- Criem uma aplicação no Twitter

URL: apps.twitter.com



sexta-feira, 25 de novembro de 2016

Hadoop – Instalando o Cloudera QuickStart VM

Distribuição Hadoop

Pacote integrado com componentes da plataforma Hadoop customizado por várias empresas para atender as necessidades de diferentes organizações.


Cloudera

Empresa fundada em 2008 por um grupo de engenheiros da Yahoo, Google e Facebook. É pioneira no desenvolvimento e distribuição de softwares baseados em Hadoop Apache e é a fornecedora da CDH (Cloudera Distribution Hadoop).

CDH (plataforma de código aberto da Cloudera) usa o Hadoop como base e agrega ao projeto original Apache algumas melhorias. Entre as melhorias podemos destacar o Cloudera Manager que é um sistema amigável de gestão  que apresenta toda a estrutura do pacote de forma organizada.

A Cloudera é líder de mercado, fornece uma versão gratuita para download e uma paga e adicionalmente disponibiliza os serviços de consultoria, suporte, manutenção e treinamento.


Instalação da versão Cloudera QuickStart VM

Cloudera QuickStart VM => Versão ideal para auto-aprendizagem.

Passo 1

Fazer download no link abaixo:

http://www.cloudera.com/downloads.html

Selecione o download do QuickStarts.

















Passo 2

Na próxima tela selecione a versão “QuickStarts for CDH 5.8” e escolha a plataforma desejada (no nosso caso utilizaremos a Virtual Box).



















Passo 3

Clique no botão:






Passo 4

Preencha os dados solicitados na tela abaixo e clique em "CONTINUE":
























Passo 5

Leia e aceite os termos e clique em “SUBMIT”.
























O download será iniciado...


Passo 6

Após termino do download faça a descompactação do arquivo abaixo:

cloudera-quickstart-vm-5.8.0-0-virtualbox.zip


Arquivos descompactados:







domingo, 6 de novembro de 2016

Enquanto isso, a menina que só quer saber de brincar...

- Mamãe, olha que tirinha legal que o Henrique me mostrou. Adorei!














Impressora 3D – Construindo uma Prusa Mendel i3 - Parte 1

Projeto executado e adaptado por: Willian Hofner

Ajudante: Lara Almeida Hofner

Introdução

Modelo: Prusa Mendel i3

Prusa Mendel i3 é a versão open source construída com componentes mdf, peças de plástico, parafusos, arruelas e porcas. Ela utiliza 5 motores NEMA 17.



Construindo a parte mecânica - Y-axis assembly

1 - Heated bed mount

Componentes:


- Heated bed mount
- Y Belt Holder
- 3x Linear bearing LM8UU 
- 2x M3x14 mm screw
- 2x Ø3 mm washer
- 2x M3 nut














2 - Transverse parts

Componentes:

- 4x Y Corner
- Y Idler
- Y Motor
- 1x Ball bearing 608
- 4x Threaded rod M10x210 mm
- 22x M10 nut
- 22x Ø10 mm washer
- 1x M8x30 mm screw
- 1x M8 nut
- 2x Ø8 mm wahser
- 1x M4x20 mm screw
- 1x M4 nut 


Passo 1




Passo 2












Passo 3














Passo 4











Passo 5














3 - Assembly with the longitudinal parts

Componentes:

 - Heated bed mount assembly
- Transverse parts
- 2x Smooth rod Ø8x350 mm
- 2x Threaded rod M10x380 mm
- 12x M10 nut
- 12x Ø10 mm washer

Passo 1












Passo 2



















Passo 3


















Passo 4


















4 - Dicas

As peças acima foram adquiridas em lojas de parafusos, no site mercado livre e no aliexpress.







Hadoop - Comandos Hadoop - Parte 1

Comandos básicos Hadoop

















Ícone a ser clicado no menu superior da tela da distrubuição Cloudera.


A partir daí é só escrever os comandos após o prompt.














Comandos básicos Hadoop:

hadoop fs –ls /<diretório>

Lista os arquivos.









hadoop fs –du /<diretório>


Mostra a quantidade de bytes total dos diretórios

















hadoop fs –mkdir /< diretório>

Cria uma estrutura de diretório no cluster.














wget <url>

Busca dados na web.






hadoop fs –rm /<arquivo>

Remove arquivo no cluster.






hadoop fs –cp /<origem> /< destino>

Copia arquivo de um cluster para outro.








hadoop fs –cat /<arquivo>

Verificando o conteúdo de um arquivo texto.