Coleta de Dados em Site da Web

Pessoal,

Boa tarde,

Estou aqui para um post, esse será sobre um trabalho que mistura Datamining com DatawareHouse, bom o meu aplicativo, vai em um site qualquer, coleta informações que estão contidas no HTML da página, faz um parser em cima do que ele recebe e começa a varrer as tag’s em busca das informações para alimentar o banco de dados.

Eu teria escolhido Oracle XE um banco robusto, free, mas em contrapartida é muito pesado e por trablhar todos os dias com ele resolvi escolher um banco que seja free e que possa trazer coisas novas, então escolhi o postgre, que não deixa nada a desejar e acima de tudo é levinho… Tem umas coisas nele que são diferentes mas isso faz parte da aventura…

O problema inicial seria obter o HTML da página, mas esse logo foi resolvido com o auxílio do HTTPClient da Apache, após obter com sucesso a String HTML da página pesquisada, tive outro problema… a busca dentro das tags, e de novo a apache me “salvou” hehehe usei o HTMLParser, nesse ponto tive uma baita dor de cabeça… a coisa fica meio “manual”, para quem já conhece outro tipo de parser como o XStream vai entender.

Mas após as pazes com o parser a lógica e o banco de dados montado, foi realizar o processo de coleta das informações, agora vai vir a parte mais interessante, montar uma busca em cima das informações coletadas e fazer com que elas façam sentido…

Ao término desse trabalho vou disponibilizá-lo aqui em meu blog para que possam ver as etapas acompanhadas.

Até a próxima!

Bem vindos!

Bom, para estrear meu blog sobre assuntos de tecnologias, vou começar falando de uma ferramenta para desenvolvimento em imagens 3D para quiser fazer jogos, vai precisar de uma engine bakana para finalizar o trabalho.

Blender é uma ferramenta desenvolvida em phyton, que ao ser iniciada me surpreendeu, não sabia que dava para fazer algo desse nível em phyton(tudo bem que eu não conheço muito sobre a linguagem), mas o que as pessoas conseguem fazer de imagens usando uma ferramente livre desse porte eu fico impressionada!!

Tudo bem que é difícil de mexer, além de não ser nada intuitivo vc só vai conseguir operar a ferramenta com um bom tutorial em inglês… nas minhas aventuras, uma das melhores maneiras de se aprender a usar é ir n youtube e fazer uma pesquisa, novamente achei coisas impressionantes feitas em blender são figuras e vídeos que chegam bem próximas do real se não chegam surpreendem.

Pra se ter uma idéis eu sou péssima para desenhar no papel e n mundo virtual n deixa d ser diferente, abaixo eu mostro a vocês uma figura que criei no blender… Para mim o resultado ficou surpreendente porque pensei que fosse ficar tosco rsrs mas até que não, olhem só:

Não sou louca de dizer que fiz essa imagem sem consultar um tutorial, hehehe e o que eu consultei foi esse:http://www.linuxgraphic.org/section3d/blender/pages/didacticiels/paysages/didac1-ang.html em inglês e seguindo ele não tem erro, algumas coisas não ficam claras nele, mais para frente tenho intensão de atualizá-lo e em português.

Fiz uma animação também, como tava com muita criatividade peguei essa caixa e esse pedaço de madeira fazendo com que estes fique flutuando, mas para esse caso eu usei um vídeo no you tube http://br.youtube.com/watch?v=GbFvrilssNo muito bom, assim como a série de vídeos desenvolvidos pelo super3boys no blender.

Bom para um texto teste fico por aqui e em breve eu volto para falar de mais coisas.

Um Abraço!