Pages

segunda-feira, 6 de fevereiro de 2012

Futuro terrorista cuidado, você pode ser preso!

O comportamento ou melhor o padrão de comportamento levam pessoas a caracterizar outras, vemos isso diariamente e de alguma forma conseguimos construir um certo juízo sobre isto, vemos pessoas que são extremamente econômicas em relação ao seu dinheiro pela maneira como levam a vida e o que compram, como compram e onde compram isto é um padrão de sua personalidade.



Agora o FBI quer encontrar padrões com comportamentos terrorista exatamente usando dados de terroristas e seus padrões de comportamento na vida e web, na verdade eles lançaram um alerta para funcionários de ciber cafés e lanchonetes para que observem o comportamento dos seus frequentadores mas vamos avançar isto um pouco mais e entender que estão sim analisando a muito tempo o comportamento dos usuários também na web e verificando a possibilidade de encontrar padrões terroristas em seus comportamentos.

Se você estiver indo aos USA cuidado quando usar seu notebook em ambientes públicos porque podem estar a procura de atividades suspeitas e de olho em alguns comportamentos:

  • Sempre pagam o que compram em dinheiro
  • São preocupados, excessivamente, com a privacidade.
  • Dão evidências de que usam um provedor de internet residencial
  • Utilizam meios de protege seus endereços de IP
  • Se comunicam através de jogos de computador
  • Obtém mapas ou trajeto de transporte (carro, ônibus etc)
  • Fazem download ou transferência de arquivos com tutoriais de conteúdo.



quinta-feira, 19 de janeiro de 2012

Prevendo o futuro no cenário econômico, político e das relações externas.

Bom algum tempo que não posto algo meu a respeito de previsão e sobre o futuro e como a informação do passado e presente podem ajudar em um desenho do futuro.

Não criei este espaço para fins políticos mas uma forma de informar alguns leitores e amigos do que se pode fazer com dados e como podem ser úteis em cenários que possam ajudar a tomar decisões melhores.

Há algum tempo tenho estudado um pouco de economia e política não era um assunto de meu interesse mas resolvi o fazê-lo para entender melhor o que acontece e para me ajudar com a questão de entender o futuro e como as coisas são feitas, foi então que me deparei com a Escola Austríaca de Economia.

Não dá aqui para falar sobre esta escola por dois motivos um por incompetência e outro porque o assunto é extenso mas no final do post tem referências para quem quiser buscar mais conhecimento.

Mas quero fazer um adendo e a minha admiração por uma pessoa que atualmente concorre as primárias do partido republicano para concorrer com Obama pela presidência dos USA, um LIBERTÁRIO chamado RON PAUL um médico e congressista que por mais de 10 vezes eleito pelo estado do TEXAS e que nunca mudou seus princípios e valores e todos eles em virtude do seu estudo da Escola Austríaca de Economia e da Constituição Americana.

Vou deixar um vídeo(legendado) feito por ele em 2002 no congresso americano onde faz suas previsões e traça um cenário do futuro político, econômico e das relações externas.


Outro vídeo:


"Nunca diga que ninguém se preocupou, que ninguém discordou, quando ficar claro que nossas liberdades e nossas riquezas estão em risco." Ron Paul



Tamanha capacidade de prever vem de sua base econômica muito forte originalmente de pensadores geniais da escola austríaca de economia como Ludwing Von Mises, Friedrich A. Hayek e Murray N. Rothbard dos seus profundos ensinamentos dos ciclos econômicos, da moeda, capital e tempo e claro pela busca incansável da liberdade.

Para quem quiser mais informações sobre a Escola Austríaca de Economia e Política pode conseguir aqui:


Ron Paul:



quinta-feira, 5 de janeiro de 2012

Deepjewel - Social Media powering Recommendations



Hi all,

Happy new year!  My first post this year will be about an idea that I had with my friend Ricardo Caspirro about the next generation of social recommenders in commerce applications and retail stores. What excites me is that this idea came from a conversation that we had in 2009, and since that year we discussed more about what it would be the "Deepjewel".

Deepjewel is a giant knowledge base that encapsulates interesting entities and relationships of the social world in the web.  The social world in this context means all the millions and billions of tweets, Facebook messages, profiles, relationships, blog posting, YouTube videos, and more - a living organism itself, constantly evolving. 


The Deepjewel

But what motivated us to create the Deepjewel?  One of main problems that we face nowadays is the discovery of content and items of our interest.  Many times, for instance, to find a book or a movie that we like, it is required to search at several websites and social networks through the web.  There isn't a tool that allow this connection between items of many domains in a organized and structured way, even for easy access. Those objects are spread over the web, and the recommendations are placed in social networks by comments, results of machine learning techniques or by queries at several web pages or search engines.  The problem becomes worst when we don't know anything about the existence of a certain item, which it could result at never finding out that possible item that would be of our interest. 

The social media is huge and we need tools that performs a deep analysis of all this data, filter out items of my interest, specially from the historical data  (with our permission, of course)  from our presence in the web and bring items and products relevant to us without loosing the discovery process associated with the serendipity.  One of the solutions is a powerful recommender engine fed by this Social Genome.


Hybrid Social Context-Aware Recommender RecDay


This hybrid social context-aware recommender (which we call recday) is a engine composed by several modular components, which we employ a broad range of semantic analysis techniques, including information extraction and integration, natural language processing and machine learning. The main task of this recommender is to analyze information about his posts, bios and relationships/lists collected from the social genome and summarize it (all this data would represent the interests of the user) in profiles, which we could call DNA. Those profiles built by the recday would infer the possible interests of the users and would serve as basis for personalized recommendations of products and services from the retail stores/e-commerce applications.


A perfect example for this proccess, which we call the translation, is when you mentioned several times about Apple products (such as macbook, ipod, iphone, etc) at your tweets. Even you never used the word "Apple", we can use the Social Genome to detect the products and infer that you are interested in Apple products. The following figure illustrate certain kinds of entities and relationships collected in the Social Genome:


The relationships extracted from the social web data

The second step of this engine is to build the user profile. Different from another approaches which it only uses the content or the historical data from reviews or ratings from the user, the Recday would go further and would analyze the temporal context included in the interests of the user. Several reports on consumer behavior show that the user desires are influented by external factors and even the humour or feelings of the person at the certain moment. It is required to collect in a stealth way (with the user permission of course) his social data and build his personality defined by several dimensions. Those dimensions represent the current state of the user which may define what kind of suggestions he would like to receive at that particular moment. For example, if you are happy today because you got a new job and posted at your Facebook about that event or even updated your profile about this new position, it would be a valuable information for your DNA profile in order to recommend products and services to celebrate this occasion (You are happy and excited, don't you think ?).

Another important component in this proccess is the product side. We need extract more information from their products portfolio. Items must be juiced in order to get all its meta-data available. Imagine the movie Batman where we have details about the year, genre, cast, production, direction, sinoypsis, etc. All this data can be used to build the DNA Item and be expressed by a collection of dimensions that represent the item profile. With those profiles (DNA User and DNA Item) we compute the similarity between user and items in order to produce a list of top recommendations and related explanations.


The Social Architecure of the Recommender


The final result can be shown in several mediums: mobile apps, widgets, web, API's, pluggins, etc. It is important the usability and how you will present all this information for a particular user. That's why the user interface must be simple and easy to navigate and have mechanisms to collect the user's feedback for the suggestions given by the engine. This proccess is cyclic, so when you give a feedback (a like or dislike or a comment about the suggestion), this piece of information is handled and leveraged to power your DNA profile.

A particular medium of the recommendations: Ipad Demo

In order to build all these interesting technical challenges, we needed to start developing our in-house solution called Crab, which proccesses all this data and employ several analysis and filtering techniques  to deal with the percularities of this heterogeneous sources of data. The first start is the launch of the Deepjewel Labs. Deepjewel is a principle that we can mine the wealth in data, by identifying interesting entities and relationships and converting them into valuable information as input in the recommendation proccess of items and services. 

In summary, all those human and computation techniques can be used to perform a deep semantic analysis of web and social data, where the result for a commerce application or retail store is the ability to offer what the users want before they know that they really want in a personalized way. The RecDay  would be able to daily offer relevant product and services to their customers without they even know it exists. This is a new way to shop in which you don't have to go find products, service and information; the machine will help them find their way to you.

To know more about our Deepjewel labs, visit the website (currently in portuguese):  


I hope you enjoyed,


Reference:

quarta-feira, 3 de novembro de 2010

Facebook prevê quando irá terminar seu namoro

Já venho estudando as relações entre redes sociais e a web e maneiras de prever comportamentos futuros, e algumas coisas interessantes também estão sendo feitas por outros pelo mundo, quero citar uma pesquisa sobre visualizações de dados feita por David McCandless, que analisou com mais de 10.000 atualizações do status do facebook e investigou quando as pessoas se separam em suas relações pessoais.



Algumas de suas conclusões:

    * Grande pico antes da primavera
    * A maioria das separações são anunciadas na segunda-feira
    * Terminam pouco na data do natal
    * Em um momento logo depois das férias
    * Duas semanas antes do natal



São informações interesses e com profundas relações do entendimento do comportamento humano, para quem está lendo este post pode fazer uso para tomar certos cuidados com suas relações caso não queira que elas terminem, não vou aqui ficar dando dicas do que fazer use a criatividade e não deixe sua relação terminar!



fonte:

Vídeo TED

quarta-feira, 27 de outubro de 2010

Prevendo o presente, como?

Essa foi uma questão levantada por dois pesquisadores do Google (Hyunyoung Choi, Hal Varian), e usaram o google trends para seus estudos e pesquisas, então passaram a monitorar o que os usuários faziam com suas buscas, e estudaram a seguintes questões:
  • venda de casas
  • venda de automóveis
  • venda do varejo
  • viagens
Eles fizeram uma correlação como relatórios divulgados publicamente sobre a situação econômica dos itens acima, como estes relatórios tem um certo atraso até sua divulgação nada impede de fazer as devidas correlações entre o período dos quais os relatórios fazem menção com relação as consultas feitas pelos usuários no mesmo período.

O interessante na descoberta das series temporais econômicas diferentes é que mesmo prevendo o presente foi possível verificar pontos de virada nas series temporais e se as pessoas começarem a fazer buscas sobre imóveis em um determinado local, é tentador pensar que a venda de casas podem aumentar nessa área em um futuro próximo.

Para alguns prever o futuro é mesma coisa que colocar 1000 macacos em 1000 computadores e o resultado da predição será o mesmo, assim muitos tratam a predição do futuro e menosprezam os resultados e quando acertam dizem que é fruto da pura sorte, estou cada vez mais certo que previsões estão e estarão cada vez mais certas e será sem dúvida uma de nossas grandes ferramentas para esta década (... isto é uma previsão).

O termo "coupon" foi usado aqui para mostrar como as compras no período de natal aumentam nos finais dos anos, e assim também com o termo em português "presente", google trends permite que você baixe os dados de consulta no formato CSV.


O google trends procura categorizar os termos de pesquisas usando processamento de linguagem natural e os classifica em 27 categorias em um primeiro nível e mais 241 categorias em segundo nível, aqui estão as categorias de primeiro nível:

  • Alimentos e bebidas
  • Artes e ciências humanas
  • Beleza e cuidados pessoais
  • Casa e jardim
  • Ciência
  • Compras
  • Computadores e aparelhos eletrônicos
  • Entretenimento
  • Esportes
  • Estilo de vida
  • Finanças e seguro
  • Fotos e vídeo
  • Imobiliário
  • Indústrias
  • Internet
  • Jogos
  • Lazer
  • Local
  • Negócios
  • Notícias e atualidades
  • Redes sociais e comunidades on-line
  • Referência
  • Saúde
  • Setor automotivo
  • Sociedade
  • Telecomunicações
  • Viagens
Em um dos exemplos da pesquisa que fizeram a correlação de vendas de automóveis e as consultas feitas no google trends e ressaltando que a venda de automóveis é um dos grandes indicadores da atividade econômica de uma região/país.



Não vou entrar no mérito técnico matemático dos modelos desenvolvidos pelos pesquisadores, por que o material pode ser conseguindo por este link a conclusão que constataram uma correlação muito  interessante entre as pesquisas e os relatórios econômicos com previsões muito boas e relevantes, evidente que alguns resultados foram melhores que outros, mas a pesquisa foi realmente válida para ilustrar a correlação de nossas consultas presentes com relatórios de vendas e o poder que estas ferramentas podem ter para prever nossas futuras compras e comportamentos.

Quero enfatizar que o estudo das previsões não param e são os mais variados possíveis, sempre com alternativas e possibilidades interessantes, no meu ponto de vista ainda estamos atrasados aqui no Brasil nesta questão, mas sem dúvida que temos muita qualidade para reverter este quadro.


terça-feira, 26 de outubro de 2010

... e o passado?

Tenho falado abertamente que podemos prever o futuro baseado no passado e no presente, mas tenho que deixar claro uma coisa, que possa te ajudar a prever é a mesma que talvez possa provar o contrário, por exemplo ambas conclusões podem vir da mesma questão:

Se você sobreviver até amanhã.

  • então você é imortal
  • ou que está mais próximo de sua morte
Ambas conclusões vêem dos mesmo dados, isto pode gerar um certo tipo de engano e existem diversos níveis de liberdade no entendimento de eventos passados.

O que projetamos do passado nem sempre ou melhor na maioria das vezes não se trata de um modelo linear, essa é uma maneira da qual nós seres humanos nos acostumamos a olhar por uma série de eventos e assim podemos deixar dados relevantes de fora e nos perdermos neste modelo.


Generalizar o modelo linear é a forma mais fácil para se prever o futuro, você acompanha um certo crescimento linear por exemplo e logo supõe que tem dados suficientes para fazer uma previsão, a idéia é sempre tentar encaixar na tendência mas aí mora o grande perigo por que você pode não estar trabalhando em um modelo linear, mas sim um modelo com curvas e neste caso suas previsões lineares perderão valor.


De certa forma prever é da natureza humana, umas o fazem por dinheiro, outras porque é o seu trabalho  e a grande maioria porque faz parte de nossa natureza.

Filosofo chamado Daniel Dennett lançou a seguinte idéia: qual é o uso mais poderoso de nosso cérebro? Precisamente a capacidade de projetar conjecturas futuras.

O intuito aqui com este simples post é descrever um processo de nossa natureza de generalizar para o mais simples e que somos tentados a fazer previsões porque gostamos de certa forma disto, mas existem alguns cuidados especiais em prever o futuro, até porque não existe absolutamente nada com 100% de certeza, até a morte já está sendo questionada!, derivações futuras baseadas no passado são infinitas.

segunda-feira, 25 de outubro de 2010

E o tempo?

Como fica a questão tempo, no trato do futuro, já que levamos em conta o passado e presente(real), como lidar com tanta informação mas dentro de uma questão temporal, quando crawleamos os dados, parte do processo consistente em parsear estes dados, na questão temporal é dar ao devido texto um tratamento por datas e horas e para o banco de dados existem algumas condições especiais para se tratar isto, você não tem a condição em si de data e hora apenas, mas o dia se é uma segunda, terça ..., mais se a data tem alguma representação como o dia do professor, dia das crianças, dia dos namorados, Natal, veja a importância de datas como estas.

Para o banco de dados podemos ter alguns problemas relativos a estas datas, fica muito complicado fazer uma busca temporal indexado, até podemos fazer alguma consultas simples sobre data e horário mas a coisa começa a ficar complicado se queremos fazer alguma coisa a respeito de todas as sextas-feiras, encontramos junto com isto anos bissestos, 28 e 29 de fevereiro, para alguns isto pode parecer muito simples mas quando se faz uma análise temporal complexa a coisa pode não ser tão simples assim, a questão aqui é olhar para os dados com a profundidade do tempo e sua relação com a qual faz parte.


Não consultamos,perguntamos e obtemos dados com muito mais informação temporal, existe uma combinação muito poderosa em utilizar dados da web combinado com dados temporais, em breve teremos boas combinações e os resultados serão determinantes em boas previsões.

Em uma análise recente para um amigo da área de investimentos, a pergunta dele foi: seria possível prever o que farei amanhã? ou depois de amanhã?

Em breve vou dar algumas explicações sobre a questão de prever mas sobre a ótica da aleatoriedade e como previsões em muitos casos acabam sendo uma mera combinação de eventos não previstos, mas isto deve ficar para depois.

Bom voltando ao assunto, eu achando que ele fosse perguntar algo como, como será a semana para investir em opções da petrobrás?

Bom coloquei algo ainda incompleto para trabalhar que é o módulo Tirésias para analisar a questão, como esse amigo perguntou algo pessoal e de seu interesse e claro de certa forma conhecedor de suas vontades, vi que sua lifestream ou vida digital eram significativos e que tinha um histórico razoável para alguns testes sobre prever o que faria nos próximos dias...
  • Na terça a 82% que ficaria em casa, 36% assistir a um filme
  • Na quarta 67% que iria a um teatro
  • Na quinta 87% que ficaria em casa, 65% assistir a um filme e 55% pedir uma pizza
  • Na sexta 71% que sairia com amigos
  • No sábado 78% que iria ao cinema
  • No domingo 40% ficar em casa, 32% ver a família e 10% ir a uma livraria

Acho que a relação de percentagem está fácil para entender, cada possibilidade em sua devida categoria!

Apresentei este dados na terça-feira já que tínhamos conversado a tarde na de segunda e ficou intrigado com a precisão dos dados, passada a semana perguntei como foi e o que tinha feita e o acerto foi de 85%.

Veja isto foi só como uma brincadeira mas elas foram esclarecedoras, porque fui um pouco além quando vi que ele poderia ir ao cinema e em uma livraria, resolvi rodar um novo módulo de recomendações e apresentei três opções para cinema, filme e livro falarei sobre sistemas de recomendação dentro do contexto de prever o futuro em um outro post ...