Recuperação da informação e a consulta à base de dados no processo de busca do Mecanismo Online para Referências

Headnote

Resumo: Os dados das organizaçôes crescem, exponencialmente, a cada ano e têm trazido aos administradores e gerentes incremento para tomada de decisao à qual sao diariamente submetidos. Para a gestao destes dados, bem como, para descoberta de informaçôes neles contidas, surgiram os Sistemas de Recuperaçao da Informaçao - largamente empregados no ambiente organizacional, atualmente. A Recuperaçao da Informaçao foi desenvolvida com a finalidade precipua de fornecer, rapidamente, aos usuários a informaçao que procuram. A avaliaçao de um Sistema de Recuperaçao da Informaçao é focada em seu motor de busca, medindo o quao rápido ele pode responder a uma consulta, ou o nivel de relevância da informaçao recuperada. Este trabalho tem como objetivo verificar o impacto da utilizaçao de motores de busca, baseados no Apache Solr®, no processo de recuperaçao da informaçao contida na base de dados do Mecanismo Online para Referências. Assim, buscaram-se na bibliografía, fundamentos para conceituar a Recuperaçao da Informaçao e tratar sobre as peculiaridades que se coadunam com o escopo desta pesquisa. Abordam-se as principais características do servidor de recuperaçao da informaçao Apache Solr® e do prototipo desenvolvido para os propósitos deste trabalho. Cabe esclarecer que o Apache Solr® foi configurado para ordenar os resultados pelo nivel de relevância, sendo o Modelo de Espaço Vetorial utilizado no cálculo do grau de similaridade. Na sequência, os dados colhidos sao tabulados, apresentados e analisados. Concluise que a utilizaçao de motores de busca, baseados no Apache Solr®, impacta, positivamente, no processo de recuperaçao da informaçao contida na base de dados do Mecanismo Online para Referências.

Palavras-chave: Recuperaçao da informaçao. Indexaçao. Modelo de espaço vetorial. Mecanismo online para referências.

Information retrieval and database query in the search process of the Online Mechanism for References

Abstract: The data of organizations grows exponentially each year and has brought increment to the administrators and managers in the decision-making process, which they are daily submitted. In order to manage this data and discover information contained on them, the Information Retrieval Systems is widely used in the organizational environment. The Information Retrieval was mainly developed to provide quickly to the users the information they seek. The evaluation of an Information Retrieval System is focused on its search engine, measuring how fast it can respond to a query, or the relevance level of the retrieved information. This study verifies the impact of using search engines, based on Apache Solr®, at the information retrieval process contained in the Mecanismo Online para Referências database. Thus, we researched the literature, searching for fundamentals to conceptualize the Information Retrieval and to deal with the peculiarities that are consistent with the scope of this research. We analyze the main features of the Apache Solr® Information Retrieval Server and the developed prototype built to evaluate this study. It should be clarify that the Apache Solr® was set up to sort the results by relevance level, and the Vector Space Model was used to calculate the degree of similarity. After that, the collected data is tabulated, presented and analyzed. We conclude that the use of search engines, based on Apache Solr®, impacts positively on the information retrieval process contained in the Mecanismo Online para Referências database.

Keywords: Information Retrieval. Indexing. Vector Space Model. Mecanismo Online para Referências.

Recebido: 09/04/2016

Aceito: 21/06/2016

1 Introduçâo

O volume de dados das organizaçôes, em geral, tem crescido exponencialmente, nos últimos anos e tem trazido aos administradores e gerentes incremento na complexidade da tomada de decisäo à qual säo, diariamente, submetidos. Das decisöes tomadas e implementadas na sua rotina diária depende o futuro da organizaçâo (WHITE, 2013).

Para auxiliar no gerenciamento destes dados, bem como na descoberta de informaçôes neles contidas, passou-se a utilizar os Sistemas de Recuperaçâo da Informaçâo (SRI), que säo largamente empregados no ambiente organizacional contemporáneo.

Acompanhando esta tendência, a base de dados do Mecanismo Online para Referencias (MORE) tem apresentado significativo aumento no seu volume de dados, sugerindo que sejam buscadas alternativas para melhorar o tempo de resposta às pesquisas realizadas por seus usuários, uma vez que o processo de pesquisa à base de dados do MORE tem mostrado relativo aumento no tempo de resposta. Vale esclarecer que há très anos a base de dados do MORE armazenava um milhäo de referências geradas, e o tempo de resposta a uma consulta oscilava em torno de très segundos. Ocorre que, neste período, o volume de dados armazenados aumentou seis vezes (atualmente, armazena quase sete milhöes de referencias), e o tempo de resposta passou a oscilar em torno de dezessete segundos, como pode ser observado nas Tabelas 1 e 2.

O MORE - desenvolvido em 2005 - é fruto da percepçâo da Sra. Maria Bernadete Martins Alves em relaçâo às dificuldades encontradas pelos usuários da norma técnica referente à elaboraçâo de referências bibliográficas no ambiente da Biblioteca Universitária da Universidade Federal de Santa Catarina (UFSC). Trata-se de uma ferramenta web gratuita destinada ao auxilio de usuários de bibliotecas (pesquisadores, professores e alunos) na tarefa de gerar e gerenciar suas listas de referências bibliográficas, de acordo com a norma NBR 6023:2002 da Associaçâo Brasileira de Normas Técnicas (ABNT) e mantê-las armazenadas em uma base de dados própria (ALVES; MENDES; ALVES, 2006).

Atualmente, o MORE foi institucionalizado pela UFSC e encontra-se hospedado nos servidores da Superintendência de Governança Eletrônica e Tecnologia da Informaçâo e Comunicaçâo (SeTIC) daquela Universidade. Conta com mais de 160.000 usuários cadastrados e quase sete milhöes de referências armazenadas em sua base de dados.

Os sistemas baseados na Web 2.01, além da interatividade, requerem constante atualizaçâo. Para acompanhar a evoluçâo tecnológica empregada na recuperaçâo da informaçâo e estar preparado para a implementaçâo de funcionalidades que se fizerem necessárias é que se buscam alternativas para cumprir os objetivos da recuperaçâo da informaçâo no contexto do MORE.

Xavier (2009) faz uma distinçâo entre sistemas de recuperaçâo de dados e recuperaçâo da informaçâo, cuja diferenciaçâo é observada pela utilizaçâo da técnica empregada para comparar a expressâo de busca contra o repositório informacional, denominadas como equiparaçâo exata e equiparaçâo parcial, respectivamente. Percebe-se que o MORE faz uso da recuperaçâo de dados. Esta afirmativa é baseada no fato do usuário informar sua expressâo de busca, e o sistema, através de uma consulta SQL contra a base de dados, retornar somente os registros que expressam, completamente, a sequência de caracteres informada (equiparaçâo exata).

Assim, identifica-se a oportunidade de implementaçâo no sistema de busca do MORE da equiparaçâo parcial, cujo método, segundo Xavier (2009, p. 25), "[...] possibilita tanto a obtençâo de resultados parcialmente válidos ou pertinentes como a ordenaçâo destes resultados de acordo com o grau de relevância para a expressâo de busca utilizada.".

Poucos sâo os projetos desenvolvidos para sistemas de busca que utilizam a equiparaçâo parcial e que sejam gratuitos. Deixa-se de considerar os sistemas proprietários pelo motivo de que o desenvolvimento do MORE é fundamentado na inclusâo social e, por consequência, em tecnologias gratuitas. Verifica-se com frequência a existência de comparaçôes entre o Apache Solr® e o Apache ElasticSearch® (ambos derivados do Apache Lucene®). O primeiro possui uma interface mais amigável para hospedagem em servidor único (que é o caso do MORE), mesmo havendo a possibilidade de sua clusterizaçâo (distribuiçâo), enquanto o segundo é mais voltado para bases de dados distribuidas (envolvendo múltiplos nodos). Do exposto, optou-se por utilizar o servidor de recuperaçâo da informaçâo Apache Solr® para dar suporte às consultas realizadas à base de dados do MORE.

Partindo do pressuposto que a utilizaçâo de recursos de Tecnologias de Informaçâo e Comunicaçâo (TIC) que satisfaçam o conceito de Enterprise Search2 pode impactar positivamente no processo de recuperaçâo da informaçâo contida na base de dados do MORE busca-se, durante o desenvolvimento deste trabalho, verificar o impacto da utilizaçâo de motores de busca, baseados no Apache Solr®, no processo de recuperaçâo da informaçâo contida na base de dados em estudo.

Este artigo está estruturado em seis seçôes distintas, além das referências bibliográficas, por meio das quais pretende-se alcançar o objetivo proposto no parágrafo anterior.

2 Recuperaçâo da informaçâo

Esta seçâo dedica-se ao entendimento do conceito de recuperaçâo da informaçâo, visando facilitar a análise das necessidades requeridas pelo subsistema de busca do MORE e subsidiar a elaboraçâo de uma estratégia de busca.

Segundo Lopes (2002, p. 61), no contexto da recuperaçâo da informaçâo, "[...] a estratégia de busca pode ser definida como uma técnica ou conjunto de regras para tornar possivel o encontro entre uma pergunta formulada e a informaçâo armazenada em uma base de dados.". Ou seja, selecionar e retornar ao interessado um conjunto de documentos (informaçôes) que compöem a resposta à pergunta submetida à apreciaçâo.

A historia da humanidade e a evoluçâo da ciência se confundem com a necessidade de recuperaçâo e disponibilizaçâo de informaçôes, que armazenadas em algum meio físico, possam ser resgatadas de forma precisa, rápida e com certo grau de relevância (FACHIN, 2009).

Classificar a informaçâo da humanidade foi e tem sido requisito para organizá-la visando sua recuperaçâo em tempo futuro. Para acompanhar o incremento da produçâo da informaçâo foram desenvolvidos métodos, técnicas e sistemas que almejam suprir os anseios referentes à sua recuperaçâo que é fortemente afetada pela sobrecarga informational (CARVALHO; LUCAS; GONÇALVES, 2010; OLIVEIRA; ARAUJO, 2012; TEIXEIRA; SCHIEL, 1997).

Para Ribeiro (2013, p. 531),

[...] a classificaçâo é assumida como uma operaçâo intelectual e técnica, que se traduz numa categorizaçâo/sistematizaçâo para fins organizativos e numa representaçâo formal tendo em vista a recuperaçâo da informaçâo.

Nesse sentido, percebe-se que as bibliotecas sâo pioneiras na valorizaçâo do acesso à informaçâo, cuja assertiva advém da preocupaçâo desta com a criaçâo de dispositivos classificatórios, em beneficio da representaçâo e da recuperaçâo da informaçâo (TEIXEIRA; SCHIEL, 1997).

Para Okada e Ortega (2009, p. 19), a efetividade e a eficiência na recuperaçâo de informaçôes estâo ligadas a tarefa de classificaçâo, uma vez que "[...] nâo há habilidade de busca que supere modos inconsistentes de organizaçâo da informaçâo".

Nas consideraçôes de Martins e Carvalho (2014, p. 121), é incontestável que a qualidade da indexaçâo pode interferir na eficácia do processo de busca nas bases de dados e que esta complexa tarefa é influenciada pelo conhecimento tácito e pela ontogenia do indexador (ou do arquiteto do software) "[...] para que o documento seja bem representado nas bases de dados.".

Em um entendimento inicial, recuperaçâo da informaçâo é o processo, manual ou automático (digital), pelo qual se retorna ao solicitante de uma pergunta formulada a informaçâo armazenada que satisfaça sua necessidade informacional (LOPES, 2002).

O principal objetivo de um SRI é fornecer, rapidamente, aos usuários a informaçâo que procuram. A complexidade em recuperar somente aqueles documentos que sâo importantes para o usuário é um dos principais obstáculos a ser contornado pelos SRI (FACHIN, 2009; RODRIGUES; CRIPPA, 2011; TEIXEIRA, 2010; WU et al., 2013).

O crescimento exponencial do volume de informaçâo levou a Recuperaçâo da Informaçâo (RI) estabelecer-se como um ramo do conhecimento científico que busca amenizar très problemas: representaçâo da informaçâo, especificaçâo da busca da informaçâo e criaçâo de mecanismo para recuperaçâo. Ressalta-se que a RI transita, de forma interdisciplinar, por diversos domínios, desde a Ciència da Informaçâo até Ciència da Computaçâo, dispondo de tarefas e ferramentas de organizaçâo e recuperaçâo da informaçâo e conhecimento, como: classificaçâo, tesauros, taxonomia e ontologias, entre outras (PONTES JUNIOR; CARVALHO; AZEVEDO, 2013).

No entendimento de Teixeira (2005, p. 81), este crescimento acelerado do volume de informaçôes geradas e, por consequència, consumidas, conduziram ao emprego da TIC como uma das principais ferramentas no incremento da qualidade e da produtividade dos SRI, os quais devem "[...] atender às necessidades específicas dos usuários, permitindo ao máximo o acesso a informaçôes relevantes".

Conforme Souza (20063 apud ARAUJO, 2012), as funçôes de um SRI sâo as seguintes: representar as informaçôes contidas nos documentos e expressas pelos processos de indexaçâo e descriçâo dos documentos; armazenar e gerir física e/ou logicamente esses documentos e suas representaçôes; e, recuperar as informaçôes ali contidas e os documentos armazenados no sistema.

Os SRI, sejam os utilizados para a pesquisa em escala web ou a um nivel empresarial, impactam na vida diária e, no entanto, a intensidade e o sentido deste impacto sâo, raramente, medidos. Normalmente, sua avaliaçâo é focada em seu motor de busca, medindo o quâo rápido ele pode responder a uma consulta, ou o nivel de relevância da informaçâo recuperada.

As especificidades de busca de cada organizaçâo têm norteado a construçâo de mecanismos de recuperaçâo inteligente de informaçâo. Fachin (2009) e Strehl (2011) afirmam que a utilizaçâo de agentes inteligentes favorece o desenvolvimento de SRI que possam atender essas especificidades de acordo com o público alvo, e que cabe aos "[...] criadores investigar, analisar e utilizar estes recursos [...]" (FACHIN, 2009, p. 261).

Ainda neste sentido, Weikum et al. (2009) apontam para a convergência, tanto da perspectiva da recuperaçâo da informaçâo quanto da perspectiva dos bancos de dados, na utilizaçâo crescente de dados estruturados e semiestruturados.

A Web 2.0 e sua interatividade proporcionou aos usuários, através dos mais diversos aplicativos, contribuir para o aumento do volume de informaçôes armazenadas, bem como, da quantidade de interessados na sua recuperaçâo. Ghorab et al. (2012) observam que a maioria dos atuais SRI nâo considera as características do usuário que realiza a consulta; retornando o mesmo conjunto de informaçôes para usuários diferentes que realizem a mesma consulta. Entendem os referidos autores que estes sistemas deveriam considerar as características do usuário no desenvolvimento destes sistemas, os quais sâo denominados Personal Information Retrieval (PIR). Isso pode ser feito mantendo o controle de informaçôes e interesses pessoais do usuário e, em seguida, usando essas informaçôes para personalizar a consulta ou o conjunto de resultados apresentados.

O estudo realizado por Peltonen e Lin (2014) analisa o custo de uma tarefa de recuperaçâo da informaçâo baseada nos metadados, a fim de levantar o grau de similaridade entre os documentos recuperados; classificá-los; agrupálos; e mostrá-los através de uma interface gráfica.

Nas consideraçôes de Ramos e Munhoz (2011), um sistema de busca considerado "ideal" deverá dispor de funcionalidades que permitam a recuperaçâo por partes de palavras (maq costu para máquina de costura, por exemplo), por sinónimos (chave de luz para interruptor, por exemplo), por parte alternada do todo e pela semántica da expressâo fornecida pelo usuário.

Para Araujo, "[...] a funçâo principal de um SRI é dispor de informaçôes contidas nos documentos indexados, a partir de uma descriçâo sintética, objetiva e representativa de seu conteúdo formal e temático" (ARAUJO, 2012, p. 139-140). Teixeira e Schiel (1997) corroboram que estes sistemas integram vários processos, tais como: seleçâo, aquisiçâo, indexaçâo, busca e recuperaçâo das informaçôes.

As evoluçôes dos SRI, ocorridas nas mais diversas situaçôes de tempo, espaço e necessidades organizacionais específicas, favoreceram o desenvolvimento de vários métodos de busca, dentre os quais destacamos o booleano, o espaço vetorial, o probabilístico, o clustering e o feedback. E para suprir as peculiaridades da Web Semántica, os modelos difuso, booleano estendido, espacial vetorial generalizado, indexaçâo semántica latente, redes neurais e recuperaçâo textual estruturada (FACHIN, 2009).

Neste trabalho, aborda-se, com alguma ênfase, o modelo espaço vetorial (ou simplesmente modelo vetorial) em virtude de seu emprego na concepçâo e desenvolvimento do motor de busca do MORE, possibilitando recuperar documentos que respondam, parcialmente, aos termos de uma busca.

Segundo os ensinamentos de Manning, Raghavan e Schütze (2009), o modelo espaço vetorial sugere um espaço no qual os termos de um documento e os termos da consulta sâo vetorizados de modo que o grau de similaridade entre eles seja calculado através de equaçôes matemáticas e o conjunto de resultados ordenado, de acordo com este grau de similaridade.

Trata-se de um modelo estatístico e multidimensional, no qual cada termo representa uma dimensâo e pode ter associado a ele um peso para refletir sua importáncia, tanto no documento quanto na consulta. Assim, o ángulo entre esses vetores determina o grau de similaridade entre eles, ou seja, o grau de similaridade é inversamente proporcional ao valor do ángulo formado entre eles.

Manning, Raghavan e Schütze (2009) elucidam, ainda, o fato de que documentos com os mesmos termos podem estar localizados em uma mesma regiâo do espaço vetorial e, consequentemente, possuírem conteúdos similares.

Convém destacar que na fase de transformaçâo dos dados, considerando as restriçôes de recursos computacionais e o objetivo principal da RI, esses sâo armazenados em um índice invertido que contém os termos e a frequência desses no documento e no corpus, para facilitar sua localizaçâo e recuperaçâo. Para o caso em estudo, fez-se a carga inicial das referências existentes na base de dados e, a partir deste momento, cada referência inserida na base de dados terá também seus termos e frequência inseridos no índice invertido.

A fim de tirar proveito das características supracitadas, foi promovida a integraçâo entre as ferramentas MORE e servidor de recuperaçâo da informaçâo Apache Solr®, cuja análise do impacto é objetivo do presente trabalho. Salienta-se que a análise proposta advém do ganho esperado na oferta do serviço aos usuários finais através da integraçâo promovida entre o ferramental em tela.

3 Servidor de recuperaçâo da informaçâo Apache Solr®

A importancia da recuperaçâo da informaçâo e seu emprego com foco na organizaçâo propiciou o desenvolvimento de várias soluçôes comerciais no ámbito da Enterprise Search, dentre as quais destacam-se: Google Search Appliance®, Fast®, G2|B® e ISYS®, assim como, a opçâo de projetos open source, no caso do ElasticSearch® e do Solr®, este mantido pela Fundaçâo Apache.

O Apache Solr® é um servidor de recuperaçâo da informaçâo para bases de dados textuais. É uma ferramenta desenvolvida em Java, open source, que faz uso da biblioteca de busca em texto completo conhecida como Lucene. Foi idealizado para ser uma aplicaçâo web com a finalidade de prover várias funcionalidades de busca em texto completo, bem como, usar e ampliar as características da biblioteca Apache Lucene. Ambos, Solr® e Lucene®, sâo parte do projeto Apache Lucene e foram fundidos em um único esforço de desenvolvimento desde 2010, melhorando sua modularidade (KUMAR, 2013; SERAFINI, 2013).

Possibilita a exploraçâo de suas funcionalidades através dos seus próprios serviços REST-like4, que podem ser utilizados, de várias formas diferentes, e em, praticamente, qualquer plataforma ou linguagem. Há, ainda, a possibilidade de sua utilizaçâo como uma estrutura embarcada (built-in), acrescentando algumas de suas funcionalidades ao aplicativo Java em desenvolvimento, através de uma chamada direta à sua API interna.

Para melhorar o entendimento sobre como o Solr® implementa suas principais características, Serafini (2013) esclarece que é importante ter uma visâo geral sobre o que é um índice Lucene (índice invertido), e como ele é feito. Conceitos fundamentais do Lucene sâo os seguintes:

a) documento - é a principal estrutura utilizada, tanto para as buscas como para os índices. Um documento é uma representaçâo na memória dos valores dos dados que precisam ser utilizadas nas pesquisas. Para que isso funcione, todos os documentos consistem em um conjunto de campos, que é a estrutura de dados mais simples;

b) campo - tem seu próprio nome e valor, e é composto por, pelo menos, um termo. O campo é análogo ao atributo de uma relaçâo em um Banco de Dados Relacional. Assim, cada documento pode ser visto como uma simples lista de pares campo-valor. Um campo pode ser monovalorado ou multivalorado. Se for monovalorado, ocorrerá a substituiçâo do valor anterior à entrada de novo valor, enquanto que se for multivalorado, a entrada de novo valor será adicionado à lista de valores do campo;

c) termo - é a unidade básica para a indexaçâo. Para simplificar, vamos imaginar uma única palavra, se o campo for do tipo texto, entretanto se for do tipo string, por exemplo, toda a sequência de caracteres (ou palavras) será indexada de maneira indivisível;

d) índice - é a estrutura em memória onde Lucene® e Solr® executam as buscas. Pode-se, entáo, pensar em um documento como um único registro no índice.

A Figura 1, na sequência, apresenta uma visäo geral do processo de indexaçâo.

Na argumentaçâo de Grainger e Potter (2014, p. 4, traduçâo nossa), "Solr® é uma soluçâo escalável, um mecanismo de busca organizacional pronto para entrar em produçao, otimizado para busca de grandes volumes de dados centrado em texto e retornar resultados classificados por relevância". Está pronto para entrar em produçao porque, além de ser open source, traz consigo um exemplo pré-configurado que auxilia e facilita sua instalaçâo e configuraçâo.

A escalabilidade do software Solr® fica bem evidenciada na sua versao 4 em que a funcionalidade Cloud permite a distribuiçâo do trabalho (indexaçâo e processamento da consulta) para vários servidores em um cluster.

Verifica-se que o software Solr® está otimizado para busca, uma vez que sua notável rapidez é observada ao executar consultas complexas em alguns centésimos de segundos. Está, também, apto a trabalhar com índices que contenham muitos milhöes de documentos e sua otimizaçâo permite a busca em conteúdo expresso por meio de linguagem natural, tais como, mensagens eletrônicas, páginas da Web, currículos, documentos PDF e mensagens sociais - como tweets ou blogs.

No tocante à classificaçâo dos resultados por relevância, verifica-se que o Solr® devolve documentos em ordem de classificaçâo com base na relevância de cada documento, de acordo com a consulta do usuário. Faz uso de complexos cálculos matemáticos para a obtençâo do escore de relevância, utilizando-se do conceito de Modelo de Espaço Vetorial. No entanto, a grande dificuldade centra-se na atribuiçâo do valor (peso) a cada termo e/ou campo utilizado na consulta. Tal fato exige conhecimentos especializados do usuário na elaboraçâo de sua consulta. Todavia, isto pode ser amenizado com a utilizaçâo de interfaces gráficas que possibilitem, por meio de listas pré-formatadas, que o usuário expresse suas consideraçôes.

Atualmente, o software Soir® encontra-se em sua versäo de número 6 e a cada versäo adiciona novas funcionalidades que satisfazem as necessidades atuais requeridas, para que os SRI atendam aos requisitos organizacionais. Podese afirmar que se trata de uma tecnologia madura e flexível, que oferece, além de complexas características de busca em texto completo, as funcionalidades de autossugestäo, filtragem avançada, pesquisa geocodificada, destaque em texto, pesquisa facetada, entre muitas outras.

Além disso, está sendo utilizado por diversas organizaçôes nos mais variados cenários. A título exemplificativo cita-se o The Guardian®, grandes empresas (Apple®, Disney®, Goldman Sachs®), sites de noticias, sites institucionais (como sites do governo Americano), sites de editoras, entre outros. Percebe-se que nem todos os sites säo de linguagem natural em texto completo, o que nos faz crer que as outras características do Apache Soir® influenciaram na escolha (SERAFINI, 2013).

Destaca-se, novamente, a possibilidade de integraçâo do Apache Soir® com outras aplicaçôes, utilizando-se as mais variadas linguagens de programaçâo. Listam-se, a seguir, os très principais projetos desenvolvidos em PHP, uma vez que o MORE faz uso dessa linguagem de programaçâo e porque säo open source. Säo eles: Solr-PHP-client, Apache Soir-PHP extension e Solarium.

O Solr-PHP-client é um projeto descontinuado, uma vez que sua última atualizaçâo ocorreu em maio de 2011. É um cliente com funcionalidades básicas e que näo suporta vários recursos implementados nas versöes mais recentes do Apache Solr®.

O projeto Apache Solr-PHP extension, por sua vez, trata-se de uma biblioteca leve, rápida e dispöe de variados recursos que possibilitam a comunicaçâo entre aplicaçôes desenvolvidas em PHP e instâncias do servidor Apache Solr® por meio de uma API (Application Programming Interface) orientada a objetos.

Kumar (2013, p. 14, traduçâo nossa) foi enfático ao afirmar que "Solarium é a mais recente biblioteca para integraçâo Solr®/PHP, além de ser atualizada continuamente.". Observa-se que a afirmaçâo acima continua válida atualmente, uma vez que nao foi possível identificar nenhum projeto mais recente com a proposiçao de promover a integraçao entre aplicaçôes desenvolvidas em PHP e o Apache Solr®. Foi desenvolvida no paradigma de programaçao orientada a objetos e dispöe de recursos atualizados em consonância com o Apache Solr®. Sua flexibilidade é evidenciada ao permitir a adiçao de uma funcionalidade que se faça necessária à aplicaçao. Também permite parametrizaçao personalizada para atingir quase todas as tarefas, aliviando o usuário na lide com todos os complexos parámetros de consulta do Apache Solr®, além de dispor de uma vasta documentaçao.

Das alternativas apresentadas, optou-se pelo Solarium para promover o suporte ao desenvolvimento do prototipo utilizado nessa pesquisa. A escolha ocorreu em funçao da curva de aprendizado, da usabilidade, das funcionalidades disponíveis e das atualizaçôes do Solarium que procuram dar suporte a todos os novos recursos disponíveis no Apache Solr®.

4 Procedimentos metodológicos

Nesta seçao, serao abordados as técnicas e os métodos utilizados na realizaçao da pesquisa.

A pesquisa foi desenvolvida segundo os preceitos da Metodologia da Experimentaçao, que para Cervo, Bervian e Silva (2010, p. 39) "[...] é o conjunto de processos utilizados para verificar as hipóteses". Esclarecem, ainda, os autores que "[...] o principio geral no qual se fundamentam as técnicas da experimentaçao é o do determinismo, que se anuncia assim: nas mesmas circunstâncias, as mesmas causas produzem os mesmos efeitos". A aplicaçao dessa metodologia materializou-se por meio da realizaçao de experimentos realizados nos laboratorios da instituiçao, com o objetivo de verificar a regularidade, ou nao, dos resultados.

Inicialmente, foi construido um referencial teórico, por meio de uma pesquisa bibliográfica, a fim de situar o objeto da pesquisa em relaçao ao estado da arte. Severino (2007) ensina que a pesquisa bibliográfica é a realizada em registros de trabalhos anteriores, cujas contribuiçôes encontram-se disponibilizadas em relatórios impressos e/ou digitais, tais como: livros, artigos e teses, entre outras fontes bibliográficas.

No passo seguinte, foram realizadas as tarefas referentes à instalaçâo e à configuraçao customizada do SRI Apache Solr® em um servidor de aplicativos Java Apache Tomcat® 8. Salienta-se que a configuraçao do Solr® é realizada através de uma coleçao de arquivos do tipo XML, do inglês extensible Markup Language, que é uma linguagem de marcaçao recomendada pelo W3C5 e utilizada na criaçao de documentos com dados organizados, seguindo uma determinada hierarquia.

A fase posterior constou da recuperaçao dos dados armazenados na relaçao 'referencia'6 do banco de dados relacional MySQL do MORE através de um script em PHP que permitiu percorrer os registros e gerar arquivos tipo JSON (JavaScript Object Notation) com uma centena de documentos cada, para posterior indexaçao. Assim, cada registro da relaçao é transformado em um documento a ser indexado. Este documento consta de très campos: 'CHAVEREFERENCIA' (unique key), 'REFE' (campo de texto que contém uma referencia bibliográfica gerada) e 'TIPOTABELA' (identifica a relaçao que armazena os dados informados pelo usuário para a geraçao de uma referencia bibliográfica).

Salienta-se que, apesar do espaço ocupado em disco (ou em memória) pela tabela 'referencia' näo ultrapassar 4 GB, o tempo demandado para a resposta a uma busca é elevado, pelo fato do gerenciador de banco de dados percorrer todos os registros e compará-los com os termos da consulta, o que nao ocorre com o Apache Solr®, como pode ser observado na Figura 1, acima.

Nas consideraçôes de Severance (2012, p. 6, traduçao nossa), "As estruturas mais comuns que usamos na programaçao sao variáveis escalares, listas lineares, e pares de chave-valor.". JSON representa essas estruturas na serializaçao, natural e diretamente, reduzindo o consumo de recursos computacionais entre as estruturas em memória em aplicativos e o formato de serializaçao. Uma implementaçao JSON em JavaScript lhe dá uma vantagem distinta sobre outros formatos de serializaçao, como XML, quando se trabalha com aplicaçôes parcialmente escritas em JavaScript. Pode-se afirmar que o sucesso de JSON dá-se ao fato de que as estruturas de dados, por ele representadas, säo exatamente as mesmas estruturas de dados que as linguagens de programaçâo representam.

Utilizou-se o formato JSON pelos motivos acima e pela disponibilidade de funçôes nativas do PHP para manipular essas estruturas.

Na etapa seguinte, ocorreu a inserçâo dos documentos na base de dados do Apache Solr®, a fim de que o Apache Lucene® pudesse construir o índice invertido, adicionando-os e indexando-os para posterior utilizaçâo na recuperaçâo da informaçâo. Essa tarefa foi realizada com o apoio do software cURL, que provê uma biblioteca e uma ferramenta de linha de comando para transferencia de dados, com suporte a vários protocolos, inclusive o HTTP7, que foi o utilizado.

No quinto passo, foi desenvolvido o prototipo com a finalidade de agilizar o processo de busca e disponibilizaçâo do resultado ao interessado. Na construçâo do prototipo, foi utilizada a biblioteca Solarium, facilitando a comunicaçâo e a integraçâo entre o Apache Solr® e o prototipo. Vale salientar que, optando-se pela utilizaçâo desse novo mecanismo de recuperaçâo da informaçâo, as tarefas de indexaçâo de inserçâo de novos documentos, ou mesmo, atualizaçâo ou exclusäo, no índice invertido já estäo desenvolvidas, faltando apenas a integraçâo com o MORE.

Nas fases subsequentes, coletaram-se os dados, e fez-se uma análise ponderada, de modo que fique esclarecido de que forma os dados coletados contribuíram para o cumprimento do objetivo geral da pesquisa.

5 Resultados e discussöes

O processo de avaliaçâo ocorreu por meio da mediçâo do tempo de resposta às consultas realizadas, tanto através do sistema atual como através do prototipo que faz uso das funcionalidades do Apache Solr®. A credibilidade da mediçâo fundamenta-se no fato dessa ter sido implementada via código de programaçâo em ambos ambientes considerados, ou seja, armazena-se o instante imediatamente anterior ao inicio da tarefa e o instante imediatamente posterior ao cumprimento da tarefa. A partir disto, é obtida a diferença, e ela é apresentada juntamente com o conjunto de informaçôes recuperadas. Sendo assim, considerou-se a precisäo de milésimo de segundo suficiente para a pesquisa em andamento.

Nesse sentido, foram elaboradas e submetidas 30 consultas distintas, as quais foram repetidas, com a finalidade de verificar a efetividade do cache de consultas realizadas no Apache Solr®. O número de documentos armazenados em cache é definido através do arquivo de configuraçâo 'solrconfig.xml' para cada instância do Apache Solr®, impactando, diferentemente, em cada caso no consumo de recursos computacionais do servidor hospedeiro. No entanto, o que se verifica é que o espaço de memória utilizado nesta funcionalidade é relativamente pequeno. No caso em estudo, manteve-se a configuraçâo padräo de 512 consultas em caché, e considerando que cada consulta ocupa 5 KB de espaço, o impacto seria o ocasionado pelo consumo de 2,5 MB. Os dados colhidos encontram-se nas Tabelas 1 e 2, discutidas a seguir. Considerou-se a quantidade de 30 consultas o suficiente para que se tenha uma tendência de tempos de resposta, aliado à restriçâo de espaço para apresentaçâo dos resultados obtidos.

A recuperaçâo da informaçâo, no sistema atual, é feita através de consulta SQL à base de dados MySQL, e a sequência de caracteres (palavras) informada pelo usuário é submetida através da restriçâo 'LIKE'8, o que significa a exigência de coincidência exata entre a sequência submetida e alguma outra idéntica que possa ser localizada no atributo 'REFE' da relaçâo 'referencia' da base de dados MySQL. O conjunto de resultados é ordenado de acordo com a sua posiçâo na relaçâo de origem, ou seja, nâo considera o grau de relevância.

A recuperaçâo da informaçâo, através do protótipo, utiliza-se das características suportadas e disponibilizadas pelo Apache Solr®, cuja mais evidente é a busca rápida em texto completo. Para organizar o conjunto de resultados segundo o grau de relevância, foi lançado mâo da funcionalidade 'edismax' na elaboraçâo da consulta, atribuindo peso9 6 aos termos encontrados no campo 'CHAVEREFERENCIA' e peso 1,5 aos termos encontrados no campo 'REFE'. Além de configurar a recuperaçâo apenas dos documentos que contenham, no mínimo, 50% dos termos informados.

No tocante à quantidade de documentos/registros recuperados, em ambos os casos foi estabelecido um limite de 100 ocorrências. Esse limite deve-se ao fato de que os resultados apresentados aos usuários sao paginados de 20 em 20 registros, totalizando cinco páginas; e que segundo iProspect (2006), em seu trabalho, afirma que mais de 90% dos usuários nao vao além da terceira página de resultados a busca de informaçôes por eles realizada.

Nos dados tabulados na Tabela 1, verifica-se que o tempo de resposta médio no sistema atual é de 17,450 segundos e que no protótipo é de 0,844 segundos, estabelecendo uma relaçâo de tempo entre ambos de, aproximadamente, 20 vezes, ou seja, o tempo de resposta do sistema atual é 20 vezes maior que o tempo de resposta do protótipo. O protótipo recuperou mais de 100 documentos para todas as consultas realizadas e as ordenou de acordo com o grau de relevância. O mesmo näo aconteceu com o sistema atual, retornando, em alguns casos, um conjunto vazio pelos motivos especificados na sequência.

Para a consulta cujos termos sâo 'Ivan Sommerville', observa-se que o sistema atual retornou um conjunto vazio em virtude das normas da ABNT determinarem que o sobrenome do autor deve anteceder o nome, nâo permitindo nenhuma ocorrência idéntica à consulta submetida. Para os outros dois autores, aconteceram algumas ocorréncias em virtude de constarem como tradutor ou como organizador, esta de maneira equivocada.

No caso de 'Web Service PHP', verifica-se que o real nome do livro é 'Web Service em PHP', situaçâo que retornaria um conjunto näo vazio.

Nos dados tabulados na Tabela 2, verifica-se que o tempo de resposta médio no sistema atual é de 16,739 segundos e que no protótipo é de 0,059 segundos, estabelecendo uma relaçâo de tempo entre ambos de, aproximadamente, 280 vezes; ou seja, o tempo de resposta, do sistema atual, é 280 vezes maior que o tempo de resposta do protótipo. Observa-se que a característica do Apache Solr®, e explorada pelo protótipo, de manter em cache o resultado das últimas consultas realizadas agiliza a recuperaçâo da informaçâo, melhorando o tempo de resposta. No presente caso, a parcela de tempo utilizada na repetiçâo da consulta foi de apenas 1/14 em relaçâo à primeira consulta, ou seja, o tempo de resposta na repetiçâo de uma consulta anterior é de apenas 1/14 do tempo de resposta da primeira consulta. No caso do sistema atual, que nâo se utiliza de cache de consultas realizadas, na repetiçâo da consulta, os tempos de resposta oscilaram em torno dos tempos observados na primeira consulta.

6 Consideraçoes finais

O aumento do volume de documentos gerados e armazenados a partir do pósguerra e ampliado com o advento da Web 2.0, aliado à necessidade diária de tomada de decisâo no ámbito organizacional, propiciaram o desenvolvimento da RI. Para dar suporte a esta rotina diária foram concebidos e sâo, constantemente atualizados, os SRI.

A sobrecarga informacional digital verificada na atualidade advém, nâo somente da produçâo de recursos informacionais originalmente digitais, como também de processos de digitaçâo e/ou digitalizaçâo de recursos produzidos em outras formas de armazenamento da informaçâo, como, por exemplo, o impresso em papel.

A importáncia destes sistemas no cotidiano organizacional contribuiu para o surgimento de várias soluçôes comerciais e alguns projetos open source. Dentre esses projetos open source destaca-se o Apache Solr®, que se utiliza do índice invertido viabilizado pelo Apache Lucene® e da coincidência parcial dos termos da consulta na recuperaçâo da informaçâo em bases textuais, o qual foi utilizado na construçâo do protótipo desenvolvido para servir aos propósitos desta pesquisa.

Da análise dos dados constantes das Tabelas 1 e 2 da Seçâo 5 deste documento, verifica-se que a utilizaçâo do servidor de recuperaçâo da informaçâo Apache Solr® impactou, positivamente, no tempo de resposta das consultas realizadas e foi ainda melhor na repetiçâo destas consultas, melhorando, significativamente, o tempo de resposta às consultas submetidas ao motor de busca do MORE.

Verifica-se que o modelo espaço vetorial, utilizado pelo Apache Solr® para atribuir um grau de relevância para cada documento recuperado, permite a recuperaçâo por coincidência parcial, e a ordenaçâo do conjunto ocorre segundo o grau de relevância. Assim sendo, mesmo que o usuário cometa algum equívoco na digitaçâo dos termos que compöem a consulta, o sistema calcula o grau de relevância em funçâo dos termos corretos, evitando frustraçôes indesejadas.

Da relaçâo de tempo de resposta na recuperaçâo da informaçâo entre o sistema atual e o protótipo proposto depreende-se, para o caso desta pesquisa, que a utilizaçâo de recursos de TIC que satisfazem o conceito de Enterprise Search impacta, positivamente, no processo de recuperaçâo da informaçâo contida na base de dados do MORE.

Das consideraçôes feitas ao longo deste trabalho e da análise dos dados coletados, foi possível verificar que a utilizaçâo de motores de busca, baseados no Apache Solr®, impacta, positivamente, no processo de recuperaçâo da informaçâo contida na base de dados do MORE.

Os resultados obtidos durante a pesquisa serviram de suporte à tomada de decisâo de integrar o protótipo ao sistema atual. Salienta-se, ainda, que o mesmo já se encontra em produçâo em http://more.ufsc.br.

Ao finalizar esse trabalho identifica-se a possibilidade de melhoria na usabilidade e na ergonomia do MORE por meio da implementaçâo da funcionalidade de autossugestâo viabilizada pelo Apache Solr®.

Footnote

1 Web 2.0 é o termo utilizado para referir-se à segunda geraçâo da World Wide Web (WWW) e às suas funcionalidades, tais como: interatividade, interoperabilidade e dinamicidade, entre outras. Possibilitou o surgimento dos ambientes colaborativos e interativos a exemplo das wikis, das redes sociais e dos blogs.

2 Considera-se que Enterprise Search é um aplicativo de pesquisa empresarial que permite encontrar todas as informaçôes que a empresa possui, sem a necessidade de saber onde estâo armazenadas (WHITE, 2013).

3 SOUZA, Renato Rocha. Sistemas de recuperaçâo de informaçôes e mecanismos de busca na web: panorama atual e tendencias. Perspectivas em Ciência da Informaçâo, Belo Horizonte, v.11, n.2, p.161-173, maio/ago. 2006.

4 O termo REST-like refere-se aos serviços que aderem à arquitetura REST, no entanto, nao satisfazem todos os seus principios.

5 O W3C (World Wide Web Consortium) é uma comunidade internacional, onde as organizaçôes associadas, uma equipe em tempo integral e o público interessado trabalham em conjunto para desenvolver padrôes web. A missâo do W3C é conduzir a Web ao seu potencial máximo. Disponível em: <https://www.w3.org/Consortium/>. Acesso em: 13 jun. 2016.

6 A relaçâo 'referencia' é a tabela da base de dados, cujo nome é 'referencia', onde säo armazenadas as referências bibliográficas após serem processadas. Os dados informados pelos usuários säo armazenados em outras tabelas, de acordo com a fonte bibliográfica.

7 HTTP (Hypertext Transfer Protocol) é um protocolo de comunicaçâo utilizado entre sistemas distribuidos de hipermídia, que possibilita a leitura näo linear através de enlaces que conduzem à apresentaçâo dos recursos informacionais a eles vinculados. Cita-se como exemplo desse tipo de sistema a World Wide Web.

8 A restriçâo 'LIKE' permite que uma consulta feita ao banco de dados retorne os registros que contenham exatamente a sequência de caracteres informada. Por exemplo: 'SELECT * FROM referencia WHERE REFE LIKE '%mecanismo%'', retornaria todos os registros da tabela 'referencia' cuja palavra 'mecanismo' fosse encontrada na coluna 'REFE'. O símbolo '%', neste caso, permite a ocorrência de outros caracteres antes e/ou depois da palavra 'mecanismo'.

9 O peso dos termos de busca, neste trabalho, foi atribuido empiricamente. A atribuiçâo de peso 6 aos termos encontrados no campo 'CHAVEREFERENCIA' baseia-se no fato de este ser um campo de chave única.

References

Referências

ALVES, Maria Bernadete Martins; MENDES, Leandro Luiz; ALVES, Joäo Bosco da Mota. MORE: Mecanismo On-line para Referências. In: SEMINÁRIO NACIONAL DE BIBLIOTECAS UNIVERSITARIAS, 14., 2006, Salvador. Anais... Salvador: UFBA, SIBI, 2006. p. 1-12. Disponível em: <http://xa.yimg.com/kq/groups/25169972/1250144979/name/4.ALVES,M.+B.+ M.pdf>. Acesso em: 12 mar. 2016.

ARAUJO, Vera Maria Araujo Pigozzi de. Sistemas de recuperaçâo da informaçâo: uma discussâo a partir de parámetros enunciativos. Transinformaçâo, Campinas, v. 2, n. 24, p. 137-143, 2012.

CARVALHO, Lidiane dos Santos; LUCAS, Elaine R. de Oliveira; GONÇALVES, Lucas Henrique. Organizaçâo da informaçâo para recuperaçâo em redes de produçâo e colaboraçâo na Web. Revista ACB: Biblioteconomia em Santa Catarina, Florianópolis, v. 15, n. 1, p. 71-86, jun. 2010.

CERVO, Amado Luiz; BERVIAN, Pedro Alcino; SILVA, Roberto da. Metodologia científica. 6. ed. Sâo Paulo: Pearson, 2010.

FACHIN, Gleisy Regina Bories. Recuperaçâo inteligente da informaçâo e ontologias: um levantamento na área da Ciência da Informaçâo. Biblos: revista do Instituto de Ciências Humanas e da Informaçâo, Rio Grande, v.23, n.1, p. 259-283, 2009.

GHORAB, M. Rami et al. Personalised information retrieval: survey and classification. User Modeling and User-Adapted Interaction, Dordrecht, v. 23, n. 4, p. 381-443, May 2012.

GRAINGER, Trey; POTTER, Timothy. Solr in action. Shelter Island: Manning, 2014.

IPROSPECT. iProspetc search engine user behavior study. [S.l.], 2006. Disponível em: <http://district4.extension.ifas.ufl.edu/Tech/TechPubs/WhitePaper 2006 Search EngineUserBehavior.pdf>. Acesso em: 15 nov. 2015.

KUMAR, Jayant. Apache Solr PHP integration. Birmingham: Packt, 2013.

LOPES, Ilza Leite. Estratégia de busca na recuperaçâo da informaçâo: revisâo da literatura. Ciência da Informaçâo, Brasilia, DF, v. 31, n. 2, p. 60-71, ago. 2002.

MANNING, Christopher D.; RAGHAVAN, Prabhakar; SCHUTZE, Hinrich. An introduction to information retrieval. Draft: Cambridge University Press, 2009. Disponível em: <http://www-nlp.stanford.edu/IR-book/>. Acesso em: 22 dez. 2014.

MARTINS, Elaine Cristina Domingues; CARVALHO, Tatiana. Recuperaçâo da informaçâo em psicologia: LILACS e Index Psi Revistas Técnico-Científicas. Perspectivas em Ciencia da Informaçâo, Belo Horizonte, v. 19, n. 2, p.118-130, jun. 2014.

OKADA, Susana Yuri; ORTEGA, Cristina Dotta. Análise da recuperaçâo da informaçâo em catálogo online de biblioteca universitária. Informaçâo & Informaçâo, Londrina, v. 14, n. 1, p.18-35, ago. 2009.

OLIVEIRA, Dalgiza Andrade; ARAUJO, Ronaldo Ferreira de. Construçâo de linguagens documentárias em sistemas de recuperaçâo da informaçâo: a importância da garantia do usuário. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informaçâo, Florianópolis, v. 17, n. 34, p.17-30, ago. 2012.

PELTONEN, Jaakko; LIN, Ziyuan. Information retrieval approach to metavisualization. Machine Learning, Boston, v. 99, n. 2, p. 189-229, Oct. 2014.

PONTES JUNIOR, Joäo de; CARVALHO, Rodrigo Aquino de; AZEVEDO, Alexander William. Da recuperaçâo da informaçâo à recuperaçâo do conhecimento: reflexöes e propostas. Perspectivas em Ciência da Informaçâo, Belo Horizonte, v. 18, n. 4, p.2-17, dez. 2013.

RAMOS, Clériston; MUNHOZ, Deise Parula. A subjetividade da relevância na recuperaçâo da informaçâo: análise a partir de imagens representativas. Biblos: revista do Instituto de Ciências Humanas e da Informaçâo, Rio Grande, v. 25, n. 1, p.69-79, jun. 2011.

RIBEIRO, Fernanda. O uso da classificaçâo nos arquivos como instrumento de organizaçâo, representaçâo e recuperaçâo da informaçâo. In: CONGRESSO ISKO ESPANHA E PORTUGAL, 1., 2013, Porto. Informaçâo e/ou conhecimento: as duas faces de Jano. Porto: Cetac Media, 2013. p. 528-539.

RODRIGUES, Bruno César; CRIPPA, Giulia. A recuperaçâo da informaçâo e o conceito de informaçâo: o que é relevante em mediaçâo cultural? Perspectivas em Ciência da Informaçâo, Belo Horizonte, v. 16, n. 1, p. 45-64, 2011.

SERAFINI, Alfredo. Apache Solr beginner's guide. Birmingham: Packt, 2013.

SEVERANCE, Charles. Discovering javascript object notation. Computer, Long Beach, v. 45, n. 4, p. 6-8, Apr. 2012.

SEVERINO, Antônio Joaquim. Metodología do trabalho científico. 23. ed. Säo Paulo: Cortez, 2007.

STREHL, Leticia. As folksonomias entre os conceitos e os pontos de acesso: as funçôes de descritores, citaçôes e marcadores nos sistemas de recuperaçâo da informaçâo. Perspectivas em Ciência da Informaçâo, Belo Horizonte, v. 16, n. 2, p. 101-114, 2011.

TEIXEIRA, Cenidalva Miranda de Sousa; SCHIEL, Ulrich. A internet e seu impacto nos processos de recuperaçâo da informaçâo. Ciência da Informaçâo, Brasilia, v. 26, n. 1, p. 9-20, 1997.

TEIXEIRA, Fábio Augusto Guimaräes. A recuperaçâo da informaçâo e a colaboraçâo de usuários na Web. 2010. 160 f. Dissertaçâo (Mestrado)-Faculdade de Ciência da Informaçâo, Universidade de Brasilia, Brasilia, 2010.

TEIXEIRA, Robson da Silva. Serviço de recuperaçâo da informaçâo na biblioteca de um laboratorio farmacéutico: um estudo prático. Revista Digital de Biblioteconomia e Ciência da Informaçâo, Campinas, v. 2, n. 2, p. 80-89, jun. 2005.

WEIKUM, Gerhard et al. Database and information- retrieval methods for knowledge discovery. Communications of the ACM, New York, v. 52, n. 4, p. 56-64, Apr. 2009.

WHITE, Martin. Enterprise search: enhancing business performance. Sebastopol: O'Reilly Media, 2013.

WU, Mingfang et al. Cost and benefit estimation of experts' mediation in an enterprise search. Journal of the Association for Information Science and Technology, New York, v. 65, n. 1, p.146-163, Oct. 2013.

XAVIER, Raphael Figueiredo. Análise de métodos de produçâo de interfaces visuais para recuperaçâo da informaçâo. 2009. 78 f. Dissertaçâo (Mestrado)-Faculdade de Filosofía e Ciências, Universidade Estadual Paulista, Marilia, 2009.