Avaliação de Usabilidade: Uma Revisão Sistemática da Literatura

Headnote

Resumo: O objetivo deste estudo é identificar, analisar e classificar os métodos descritos na literatura para a avaliaçao de usabilidade de produtos e serviços baseados em tecnologías de informaçào e comunicaçâo.

A metodología utilizada foi a revisäo sistemática da literatura, onde os estudos incluidos na análise foram classificados segundo os modelos (empírico ou analítico), os métodos (teste, inquérito, inspeçâo ou experiência controlada) e técnicas utilizadas. Na pesquisa foram incluidos 2116 estudos, dos quais 1308 foram classificados. O método inquérito foi o método mais frequente nesta revisäo, seguido dos métodos teste e inspeçâo e, por fim, do método baseado em experiências controladas. A combinaçâo de métodos é relativamente frequente, especialmente a combinaçâo dos métodos teste e inquérito, provavelmente porque a utilizaçâo dos dois permite recolher informaçào quantitativa e qualitative contribuindo para uma avaliaçâo mais completa.

Palavras-chave: Avaliaçâo de Usabilidade; Teste de Usabilidade; Revisäo Sistemática.

Abstract: The aim of this study is to identify, analyze and classify the methods described in the literature for the evaluation of the usability of products and services based on information and communication technologies.

The methodology used was a systematic review of the literature. The studies included in the analysis were classified according to the models (empirical or analytical), methods (test, inquiry, inspection or controlled experiment) and techniques used. A total of 2116 studies were included in the survey, of which 1308 were classified. The inquiry method was the most frequent in this review, followed by the test method, the inspection method and, finally, the controlled experiment method. A combination of methods is relatively common, especially the combination of test and inquiry methods, probably because the use of the two allows to collect quantitative and qualitative information contributing to a more complete assessment.

Key-words: Usability Evaluation; Usability Testing; Systematic Review,

l. Introduçao

Assiste-se, atualmente, a uma enorme disseminaçâo das tecnologías digitals com o objetivo de toraarem a nossa vida mais fácil e funcional (Best & Smyth, 2011).

Ao fenómeno global de disseminaçâo tecnológica está associada uma crescente importância da facilidade de utilizaçào das tecnologías disponíveis e dos serviços que elas suportam. A aceitaçào de serviços e dispositivos tecnológicos depende de vários fatores tais como o design, os recursos financeiros disponíveis, o contexto dos utilizadores, as próprias funçôes disponibilizadas e o seu mapeamento com as capacidades e competências dos utilizadores fináis, ou seja o seu grau de usabilidade.

Desde que surgiu, na década de 80 do século passado, o termo usabilidade foi muitas vezes usado para se referir à capacidade de um produto ser fácilmente utilizado (Carrol, 2009). Tal coincide com a perspetiva de usabilidade como uma qualidade do software, ou seja atributos de software que incidem sobre o esforço necessário para a sua utilizaçào e sobre a avaliaçào individual de tal uso por um conjunto explícito ou implícito de utilizadores (ISO 9126-1, 2001).

Durante os anos 90 da década passada, o entendimento sobre usabilidade mudou de uma propriedade binária de tudo ou nada para uma propriedade continua que abrange diferentes extensöes de usabilidade. Esta passou a estar relacionada com o suporte aos utilizadores para atingirem um objetivo e näo apenas uma característica da gestäo da interaçào com o utilizador (Cockton, 2012). De acordo com a International Organization for Standardization (ISO), a usabilidade pode ser encarada como uma medida de como um produto pode ser usado por utilizadores específicos para alcançar objetivos específicos com eficácia, eficiência e satisfaçào, num contexto de utilizaçào específico (ISO 9241-11, 1998; Nielsen, 2003). A palavra usabilidade refere-se ainda aos métodos utilizados para melhorar a facilidade de utilizaçào durante o processo de desenvolvimento (Nielsen, 2003).

Dentro da Interaçào Humano-Computador (IHC), o conceito de usabilidade foi sendo reconstruido continuamente e tornou-se cada vez mais rico e problemático. A usabilidade integra, agora, qualidades como diversäo, bem-estar, eficácia coletiva, estética, criatividade, suporte para o desenvolvimento humano, entre outras. O entendimento atual da usabilidade é, portanto, diferente do dos primeiros passos da IHC na década de 80. Na mudança de século, a ascensäo dos serviços digitals (por exemplo, a web, o telemóvel ou a televisäo interativa) acrescentou novas preocupaçôes à IHC, dando origem a um outro conceito ainda mais significativo do que a usabilidade: a experiência do utilizador (Cockton, 2012).

A experiência do utilizador vai além da eficiência, qualidade das tarefas e satisfaçào do utilizador, pois considera os aspetos cognitivos, afetivos, sociais e físicos da interaçào. Nesta perspetiva, a experiência do utilizador contextualiza a usabilidade. Já näo se espera que a usabilidade estabeleça o seu valor de forma isolada, mas que seja um dos contributos complementares para um projeto de qualidade que näo se concentre apenas em características e atributos dos sistemas (Martins et al, 2011), nomeadamente se säo inerentemente utilizáveis ou näo, mas também no que acontece quando os sistemas säo utilizados. Tal permite contemplar aspetos como diversäo, bem-estar, eficácia, estética, criatividade e suporte para o desenvolvimento humano, entre outros (Cockton, 2012).

A melhoria da usabilidade apresenta diversos beneficios, nomeadamente (Bevan, 1998; Bevan, Claridge & Petrie, 2005):

* Aumento da eficácia e eficiência: um sistema adaptado ao modo como o utilizador age permite urna interaçâo mais eficaz e eficiente.

* Maior produtividade: um mecanismo de interaçâo utilizável permite que o utilizador se concentre na tarefa e näo na ferramenta, aumentando o seu desempenho em consequência da qualidade da interaçâo.

* Reduçâo de erros: se a gestäo da interaçâo evitar inconsistências e ambiguidades reduz a probabilidade de erros por parte do utilizador.

* Menor necessidade de formaçâo: um sistema com um bom nivel de usabilidade, projetado com base no utilizador final pode facilitar a curva de aprendizagem.

* Melhoria da aceitaçâo: os utilizadores estäo mais propensos a confiar num sistema bem projetado com acesso a funcionalidades que tornem a informaçâo fácil de encontrar e utilizar.

* Apoio a utilizadores com menos competências tecnológicas: a existência de sistemas complexos só acessíveis a utilizadores especializados e com elevadas aptidöes técnicas conduz ao incremento do fosso entre aqueles que têm mais competências tecnológicas e os que estäo menos preparados.

* Apoio a utilizadores com necessidades especiáis: se os sistemas tiverem um maior nivel de usabilidade contribuiräo para minorar o impacto dos fatores ambientáis e, consequentemente, aumentar o desempenho dos utilizadores com deficiências (Martins, et al, 2012). Neste particular, o conceito design for all enfatiza a necessidade de acesso a sistemas de informaçâo para a mais ampia gama possível de utilizadores, principalmente os idosos e pessoas com limitaçôes ao nivel das capacidades físicas e cognitivas.

Apesar de todas as vantagens acima descritas existem também desafios à usabilidade. Desenvolver sistemas com uma boa usabilidade exige mudanças culturáis, técnicas e compromissos estratégicos, tais como (Bevan, 1998):

* Cultural: todos os que participam no desenvolvimento de um sistema devem estar cientes dos problemas envolvidos e das atividades necessárias para um projeto centrado no utilizador para que sejam tomadas as melhores decisöes.

* Técnico: os processos de desenvolvimento e os procedimentos associados devem incluir métodos e atividades de avaliaçâo de usabilidade apropriados ás diferentes tipologías de projetos.

* Estratégico: uma boa usabilidade deve ser entendida por todas as partes interessadas como um objetivo essencial no desenvolvimento de qualquer sistema.

A importância da usabilidade tem sido abordada numa vasta lista de literatura académica, tutorials, estudos de caso e disseminaçâo de boas práticas (Best & Smyth, 2011). Consequentemente, as organizaçôes estäo cada vez mais conscientes para a questäo da usabilidade, mas a orientaçâo sobre como "fazer" usabilidade tende a estar focada na tecnología, centrando-se em abordagens específicas para a elaboraçâo ou avaliaçào de sistemas (Bevan & Curson, 1999). A grande maioria dos processos de desenvolvimento foca-se inteiramente nas especificaçôes técnicas e processuais. Esta é uma das principáis razöes pela quai os sistemas säo parcialmente utilizados, mal utilizados, näo utilizados de todo ou entäo näo conseguem ganhar ampia aceitaçâo (Bevan et al, 2005). Em consequência, säo necessárias metodologías que comportem processos cíclicos de análise, prototipagem, teste e refinamento das sucessivas propostas de mecanismos de interaçâo com os utilizadores (Ivory & Hearst, 2001; Rocha et al, 2013).

2. Avaliaçào de Usabilidade

Existem diferentes modelos de avaliaçào de usabilidade. Certos modelos utilizam dados dos utilizadores, enquanto outros contam com especialistas na área da usabilidade. De acordo com (Dix et al, 2004) os modelos de avaliaçào de usabilidade que se baseiam em dados de utilizadores reais säo designados por modelos empíricos, enquanto os modelos que se baseiam na análise de um sistema ou produto por especialistas na área da usabilidade säo conhecidos por modelos analíticos.

Associados a cada um destes modelos existem vários métodos de avaliaçào de usabilidade para todas as fases de conceçào e desenvolvimento, desde a definiçào inicial até às alteraçôes fináis do produto ou serviço (Hanington & Martin, 2012).

Os quatro principáis métodos de avaliaçào de usabilidade säo: teste, inquérito, experiência controlada e inspeçâo. Os très primeiros säo normalmente utilizados nos modelos empíricos e baseiam-se em dados recolhidos dos utilizadores. O quarto está relacionado com os modelos analíticos e baseia-se na inspeçâo feita por especialistas.

O método teste envolve a observaçâo dos utilizadores enquanto eles realizam tarefas com um determinado produto ou serviço (Nielsen, 1993) e consiste na recolha de dados maioritariamente quantitativos e na procura de evidência empírica sobre como melhorar a usabilidade de mecanismos de interaçâo (Hanington & Martin, 2012).

Tais métricas podem estar relacionadas com questöes simples como, por exemplo, se uma determinada tarefa pode ser concluida com sucesso, ou com questöes relativamente complexas como, por exemplo, o grau de satisfaçâo dos utilizadores fináis pelo que, naturalmente, säo muito variáveis e dependem do ámbito e objetivos do sistema em concreto que se pretende avaliar. Assim, testar a usabilidade envolve, geralmente, a observaçâo sistemática para determinar o quäo bem os utilizadores conseguem realizar as tarefas propostas. O método teste incluí várias técnicas de avaliaçào de usabilidade, nomeadamente prototipagem rápida, avaliaçào de desempenho, observaçâo, hallway testing, rapid iterative testing and evaluation, think-aloud, Wizard of Oz, remote usability test ou co-discovery.

O método inquérito envolve a recolha de dados qualitatives dos utilizadores. Embora os dados recolhidos sejam subjetivos, eles fornecem informaçôes valiosas sobre o que o utilizador deseja. Para a recolha de dados existem várias técnicas que podem ser consideradas, nomeadamente focus group, entrevistas, questionários ou diary studies.

O método experiência controlada pressupöe a aplicaçâo do método científico para testar urna hipótese com utilizadores reais através do controlo de variáveis e utilizando urna amostra de dimensäo suficiente para se determinar significância estatística. Devido à sua natureza controlada este é o método menos afetado por enviesamento, mas também o mais difícil de implementar devido ao número de participantes e questöes logísticas associadas ao controlo de variáveis (Rubin & Chisnell, 2008).

O método inspeçào envolve a participaçào de peritos para avaliar os diferentes aspetos da interaçào do utilizador com um dado sistema. O método inspeçào pode incluir técnicas como a avaliaçào heurística, a cognitive walkthrough, a inspeçào de consistência, a inspeçào pluralista ou a análise de tarefas.

3. Revisäo Sistemática da Literatura

A revisäo sistemática da literatura sobre a avaliaçào de usabilidade realizada incidiu sobre os artigos publicados desde 1 janeiro de 2010 a 31 de dezembro de 2012. Para cada referencia incluida na revisäo classificaram-se o(s) modelo(s), método(s) e técnica(s) utilizados para a avaliaçào, sempre que os resumos dos artigos permitiram tal classificaçào.

Para a realizaçào deste estudo formulou-se a seguinte questäo de investigaçào: Quais säo os modelos, métodos e técnicas que estào a ser utilizados na avaliaçào de usabilidade de produtos e serviços baseados em tecnologías de informaçâo e comunicaçào?

A metodología utilizada para a realizaçào desta revisäo sistemática encontra-se detalhada ñas subsecçôes seguintes.

A. Recolha de Dados

A expressäo utilizada para a pesquisa foi a seguinte: "usability evaluation" or "usability test" or "usability testing" or "user centered". Para limitar o número de referências, a pesquisa foi realizada no topic. O topic incluí pesquisa no título, resumo, palavras-chave do estudo e palavras-chave do autor. As referências incluidas nesta revisäo foram recolhidas da Web of Science, pois esta base de dados indexa mais de 12.000 revistas de impacto em todo o mundo, incluindo revistas como as da Association for Computing Machinery (ACM) Digital Library ou as do Institute of Electrical and Electronics Engineers (IEEE). A pesquisa foi realizada no dia 6 de Janeiro de 2013.

?. Seleçâo dos Estudos

Da pesquisa na Web of Science resultaram 2116 referências, das quais 808 foram excluidas: 69 por estarem em duplicado, 171 por näo terem resumo e 568 por saírem fora do ámbito de investigaçào (Figura 1). Neste último grupo incluíram-se todos os estudos que utilizam o termo usabilidade com um significado diferente daquele que é utilizado neste artigo. Alguns estudos mencionam usabilidade como sendo "utilizável" (por exemplo, a usabilidade da água). No total, 1308 referências foram objeto de uma análise mais detalhada.

Todos os estudos objeto desta análise mais detalhada obedeceram ao seguinte critério de inclusäo: fazer referência a uma avaliaçào de usabilidade de um produto ou serviço baseado em tecnologías de informaçào e comunicaçào.

A maior parte dos artigos que satisfazem o critério de inclusäo contêm informaçào suficiente para identificar os modelos, métodos e técnicas utilizados. Outros, porém, apenas contêm informaçào parcelar como os que apenas indicam que a avaliaçào realizada envolveu utilizadores, o que apenas permite identificar o tipo de modelo, neste caso empírico. Todos estes estudos foram incluidos numa categoría designada por avalia - com informaçào.

Adicionalmente, foram consideradas as seguintes categorías:

* Avalia - sem informaçào - para os casos em que o critério de inclusäo é satisfeito mas que näo há qualquer informaçào sobre os modelos, os métodos e as técnicas utilizados para a avaliaçào de usabilidade.

* Sem informaçào sobre a avaliaçào - categoría que é utilizada nos casos em que é referida uma avaliaçào, mas que nào é explícito se essa avaliaçào é efetivamente uma avaliaçào de usabilidade.

* Nào avalia - esta categoría é utilizada quando os autores referem claramente que a usabilidade nào foi avallada como, por exemplo, quando indicam que esta será realizada em trabalhos futuros ou quando se tratam de estudos de base conceptual, nomeadamente artigos de revisäo (Freire, Arezes & Campos, 2012; Yamaoka & Tukuda, 2011).

* Ferramentas - para classificar os estudos que näo avaliam usabilidade mas que apresentam ferramentas ou linhas orientadoras para avaliaçâo ou melhoria da usabilidade (Elling, Lentz & de Jong, 2012; Weinhold, Oettl & Bekavac, 2012).

O diagrama da Figura 2 ilustra o processo de classificaçâo dos estudos incluidos na revisäo.

Para a realizaçâo desta classificaçâo criou-se urna base de dados com todas as informaçôes necessárias para responder às questöes de investigaçào e possibilitar a análise dos dados. Nesta base de dados incluiu-se para cada estudo o ano de publicaçào, autores, título da publicaçào, modelo(s), método(s) e técnica(s) utilizados na avaliaçâo. A análise dos dados foi realizada utilizando as ferramentas estatisticas do Microsoft Excel 2013.

4. Resultados

Nesta secçào sao apresentados os resultados referentes aos estudos incluidos para análise detalhada, ou seja 1308 estudos. Destes, a maioria (621) têm a indicaçào dos modelos, métodos e técnicas utilizados para a avaliaçâo de usabilidade, 236 forain classificados como Avalia - sem informaçâo, 265 referem a realizaçâo de uma avaliaçâo (no entanto näo apresentam informaçâo sobre a avaliaçào de usabilidade), 52 näo avaliam usabilidade e 134 säo ferramentas ou linhas orientadoras para a avaliaçào de usabilidade. O gráfico da Figura 3 ilustra a distribuiçâo por categorías.

Dos 621 estudos que contêm indicaçào dos modelos, métodos e técnicas, vários utilizam mais do que um modelo, o que justifica os seguintes valores: 591 estudos envolveram avaliaçôes com utilizadores (modelo empírico) e 67 realizaram avaliaçôes envolvendo apenas especialistas.

Adicionalmente, dos estudos empíricos analisados 211 utilizaram o método teste, 278 utilizaram o método inquérito e 3 utilizaram o método experiência controlada. Relativamente ao método teste, a técnica que apareceu mais frequentemente foi a avaliaçào de desempenho com 122 estudos. A técnica observaçào foi utilizada em 47 estudos, seguido da técnica think-aloud, com 38 estudos. Quer a técnica simulaçào quer a técnica prototipagem rápida foram referidas em 9 estudos. O gráfico da Figura 4 apresenta a distribuiçâo de estudos classificados de acordo com as técnicas de teste.

A técnica que recorre ao preenchimento de questionários foi a mais frequente do método inquérito com 194 estudos, seguindo-se a técnica entrevista com 77 estudos. A técnica focus group foi referida em 30 estudos e a técnica menos mencionada foi a diary study (2 estudos). O gráfico da Figura 5 apresenta a distribuiçâo de estudos classificados de acordo com as técnicas de inquérito.

No que diz respeito aos estudos que realizaram avaliaçào envolvendo especialistas (analíticos), o método inspeçâo foi utilizado em 60 estudos. Nestes, a técnica avaliaçào heurística foi a mais utilizada (53 artigos), seguido das técnicas cognitive walkthrough e análise de tarefas com 9 e 4 estudos, respetivamente (ver o gráfico da Figura 6).

Nesta revisäo sistemática da literatura verificou-se que vários estudos recorreram à combinaçào de vários métodos. Dos 211 estudos que utilizaram o método teste, 102 também utilizaram o método inquérito e 19 utilizaram o método inspeçào.

Dos 278 estudos que utilizaram o método inquérito, 6 recorreram também ao método inspeçâo. Além disso, 9 estudos utilizaram, em simultáneo, très métodos de avaliaçào (teste, inquérito e inspeçâo).

5. Discussäo

Esta revisào sistemática permitiu a construçào de uma visào global sobre os modelos, métodos e técnicas de avaliaçào de usabilidade que têm sido utilizados nos últimos très anos, através da utilizaçào de uma metodología sistemática.

Todos os métodos de avaliaçào apresentados ñas secçôes introdutórias deste artigo (teste, inquérito, inspeçâo e experiência controlada) foram identificados nos estudos incluidos na revisào sistemática. Tal como referido na literatura, também esta revisào revelou que o modelo empírico (que comporta os métodos teste, inquérito e experiência controlada) é o mais frequentemente utilizado, o que parece indicar um reconhecimento do papel dos utilizadores enquanto fonte de conhecimento para a avaliaçào de usabilidade. O reduzido número de estudos identificados nesta revisào sistemática que utilizaram experiências controladas, poderá dever-se ao facto do método experiência controlada requerer um elevado número de recursos, quer em termos logísticos, quer em termos do tamanho da amostra.

No ámbito do método teste, a técnica mais utilizada, com uma grande diferença em relaçào às restantes, foi a avaliaçào de desempenho. Trata-se de uma técnica de avaliaçào de usabilidade centrada no utilizador e nas tarefas que este executa e envolve a recolha de dados quantitativos. A avaliaçào de desempenho do utilizador é realizada através do registo de elementos relacionados com a execuçào de determinada tarefa, nomeadamente duraçào, sucesso ou número de erros. Por outro lado, no ámbito do método inquérito, a técnica mais frequentemente utilizada, e novamente com uma grande diferença em relaçâo às restantes, é o questionário. Os questionários säo instrumentos para recolha de informaçâo qualitativa e auto-reportada sobre as características, pensamentos, sentimentos, perceçôes, comportamentos ou atitudes dos utilizadores, normalmente de forma escrita.

Algumas técnicas, no entanto, näo foram identificadas em qualquer um dos estudos, provavelmente porque o número de estudos näo foi suficientemente extenso para abranger todas as técnicas ou porque estas säo pouco utilizadas como, por exemplo, a técnica co-discovery. Se a pesquisa tivesse incidido no estudo completo, ao invés de apenas no topic, o número de referências potencialmente relevantes para a análise seria muito maior, e provavelmente incluiría todas as técnicas disponíveis. Efetivamente, um estudo pode mencionar urna avaliaçâo de usabilidade, mas se esta näo tiver sido um dos objetivos principáis do trabalho, pode näo ter sido mencionada no topic e, consequentemente, näo pode ser alvo da análise efetuada.

A avaliaçâo de usabilidade é uma tarefa complexa e a utilizaçâo de apenas um método pode näo ser suficientemente abrangente e completa para avaliar de forma profunda todas as questöes pertinentes associadas a um determinado produto ou serviço. Um grande número de estudos realizou avaliaçôes de usabilidade recorrendo à combinaçâo de diferentes métodos.

A combinaçâo de métodos permite uma avaliaçâo abrangente das várias características de um produto ou serviço. A combinaçâo de métodos mais frequente nesta revisäo foi a combinaçâo dos métodos teste e inquérito, nomeadamente ñas técnicas avaliaçâo de desempenho e questionários. Uma possivel explicaçâo corresponde ao facto do método teste ser mais objetivo, resultando normalmente em dados quantitativos (como é o caso da avaliaçâo de desempenho) e o método inquérito que tem um carácter mais subjetivo, resultando normalmente em dados qualitatives (como é o caso dos questionários). Neste sentido, estes métodos complementam-se e resultam numa avaliaçâo mais abrangente e holística. (Hanington & Martin, 2012) sugerem que a combinaçâo de vários métodos para avaliaçâo de usabilidade acontece porque estes estäo especificados de modo muito incompleto para poderem ser aplicados de forma consistente. Por essa razäo, pode esperar-se que a avaliaçâo de usabilidade envolva uma combinaçâo de vários métodos (Hanington & Martin, 2012).

Outro aspeto a salientar é que um grande número de estudos (236) referem ter feito uma avaliaçâo de usabilidade. No entanto, näo fazem referencia ao modo como a operacionalizaram, o que parece indicar que alguns autores näo reconhecem a importâneia de descrever a metodología utilizada na avaliaçâo de usabilidade.

Verificou-se também que em muitos estudos o termo usabilidade foi empregue de modo inconsistente, referindo-se a um produto ou serviço ser "utilizável" e näo com o significado que foi considerado neste artigo. Esta inconsistência ao nivel da nomenclatura é um indicador de que seria necessária uma normalizaçâo de terminologías.

Apesar disso, e tendo em conta que a maioria dos estudos indicam os modelos, métodos e técnicas utilizados para a avaliaçâo de usabilidade (621), verifica-se que se trata de uma área de importâneia reconhecida pelos profissionais. O elevado número de estudos classificados como ferramentas assim o demonstra, sendo percetível uma preocupaçâo em desenvolver e criar instrumentos que facilitam a avaliaçào de usabilidade.

Agradecimentos

Este estudo foi parcialmente suportado pelo projeto N° 13852 I&D "AAI4ALL - Ambient Assisted Living for All", financiado pelo Programa Operacional Fatores de Competitividade (COMPETE) e pela Uniäo Europeia (Fundo Europeu de Desenvolvimento Regional - FEDER) no Quadro de Referência Estratégica Nacional (QREN).

References

Referências

Best, M. L. & Smyth, Τ. Ν. (20ii). Global/Local Usability: Locally Contextualized Usability in the Global South. In Douglas, I. & Liu, Z. (Ed.), Global Usability. London: Springer-Verlag.

Bevan, N. (1998). European Usability Support Centres: Support for a More Usable Information Society. In Proceedings of TAP Annual Concertation Meeting. Barcelona.

Bevan, N., Claridge, N. & Petrie, H. (2005). Tenuta: Simplified Guidance for Usability and Accessibility. In Proceedings of HCl International. Las Vegas.

Bevan, N. & Curson, I. (1999). Planning and Implementing User-Centred Design. In CHI'99 Extended Abstracts on Human Factors in Computing Systems, 137-138. Pittsburgh.

Carrol, J. M. (2009). Human Computer Interaction (HCl). In Soegaard, M. & Friis, R. (Ed.), Encyclopedia of Human-Computer Interaction. Aarhus: The Interaction Design Foundation.

Cockton, G. (2012). Usability Evaluation. In Soegaard, M. & Friis, R. (Ed.), Encyclopedia of Human-Computer Interaction. Aarhus: The Interaction Design Foundation.

Dix, ?., Finlay, J., Abowd, G. & Beale, R. (2004). Human Computer Interaction. Upper Saddle River: Prentice Hall.

Elling, S., Lentz, L. & de Jong, M. (2012). Combining Concurrent Think-Aloud Protocols and Eye-Tracking Observations: An Analysis of Verbalizations and Silences. IEEE Transactions on Professional Communication, 55 (3), 206-220.

Freire, L. L., Arezes, P. M. & Campos, J. C. (2012). A Literature Review about Usability Evaluation Methods for e-learning Platforms. Work: A Journal of Prevention Assessment & Rehabilitation, 41,1038-1044.

Hanington, ?. & Martin, ?. (2012). Universal Methods of Design: 100 Ways to Research Complex Problems, Develop Innovative Ideas, and Design Effective Solutions. Beverly, MA: Rockport Publishers.

ISO 9241-11 (1998). Ergonomie Requirements for Office Work with Visual Display Terminals (VDTs) - Part 11: Guidance on Usability. Geneva: International Organization for Standardization.

ISO 9126-1 (2001). Information Technology - Software Product Quality - Part 1: Quality Model. Geneva: International Organization for Standardization.

Ivory, M. & Hearst, M. (2001). The State of the Art in Automating Usability Evaluation of User Interfaces. Journal ACM Computing Surveys, 33 (4), 470-516.

Martins, ?., Queirós, ?., Cerqueira, M., Alvarelhäo J., Teixeira, ?. & Rocha, Ν. (20?ι). Assessment of Ambient Assisted Living Services in a Living Lab Approach: a Methodology based on ICF. In 2nd International Living Usability Lab Workshop on AAL Latest Solutions, Trends and Applications -AAL 2012. Algarve.

Martins, ?., Queirós, ?., Cerqueira, Μ., Rocha, Ν., Teixeira, ?. (2012) The International Classification of Functioning, Disability and Health as a Conceptual Model for the Evaluation of Environmental Factors. Procedía Computer Science (14) 293-300.

Nielsen, J. (1993). Usability Engeneering. Boston, Academic Press.

Nielsen, J. (2003). Usability 101: Introduction to Usability. Retrieved 20 June 2012, from http://useit.c0m/alertb0x/20030825.html

Rocha, Ν., Teixeira, ?., Pacheco, O., Queirós, ?., Oliveira, C., Pereira, C. & Martins, A. (2013). Desenvolvimento e Avaliaçâo Integrada de Seviços AAL Inovadores - Urna Abordagem Living Lab. In CISTI'2013 - 8a Conferência Ibérica de Sistemas e Técnologias de Informaçâo. Lisboa

Rubin, J. & Chisnell, D. (2008). Handbook of Usability Testing: How to Plan, Design, and Conduct Effective Tests. Indianopolis: John Wiley & Sons.

Weinhold, T., Oettl, S. & Bekavac, ?. (2012). Heuristics for the Evaluation of Library Online Catalogues. In Katsirikou, A. & Skiadas, C. (Eds.), New Trends in Qualitative and Quantitative Methods in Libraries, 425-433. Chania: World Scientific Publishing Co.

Yamaoka, T. & Tukuda, S. (2011). A Proposal of Simple Usability Evaluation Method and its Application. In Wang, A. (Ed.), Ergonomics for All: Celebrating PPCOE's 20 years of Excellence, Vol. 11, 63-66. Taiwan: CRC Press.