Arquivo 2020

Subiu, e agora? Como medir o sucesso e a performance do Design

Fernanda Magalhães
Product Designer no Zé Delivery
Preta, periférica, feminista

Carioca, 28 anos, jornalista formada pela UFRRJ e product designer, trabalhou com comunicação por alguns anos até realmente encontrar a verdadeira paixão: desenhar experiências que impactam positivamente a vida das pessoas. Atua na área de produto digitais há 4 anos e já fez parte de projetos com o Spotify, na Colômbia, e com a Hawaya, no Egito e agora com o Zé Delivery, no Brasil.

Fernanda Magalhães
Escute este artigo

Se observarmos nosso comportamento como seres humanos, veremos que, para aprendermos e evoluirmos, buscamos medir o que está acontecendo ao nosso redor. Seja quando estamos nos sentindo indispostos e medimos nossa temperatura ou quando vamos à escola e fazemos uma prova, medir para entender o que está acontecendo é uma forma de evoluirmos o que temos, tomando decisões baseadas em “métricas” ao longo do caminho. Fazemos isso estabelecendo um padrão de comparação para essas medidas e dando significado a elas.

No universo da disciplina que estuda a experiência do usuário e a performance de um produto não seria diferente. Como podemos entender se as decisões que tomamos como designers estão fazendo sentido, performando bem ou até mesmo atingindo as expectativas? O primeiro passo para isso seria definir quais são essas expectativas. Afinal, só “passamos de ano” no colégio se tirarmos notas dentro ou acima de uma média pré estabelecida. Para chamarmos um Design de bem sucedido, precisamos também de uma média pré estabelecida. 

Ao acompanhar as métricas destinadas a analisar Design e UX para avaliar sua performance e seu sucesso, podemos quantificar o progresso que fazemos e ajustá-lo, sempre com o pensamento de melhorar a experiência do usuário. Essas métricas também podem ser vistas como uma série de pontos de dados que você pode usar para traquear, comparar e mensurar uma performance. 

Com o crescimento da relevância da análise de dados como uma forma mais confiável de tomar decisões a partir da observação de métricas e padrões, ser um Designer adaptado à mentalidade data-driven pode fazer uma enorme diferença nas entregas do dia a dia. Validar as decisões de maneira objetiva e com números, mas também sendo um tradutor da complexidade encontrada nas descobertas do negócio, é cada vez mais necessário. 

Métricas de Design

Para exemplificar, a seguir estão listadas algumas métricas que podem auxiliar nesse mapeamento da experiência de um usuário. Porém, é de suma importância não analisar as métricas por si só e sim trazê-las para um contexto onde elas signifiquem para o que está sendo trabalhado e não sejam avaliadas de forma isolada. Algumas delas são:

  • Taxa de conversão - essa taxa é comumente calculada como o número de pessoas que completam uma ação sobre o número de pessoas que são expostas à essa ação. Um exemplo comum é o de uma landing page que recebe 10 usuários, mas apenas 5 usuários realizam a ação que está sendo pedida na página, como compartilhar um email. Nesse caso, podemos considerar que a taxa de conversão é de 50%. É muito importante sempre definir qual ação que será considerada a “conversão” do usuário, assim como o período de tempo ao qual essa taxa se refere quando for extraída para análise. 
  • NPS (Net promoter Score) - esse é um método de classificação que mede uma experiência como um todo, mas pode ser usado também para uma funcionalidade específica. O usuário classifica sua satisfação de 1 a 10 quando perguntado se recomendaria aquele produto ou serviço. Classificamos assim se o usuário é um detrator (0-6), um passivo (7-8) ou um promotor (9-10). Essa análise pode ser usada apenas por seu lado quantitativo, que é a avaliação numérica dada, assim pelo lado qualitativo, quando acompanhada de uma pequena descrição da nota escrita pelo usuário.
  • Taxa de sucesso da tarefa - um pouco diferente da taxa de conversão, a taxa de sucesso da tarefa mede de maneira mais próxima quantos dos usuários conseguem realizar uma tarefa dentro de um produto ou serviço. Enquanto a taxa de conversão mede apenas as ações feitas sobre o número de pessoas que a visualizam, a taxa de sucesso da tarefa procura medir o número de tarefas concluídas com sucesso sobre o número total de tentativas feitas por usuários. Isso pode nos ajudar a entender que um usuário que não realiza uma tarefa, não necessariamente tentou realizá-la e não conseguiu. 
  • Tempo gasto em uma tarefa - essa métrica mede quanto tempo o usuário despendeu para realizar uma ação ou tarefa. Muito importante que essa métrica não seja visualizada sozinha, sem o complemento da análise tanto da performance técnica do produto quanto do comportamento do usuário. O objetivo do usuário pode impactar significativamente o tempo gasto por ele em uma funcionalidade ou produto e, assim, mudar a forma como olhamos para essa métrica. Um usuário que passa 2 horas lendo artigos em uma plataforma de leitura pode ter um objetivo diferente de um usuário que quer realizar a compra de uma bebida gelada para consumo imediato.
  • ROI - já muito conhecida pelo marketing, essa métrica busca analisar os ganhos diretamente relacionados ao investimento em experiência e em design. É de extrema importância que, para se calcular os ganhos, sejam calculados os gastos (e até mesmo as perdas) dentro de um fluxo de experiência. Essa métrica traz o olhar financeiro sobre o que está sendo trabalhado com o usuário. Um exemplo do ROI aplicado é quando uma tarefa que tem baixa conversão sofre um aumento nessa taxa após uma modificação no produto, relacionada à hierarquia da informação. É possível calcular os gastos com desenvolvimento e com pesquisa, assim como os ganhos a curto, médio e longo prazo com o aumento de usuários na base para entender quando o investimento feito no processo do design dará um retorno lucrativo.

Modelos HEART e Metas-Sinais-Métricas 

Em uma ótica mais prática sobre a metrificação do design, é necessário estabelecer objetivos e correlacionar essas métricas para que juntas possam trazer insights mais valiosos e confiáveis. O HEART e o Metas-Sinais-Métricas são dois modelos criados pelo Google que podem auxiliar o designer a construir um sistema de análise do que seria mais importante dentro do recorte da experiência.

HEART representa as palavras Happiness (Felicidade), Engagement (Engajamento), Adoption (Adoção), Retention (Retenção) e Task Success (Sucesso da tarefa). O modelo de análise HEART é uma forma de classificar as métricas que serão analisadas. Cada categoria vai olhar para um recorte da experiência centrada no usuário. Analisando as métricas contidas em cada categoria, podemos associá-las a um resultado esperado e aprender como estamos performando como produto inteiro ou como funcionalidade específica, dependendo de como é aplicada.

  • Felicidade mede as atitudes do usuário, normalmente coletadas através de pesquisa (como CSAT, facilidade de uso percebida ou NPS).
  • Engajamento mede o nível de envolvimento do usuário com seu produto (como número de visitas por semana ou número de compartilhamentos).
  • Adoção mede como os usuários adotam ou começam a usar um produto ou funcionalidade (como upgrades para a última versão do produto ou novos usuários usando uma funcionalidade).
  • Retenção mede a frequência com a qual os usuários retornam ao produto (como taxa de churn ou taxa de retenção).
  • Sucesso da tarefa mede a eficácia, eficiência e taxa de erros (como resultados de buscas que dão certo ou número de usuários cadastrados com sucesso).

Para enriquecer a forma como olhamos para as categorias do HEART e as métricas relacionadas a cada uma, podemos adicionar o modelo Metas-Sinais-Métricas como base para definir à cada categoria, seu objetivo, o que esperar dela e suas respectivas métricas. As metas devem traduzir o objetivo do produto ou projeto e podem ser quebradas de acordo com a categoria que será avaliada. Esse objetivo nos ajuda a olhar para o que o usuário sente ou faz depois de usar o produto, assim como nos auxilia na validação do que entendemos como gerador de valor. Os sinais são pequenas indicações que vão ajudar a medir se a evolução de uma funcionalidade ou produto está na direção correta em relação à meta e também nos ajuda a mapear os comportamentos e atitudes do usuário que indicariam que o objetivo foi alcançado ou falhou. Já as métricas viriam para trazer vida à análise e traduzir os sinais em pontos de dados mensuráveis. As métricas são o ponto mais específico da construção e precisam, além de conseguir trazer a leitura de um comportamento, estarem associadas ao objetivo inicial para fazerem sentido. 


Construindo um modelo para medir a experiência do produto

Alguns pontos importantes sobre a estratégia de construção de ambos os frameworks. É relevante ressaltar que os sinais devem ser selecionados de acordo com o que se entende por sucesso de um produto ou funcionalidade e não pelo que estaria disponível para ser mapeado. Assim, é mais difícil enviesar e cair na tão famigerada métrica de vaidade. Para diminuir a complexidade de construir esse mapeamento completo, ao invés de começar pelo que já está disponível, o ideal é que se inicie medindo pelo menos 2 ou 3 categorias do HEART, de acordo com o que faz mais sentido com o objetivo do projeto ou produto, priorizando de acordo com o que é fundamental acompanhar. 

No momento de construir o HEART, é extremamente importante envolver todos os stakeholders da iniciativa - tecnologia, negócios, design e dados - para manter a diversidade no olhar sob a experiência do usuário e até mesmo construir um alinhamento sobre isso. Será que todos estão olhando na mesma direção no final do dia? Um exercício que ajuda muito é definir um objetivo geral da iniciativa ou projeto, seja de um time ou do produto como um todo - o que queremos que nossos usuários falem, sintam e destaquem do nosso produto - para assim quebrar em objetivos e sinais menores relacionados às categorias do HEART. Ainda que, no momento da construção, queiramos construir o HEART completo, é preciso priorizar. Priorizar é um exercício tão importante quanto o de definição de um objetivo. Entender e dar peso às coisas que são mais relevantes e significativas para o produto é um processo extremamente rico e se aplica também no momento de escolher quais categorias serão analisadas em um primeiro momento. 

Com o HEART construído, a palavra da vez é iterar. Iterar é até mais importante do que começar. Precisamos acompanhar o desempenho desse processo de metrificar a performance da experiência assim como precisamos metrificá-la. Se as métricas comunicam ao longo do tempo o que está funcionando mal, mas não vemos isso, não há como trazer um resultado eficaz. Para que se consiga tirar insights da aplicação desse modelo, assim como evoluir o produto de acordo com os resultados obtidos nas implementações, nos testes e nas variações de performance, o acompanhamento é fundamental. Essa dinâmica de medir e acompanhar é praticamente uma nova forma de pensar experiência, que vai além das pesquisas pré desenvolvimento e dos testes aplicados pós implementação, e exige tempo e comprometimento. Mas o resultado é completamente mensurável, basta começar e continuar a observá-lo.

Referências

How we used the HEART framework to set the right UX goals https://bit.ly/2GhsXWV

Measuring the User Experience on a Large Scale: User-Centered Metrics for Web Applications https://bit.ly/2DktzKi

How to Choose the Right UX Metrics for Your Product https://bit.ly/2GmgDVA

How to Use the Google HEART Framework to Measure and Improve Your App’s UX https://bit.ly/32RVoCm

Um framework para definir as métricas de UX do seu produto https://bit.ly/2EPWoPB

How to choose the right UX metrics for your product https://bit.ly/31P659C

UX Metrics - Ben Davison | UX-DAY KONFERENZ 2019 https://youtu.be/PU5i-Y1m1l4
Introduction to UX Metrics https://youtu.be/I1DsZfeEWIc

Deploy.me
Desenvolva sua carreira em UX Design, Produto e Dados com bootcamps imersivos, práticos e de curta duração com facilitadores das principais startups do Brasil e do mundo. How. Skills, not degrees.
15%OFF código:
DESIGN2021

Explore outros temas

21 coisas que tem que acabar em UX design para 2021

Rafaela de Souza da Silva
Rafaela de Souza da Silva

Design não é para todos, mas pode ser

Valéria Romano
Valéria Romano

Como a escuta no Design vem se tornando uma aliada em uma sociedade mais inclusiva

Valéria Reis
Valéria Reis

Co-design: Não é só sobre Design

Wander Vieira
Wander Vieira

Não coma o marshmallow

Camila Borja
Camila Borja

Visualizando os dados da comunidade de UX no Brasil

Carolina Leslie
Carolina Leslie

Vamos parar de falar em Produto e vamos falar em Design de Serviço?

Erico Fileno
Erico Fileno

Por que designers devem aprender No-Code em 2021?

Caio Calderari
Caio Calderari

Como construir maturidade de Design em empresas em transformação digital

Bianca Faraj
Bianca Faraj

A antiga, porém nova verdade sobre DesignOps

Guilherme Gonzalez
Guilherme Gonzalez

Menos sobre nomenclaturas e mais foco no que precisa ser feito

Renan Manço
Renan Manço

O futuro é plural

Paola Sales
Paola Sales

Que em 2021 tenhamos tempo, dinheiro e saúde para fazer a diferença

Thiago Hassu
Thiago Hassu

A Jornada do Mentor - Como se tornar um herói em UX

Sheylla Lima Souza
Sheylla Lima Souza

UX e o Amanhã da Profissão

Amyris Fernandez
Amyris Fernandez

Transição de carreira e diversidade

Liliane Oliveira
Liliane Oliveira

Multiculturalismo remoto

Tai Civita
Tai Civita

O bom design durante os sintomas da pandemia

David Arty
David Arty

Desobediências conceituais no Design

Andrei Gurgel
Andrei Gurgel

Reflexões sobre a Escuta no Design de Experiências

Denise Rocha
Denise Rocha

UX + LGPD. A privacidade do usuário na era dos dados

Hideki Katsumoto
Hideki Katsumoto

Inovação em design organizacional: como ser prático na prática? 🚀

Eduardo Maia
Eduardo Maia

Confissões de um designer apaixonado

Jane Vita
Jane Vita

Empreender e pivotar na profissão designer

Marcelo Leal Felix
Marcelo Leal Felix

Design como ferramenta para um mundo melhor

Camila Moletta
Camila Moletta

O conceito equivocado de público-alvo que exclui pessoas

Talita Pagani
Talita Pagani

Líderes do presente

Juliana Marcenal
Juliana Marcenal

Uma carta para a Crítica

Vitor Amorim
Vitor Amorim

Como você enxerga o Design?

Monica Barros
Monica Barros

Sou Designer, onde vou usar a fórmula de bháskara?

Rafael Miashiro
Rafael Miashiro

Se você quiser voar, precisa soltar o que te puxa para baixo

Tereza Alux
Tereza Alux

O designer nômade

Leo Ehrlich
Leo Ehrlich

Design Ético: como nós, pessoas que consomem e desenvolvem, podemos atuar

Bianca Brancaleone
Bianca Brancaleone

Na contemporaneidade, o que não é design?

Isadora Ribeiro dos Santos
Isadora Ribeiro dos Santos

Como Designers estamos preparados para um mundo que precisa de regeneração?

Barbara Villar
Barbara Villar

A crescente importância de tudo o que não sabemos

Bruno Canato
Bruno Canato

Design realmente centrado no humano

Nina Telles
Nina Telles

Designer Produteiro

Robson Ramos
Robson Ramos

Finalmente uma descentralização geográfica do design brasileiro?

Larissa Trindade
Larissa Trindade

Uma nova visão holística do design

Bel Araújo
Bel Araújo

Design, liderança e ambientes seguros: reflexões e sugestões

Vinícius Vieira
Vinícius Vieira

Você aprende aquilo com que se importa

Denise Pilar
Denise Pilar

UI Designer? Deus me livre, mas quem me dera!

Adelmo Neto
Adelmo Neto

Cultura de UX sob aspecto da linguagem

Melina Alves
Melina Alves

Preparando um time para o sucesso

David Pacheco
David Pacheco

Design é uma conversa cultural

Julia Nascimento
Julia Nascimento

2021: um ano para recomeçar (?)

Koji Pereira
Koji Pereira

O design não vai salvar o mundo! Ou vai?

Bruna Castro
Bruna Castro

"Fosse ou não à escola, eu estudava."

Ariana Dias Neves
Ariana Dias Neves

A motivação por trás de novos hábitos

Nathalia Cabral
Nathalia Cabral

Designer Sobrevivente

Humberto Matos Valério da Silva
Humberto Matos Valério da Silva

Aprendizados para 2021 sobre a acessibilidade digital em 2020

Liliane Claudia
Liliane Claudia

Sua experiência com o futuro do trabalho está diretamente relacionada a quanto você se conhece

Kpelo
Kpelo

Perspectivas visuais e um conceito social (talvez) necessário

Eduardo Arce
Eduardo Arce

O papel do designer na desconstrução do ciclo da invisibilidade

Joyce Rocha
Joyce Rocha

As pegadinhas do nosso cérebro

Renata Carriel
Renata Carriel

A Maturidade do Designer UX

Ioná Dourado
Ioná Dourado

3 passos para mudança do mindset do time comercial

Rafael Xavier
Rafael Xavier

Pare de seguir os velhos padrões visuais

Raniel Oliveira
Raniel Oliveira

Precisamos falar sobre saúde mental em design

Marianna Piacesi
Marianna Piacesi

UX Design não é modinha, é negócio

Luan Mateus
Luan Mateus

Design, um esporte coletivo e colaborativo

Beto Lima
Beto Lima

Design como fator de mudança para processos, cultura e maturidade nas empresas

Bruce Namatame
Bruce Namatame

Designer é solucionador de problemas ou colonizador?

Fernando França
Fernando França

Liderança em Design: 5 dicas para quem quer virar Líder de Design

Victor Zanini
Victor Zanini

Designers will design

Juliana Morozowski
Juliana Morozowski

Como vamos projetar serviços e produtos digitais na era da economia de vigilância?

Janayna Velozo
Janayna Velozo

Faça seu design orientado por dados

Mumtaz Mesania
Mumtaz Mesania

O Designer é a Interface - Desafios do design e experiência do usuário em tempos de isolamento social

Ubiratan Silva
Ubiratan Silva

Design ético em pauta

Lucas Cruz
Lucas Cruz

É responsabilidade de quem?

Vinícius Gomes
Vinícius Gomes

O Design no ano 21 do século 21: educação e trabalho pela cibercultura

André Grilo
André Grilo

Design para um time

Thais Yabuuti
Thais Yabuuti

Por uma comunidade de design mais aberta e colaborativa

Karina Tronkos
Karina Tronkos

Métricas de UX: O que são, onde vivem e do que se alimentam?

Rafa Brandão
Rafa Brandão

E se a inovação pudesse ser guiada por processos de design mais colaborativos?

Larisa Paes de Lima
Larisa Paes de Lima

Design e cultura de experimentação

Leandro Lima
Leandro Lima

A inevitável mudança do Design no "pós-pandemia"

Thoz
Thoz

Voltando às raízes para um design acessível

Maju Santos
Maju Santos

Experiência do Usuário Surdo

Beatriz Lonskis
Beatriz Lonskis

Levei 8 anos para me definir como UX designer. E eu vou te contar como.

Lais Mastelari
Lais Mastelari

A visão de um designer que acredita na política do seu dia-a-dia aplicada a sociedade brasileira

Henrique Peixe
Henrique Peixe

Vulnerabilidade e o primeiro passo contra a impostora

Tamy Lemos
Tamy Lemos

ROI do Design e o Cafezinho

Felipe Melo Guimarães
Felipe Melo Guimarães

Fale com o seu ambiente e as novas experiências conversacionais

Caio Calado
Caio Calado

Pensando design além da interface

Juliana Akemi Segawa Cangussu
Juliana Akemi Segawa Cangussu

Design do Amanhã

Natalí Garcia
Natalí Garcia

Um convite para a auto-descoberta

Karen Tie
Karen Tie

O design pode mudar o mundo

Renato Paixão
Renato Paixão

Receita de UX Designer

Leandro Rezende
Leandro Rezende

O Product Designer está fora de forma?

Marco Moreira
Marco Moreira

O que 2021 promete, além da vacina? Design Ops e Acessibilidade!

Paulo Aguilera Filho
Paulo Aguilera Filho

Liderança inclusiva, design e autoconhecimento

Thaly Sanches
Thaly Sanches

Como quase ter virado um Product Manager me fez ser um Product Designer melhor

Filipe Bitencourt
Filipe Bitencourt

Liderança e Maternidade: Qualquer semelhança não é mera coincidência

Bruna Amancio
Bruna Amancio

UX Research na Era Inteligente

Gabriel Bastos
Gabriel Bastos

Você já foi um designer iniciante, Design no interior e Michael Scott

Felipe Marinelli
Felipe Marinelli

POs e PMs e suas relações com acessibilidade

Livia Gabos
Livia Gabos

UX Writing: o desafio constante de aprender a se comunicar

Camila Gaidarji
Camila Gaidarji

Design de experiência contra o racismo algorítmico

Polli Lopes
Polli Lopes
não clique