1. Objetivo do Manual

O Manual de Aplicação da Pesquisa para Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações (Pesquisa), previsto no Regulamento das Condições de Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações (Resolução nº 654, de 13 de julho de 2015), tem por objetivo prover orientações, às prestadoras de telecomunicações e à empresa pesquisadora contratada, acerca das características e procedimentos que devem ser observados em sua condução.

2.1. Objetivo

O objetivo da Pesquisa é subsidiar a Anatel com informações para melhoria da regulação dos serviços de telecomunicações no Brasil, sob a ótica da satisfação e qualidade percebida em relação ao ciclo de vida e especificações dos produtos e serviços adquiridos pelo consumidor, de modo, inclusive, a prover seus resultados para a composição do selo de qualidade previsto no Regulamento de Qualidade dos Serviços de Telecomunicações (RQUAL), aprovado pela Resolução nº 717, de 23 de dezembro de 2019.

2.2. Periodicidade

A Pesquisa é realizada anualmente. Para permitir maior comparabilidade entre os resultados das pesquisas realizadas em diferentes anos, criando assim uma série histórica consistente, e para efeitos de melhor planejamento de todos os atores envolvidos, todas as etapas que compõem o ciclo da Pesquisa devem ocorrer em períodos pré-fixados, conforme calendário anual, constante deste Manual.

2.3. Definições

Para fins de planejamento amostral da Pesquisa, aplicam-se as seguintes definições:

• • Amostra: é qualquer subconjunto da população-alvo (Universo) de um dos serviços estudados na Pesquisa, selecionado aleatoriamente, utilizando técnicas de amostragem estatística;Código de Acesso do Serviço/Usuário: conjunto de caracteres numéricos, estabelecido em plano de numeração que permite a identificação do usuário do SMP e do STFC a ele vinculado. Para fins dessa Pesquisa inclui o DDD e o número do telefone do serviço pesquisado;
  • População-alvo (Universo): é o conjunto de todos os usuários dos quais se tem interesse em pesquisar o grau de satisfação e a qualidade percebida, conforme critérios estabelecidos no item 2.7 deste Manual;
  • Prestadora: é a pessoa jurídica que detém concessão, permissão ou autorização para a exploração de serviço de telecomunicações abrangido nesta Pesquisa;
  • Registro do Assinante: é o conjunto das informações cadastrais dos assinantes na base de clientes enviada pelas prestadoras à Anatel (conforme item 5);
  • Unidade Primária de Amostragem (UPA): usuário do serviço de telecomunicações selecionado aleatoriamente para responder a Pesquisa;
  • Usuário: qualquer pessoa física, com 18 anos ou mais, que utiliza os serviços de telecomunicações em uma ou mais modalidades abrangidas por essa Pesquisa;
  • Variável: representação simbólica ou factual de um atributo; e
  • Variável de Estratificação: variável utilizada no processo de amostragem aleatória estratificada, cuja característica permite a divisão da População-alvo em estratos (grupos homogêneos) de usuários, para cada serviço a ser pesquisado. Para fins dessa Pesquisa, a variável de estratificação será a combinação de Unidade da Federação e prestadora.

2.4. Forma de Coleta

As entrevistas para todos os serviços serão feitas de modo randômico entre os estratos com o uso da técnica de pesquisa por telefone assistida por computador – CATI (Computer Assisted Telephone Interviewing). Isto significa o uso de microcomputadores em rede, controle de amostragem no servidor da rede, discagem automática, marcação de entrevista, consistência de valores aceitos nas perguntas do questionário e geração de estatísticas de entrevistas realizadas. Essa etapa deverá ser complementada pelos controles de qualidade de que tratam as regras da Associação Brasileira das Empresas de Pesquisa (ABEP) e as normas referenciadas no item 10.1 deste Manual.

A empresa pesquisadora receberá da Anatel os lotes contendo o(s) telefone(s) de contato(s) das amostras sorteadas aleatoriamente com as identificações do serviço, da prestadora e da Unidade da Federação (UF), na relação de até 40 x n (quarenta vezes “n”, sendo n o número de amostras) para o envio inicial. Caso necessário, poderão ser enviados lotes extras, quando a empresa pesquisadora indicar dificuldades de completar a coleta para determinados estratos, de acordo com o plano amostral estabelecido. Antes de iniciar a coleta, a base recebida deve ser novamente randomizada pela empresa pesquisadora para, em seguida, iniciar as coletas.

No intuito de aumentar a probabilidade de resposta, a empresa pesquisadora deverá fazer, quando solicitada pela Anatel, uma notificação prévia ou posterior à primeira tentativa de contato da unidade primária de amostragem, informando sobre a realização da Pesquisa.

Os parâmetros de notificação, como conteúdo e periodicidade, serão definidos pela Agência. A forma será através de mensagem de texto para o(s) número(s) do(s) telefone(s) celular(es) de contato(s), informando sobre a relevância da Pesquisa e a importância da participação.

Além disso, a empresa pesquisadora deverá utilizar, quando solicitada pela Agência e de forma justificada, meios de coleta alternativos oferecendo outras formas de participação na Pesquisa, além do meio telefônico.

Uma vez atingidas 5 (cinco) tentativas de contato realizadas, sem sucesso, em cada um dos2 (dois) ou mais telefones informados para a unidade amostral (quando informados mais de um telefone), a empresa pesquisadora deve substituir o código de acesso por uma nova observação da amostra. Caso seja verificado que as amostras restantes não serão suficientes para finalizar a Pesquisa, a empresa pesquisadora deverá notificar a Anatel, que estabelecerá uma nova quantidade para a substituição das unidades amostrais com insucesso de contato.

Caso seja utilizada toda a população de determinado estrato, com o limite de tentativas estabelecido no parágrafo anterior, e não tenha atingido o número previsto de entrevistas, o estrato não deve ser considerado para efeito de resultados da Pesquisa.

2.5. Do PPC e do Acompanhamento pela Anatel

A empresa pesquisadora contratada elaborará e enviará à Anatel e às Prestadoras, para cada período de coleta de dados, um Plano de Pesquisa de Campo (PPC), que servirá de base para a execução e controle das entrevistas. A empresa pesquisadora deve informar à Anatel e às Prestadoras, sempre que seja necessário, alterações no planejamento inicial.

O relatório com o PPC a ser enviado para a Anatel deverá conter, no mínimo, as seguintes informações para cada serviço:

i)          planejamento dos recursos humanos necessários (quantitativo de entrevistadores, supervisores, coordenadores e equipes);

ii)         horário de trabalho das equipes (da coleta);

iii)        cronograma da coleta dos dados (com quantitativo estimado de entrevistas a serem realizadas por mês;

iv)        identificação de todas as empresas terceirizadas de Call Center, processamento de dados, treinamento, etc. envolvidas na Pesquisa; e

v)         critérios que serão adotados para garantir o controle estatístico e qualitativo de cada Pesquisa, bem como os demais requisitos de controle de qualidade observados nas normas da ABEP, a cuja entidade a empresa deve ser filiada, conforme item 10.1.

O controle estatístico e qualitativo de cada Pesquisa poderá ser baseado na verificação dos dados coletados e realizado de forma randômica pela Anatel. A Agência poderá, a qualquer momento da Pesquisa, solicitar informações, acompanhar a aplicação dos questionários, submeter os dados coletados a análises e controles estatísticos e qualitativos.

Além das informações a serem enviadas para a Anatel - descritas no item 8 deste Manual - fica facultada à Agência a possibilidade, nos casos em que julgar necessário, de solicitar à empresa contratada a emissão de relatórios específicos.

A empresa pesquisadora proverá à Anatel informes parciais a respeito da progressão das entrevistas em campo. Tais informes deverão conter as informações que a Anatel julgar necessárias, a exemplo das constantes no Relatório de Ocorrência de Campo (ROC.) 

2.6. Prestadoras Participantes da Pesquisa

Estão obrigadas a participar da Pesquisa todas as prestadoras que não se enquadram na condição de Prestadora de Pequeno Porte, na forma definida na regulamentação, na data de referência de 31 de março do ano corrente. As prestadoras desobrigadas de participar podem manifestar a sua intenção de participação, tempestivamente, através de solicitação específica. Tal solicitação deve ser formalizada na Anatel por peticionamento eletrônico ou correspondência registrada, encaminhada à Superintendência de Relações com Consumidores até o dia 20 de março do ano a que se refere a Pesquisa. Ressalta-se que, ao optar pela participação voluntária na Pesquisa, fica a prestadora obrigada ao cumprimento das obrigações previstas no Regulamento das Condições de Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações, aprovado pela Resolução nº 654, de 13 de julho de 2015,bem como neste Manual e das orientações exaradas pela Anatel, durante todo o ciclo da Pesquisa ao qual a prestadora manifestou a intenção de participação.

1. 7. Universos Pesquisados

Farão parte do Universo da Pesquisa – população-alvo, cujas informações deverão ser enviadas para a Anatel na base de clientes, conforme o item 5 deste manual, todos os usuários dos serviços de telecomunicações, observadas as seguintes condições:

1. Os serviços que serão pesquisados são os seguintes:
   1. Telefonia Celular - Serviço Móvel Pessoal (SMP), modalidade Pós-paga;
   2. Telefonia Celular - Serviço Móvel Pessoal (SMP), modalidade Pré-paga;
   3. Telefonia Fixa - Serviço Telefônico Fixo Comutado (STFC);
   4. Banda Larga Fixa - Serviço de Comunicação Multimídia (SCM);
   5. TV por Assinatura - incluem:

1. • Serviço de Acesso Condicionado (SeAC);
   • Serviço de TV a Cabo (TVC);
   • Serviço de Distribuição de Sinais Multicanal (MMDS);
   • Serviço de Distribuição de Sinais de Televisão e de Áudio por Assinatura via Satélite (DTH); e
   • Serviço Especial de Televisão por Assinatura (TVA).
2. Apenas serão considerados na Pesquisa os contratos/acessos registrados em nome de pessoas físicas (PF);
3. No caso do SMP, os acessos em serviço para aplicações M2M (machine-to-machine) e os utilizados exclusivamente para dados serão excluídos do universo da Pesquisa;
4. No caso da TV por Assinatura, os acessos de SeAC Livre via Satélite serão excluídos do universo da Pesquisa, considerando o Informe nº 6/2022/RCIC/SRC (SEI nº 8312402);
5. A Pesquisa é realizada por Unidade da Federação (UF) e de forma independente entre os serviços;
6. Somente são pesquisados estratos com base de clientes superior a 10.000 contratos/acessos ativos e elegíveis por UF de forma a viabilizar a coleta.

Adicionalmente, durante as entrevistas, serão desconsiderados os usuários que:

1. não estão entre os principais usuários do serviço pesquisado;
2. possuem menos de 18 anos; e
3. trabalhem em empresas de pesquisa de opinião ou mercado, empresa ou departamento de marketing, agência de propaganda/comunicações, agência de promoção ou merchandising, rádio, jornal, revista ou televisão, operadoras de serviços de telecomunicações, órgão regulador ou de defesa do consumidor de serviços de telecomunicações.

3. Atributos ou Dimensões da Pesquisa

Os atributos da Pesquisa, conforme definição da Resolução 654, de 13 de julho de 2015, são as características da prestação dos serviços que servem de base para a aferição do grau de satisfação e de qualidade percebida pelo usuário e, para efeito deste manual e da divulgação dos resultados, poderão ser também chamados de Dimensões, de modo a se obter maior proximidade com a literatura corrente sobre qualidade percebida. Essas dimensões são definidas pela Anatel, levando em consideração informações obtidas da análise dos registros de reclamações dos usuários, o conhecimento geral da Agência e suas demandas por informações, bem como estudos específicos elaborados com ou sem apoio de entidades externas.

3.1. Definições dos atributos ou dimensões

• Satisfação Geral do Consumidor (SG): avaliação do consumidor acerca do resultado de sua relação de consumo junto a determinada prestadora.
• Qualidade da Informação ao Consumidor (QIC): nível da prestação de informações ao longo do relacionamento consumidor-operadora, podendo contemplar inclusive a relação entre a informação veiculada pelas prestadoras nos atos de oferta e contratação e as características dos serviços efetivamente prestados.
• Qualidade do Funcionamento (QF): avaliação das condições críticas de acesso, fruição e retenção, a depender do serviço.
• Qualidade da Cobrança ou Recarga (QCR): avaliação sobre características da atividade de cobrança - envolvendo coerência e clareza – ou da atividade de recarga – no caso do serviço pré-pago, quanto aos critérios de compatibilidade entre créditos cobrados e créditos consumidos e de clareza nas informações apresentadas sobre o consumo de créditos de recarga.
• Qualidade do Atendimento ao Cliente (QA): avaliação acerca de aspectos relacionados ao processo e ao resultado do atendimento nos canais utilizados. A dimensão pode ser unifatorial ou formada por dois fatores: Qualidade do Atendimento ao Cliente via Atendimento Telefônico (QAT) e Qualidade do Atendimento ao Cliente via Canais Digitais (QAD), a depender dos resultados da análise de que trata o item 7.1.

Considerando-se a importância do efeito das dimensões da qualidade percebida sobre a dimensão de Satisfação Geral, constatada em Pesquisa realizada para validação da estrutura interna de novo instrumento de Pesquisa, o Índice de Satisfação Geral será utilizado para composição do Selo de Qualidade de que trata o Regulamento de Qualidade dos Serviços de Telecomunicações (RQUAL), aprovado pela Resolução nº 717, de 23 de dezembro de 2019.

4. Questionários

Os questionários a serem empregados devem avaliar o conjunto de atributos da Pesquisa e ser atualizados sempre que os dados obtidos indicarem essa necessidade ou quando a Anatel avaliar ser conveniente e oportuno pesquisar novos aspectos de satisfação e percepção de qualidade.

Cada população-alvo deve responder a um questionário específico. Para fins de estruturação do questionário, as perguntas devem ser organizadas em blocos homogêneos, relativos aos atributos da Pesquisa. Para cada atributo já definido no item 3 deste Manual pode haver uma ou mais perguntas, de forma a captar a maior quantidade de informação daquele atributo, prezando-se, contudo, pela concisão do questionário como um todo.

A construção dos questionários deve se basear em procedimentos metodológicos de natureza similar aos constantes da literatura de pesquisas e incorporar a experiência de estudos passados, de modo ainda a possibilitar, quando possível, a comparação com resultados obtidos em anos anteriores.

As perguntas que visam avaliar a satisfação e a qualidade percebida permitem ao entrevistado uma resposta utilizando escala de 0 (zero) até 10 (dez), onde 0 significa a avaliação mínima do atributo e 10 a avaliação máxima. De modo a aprimorar a qualificação das respostas, os questionários devem conter filtros para que apenas os usuários que passaram pelas experiências dos atributos respondam às perguntas dos blocos a eles relativos. Assim, a título de exemplificação, o usuário que não se relacionou com nenhum canal de atendimento da respectiva prestadora não responderá questões relacionadas a essa dimensão.

Com o objetivo de captar com acurácia a percepção e a satisfação do usuário, a Pesquisa tem como característica principal a avaliação por espontaneidade das respostas do entrevistado. Para que essa característica seja preservada, essas questões serão não-estimuladas e, por consequência, os questionários não serão previamente divulgados ao público-alvo.

Além de avaliar a satisfação e a qualidade percebida, os questionários também poderão incluir perguntas que avaliem o comportamento do consumidor em relação aos serviços prestados e à respectiva prestadora, além de questões que permitam entender o perfil sociodemográfico dos entrevistados.

O questionário aprovado pela Anatel não pode ser alterado sob nenhuma hipótese sem o consentimento da Agência. Qualquer script padrão utilizado pelos entrevistadores devem ser previamente aprovados pela Anatel.

5. Base de Clientes

A base de clientes corresponde à relação de todo o universo de clientes ativos e elegíveis (isto é, já com as devidas exclusões, conforme o item 2.6), cuja extração deve ser relativa à data de referência, única e uniforme para todos os participantes, definida no item 2.6 deste Manual. A partir desta base, excluídos eventuais registros inválidos, a Anatel realizará o sorteio dos contatos que comporão a remessa inicial de acessos passíveis de ser entrevistados. O arquivo da base de clientes deve conter pelo menos as seguintes informações:

1. Empresa e/ou respectivo CNPJ;
2. Serviço e/ou respectivo código em base corporativa da Anatel;
3. Código do município no IBGE;
4. CPF do titular;
5. DDD e telefone para contato principal; e
6. 1 (um)  DDD e telefone alternativo para contato.

A base aqui referida deve ser encaminhada em formato aberto, preferencialmente em arquivo do tipo CSV, por meio seguro de transferência disponível na Agência, com controle de acesso. Excepcionalmente, considerando-se a evolução dos formatos e meios para transferência de arquivos, procedimentos diversos podem ser adotados, a critério da Anatel. Orientações específicas sobre o envio dos arquivos devem ser disponibilizadas pela Anatel às prestadoras por meio de publicação no portal da Agência, de acordo com o calendário anual de que trata o item 11 deste Manual.

Informações sobre o quantitativo de acessos ativos, necessárias no processo de validação da base de clientes, serão obtidas pela área coordenadora da Pesquisa, a partir dos dados enviados mensalmente pelas operadoras à Anatel e divulgados no portal da Agência, devendo ser utilizados os dados relativos ao mês de março do ano corrente.

Relatório com essas informações somente deverá ser enviado pelas prestadoras no caso de dificuldades eventuais que impossibilitem o uso tempestivo das informações já disponíveis na Agência ou de inexistência dessas informações. Neste caso, a Anatel demandará às prestadoras participantes da Pesquisa o envio de relatório informando o quantitativo de acessos ativos, tendo como referência de data o mês de março do ano corrente. O relatório, caso solicitado, deverá conter as informações mínimas necessárias para a continuidade da execução da Pesquisa, observado o disposto nos itens “i” a “v” da seção 2.6.

6. Planejamento Amostral

6.1. Das Unidades Primárias de Amostragem (UPA) de Pessoas Físicas

Em cada população-alvo a unidade primária de amostragem será:

• TV por Assinatura e SCM: registro do Assinante; e
• SMP e STFC: código de acesso (DDD e número do telefone).

6.2. Metodologia Estatística

A Metodologia Estatística adotada nessa Pesquisa será a de levantamento amostral probabilístico para seleção das amostras. O plano amostral probabilístico reúne todas as técnicas que usam mecanismos aleatórios de seleção das unidades amostrais, atribuindo a cada um deles uma probabilidade, conhecida a priori, de pertencer à amostra. Uma das grandes vantagens desse plano é a de medir a precisão da amostra obtida, baseando-se no resultado contido na própria amostra. A definição da amostra a ser pesquisada será feita visando a obtenção de resultados generalizáveis para o Universo estudado, tomando por referência um determinado período base.

6.3. Técnicas de Amostragem

Dentre as diversas técnicas pertencentes aos métodos probabilísticos, a Pesquisa adotará a Amostragem Aleatória Simples (AAS) e a Amostragem Estratificada (AE).

A Amostragem Aleatória Simples (AAS) é a técnica mais simples para selecionar uma amostra probabilística de uma população-alvo. Utilizando um procedimento aleatório (computacional, tabela de números aleatórios ou um procedimento randômico com base em fenômenos da natureza), sorteia-se um elemento da população-alvo, sendo que todos os elementos têm a mesma probabilidade de serem sorteados. Repete-se o procedimento até que as n unidades da amostra sejam sorteadas.

A Amostragem Estratificada (AE) procura explorar a ideia de que, quanto mais homogênea for a população-alvo, mais precisos serão os resultados amostrais. Nessa técnica, a população-alvo é dividida em estratos (subpopulações homogêneas mutuamente exclusivas), usualmente de acordo com uma variável de estratificação.

Na Pesquisa, a variável de estratificação utilizada será a combinação de Unidade da Federação e prestadora, de modo que possam ser comparáveis entre si. Para garantir a representatividade por Unidade da Federação e prestadora, em cada estrato dos serviços pesquisados será aplicada uma AAS para selecionar as unidades amostrais. A alocação do tamanho amostral em cada estrato se dará de modo a se buscar a precisão das estimativas tanto nos estratos quanto para toda a população, conforme definido no Regulamento da Pesquisa.

6.4  Erro Amostral

O erro amostral mensura o quanto os valores obtidos a partir das informações da amostra podem diferir do valor real da população-alvo.

Em qualquer estudo com amostras, o erro amostral está presente a certo nível de confiabilidade.

Destaca-se que não existe erro único para toda a Pesquisa, pois cada variável tem distribuição de probabilidade própria. Para cada indicador obtido na amostra há um erro diferente que só pode ser efetivamente calculado após a execução do estudo.

As medidas de erro amostral da Pesquisa são planejadas pelo menos para as estimativas do Índice de Satisfação Geral (ISG), utilizando-se um coeficiente de confiança de 95% (noventa e cinco porcento). Os tamanhos das amostras serão dimensionados para se obter estimativas com erros de valor absoluto equivalentes a 5% do ISG, obtidas com os dados da Pesquisa do ano anterior, para cada serviço, considerando o tamanho mínimo de 100 unidades amostrais.[1]

Após obtidos os resultados da Pesquisa, o erro amostral de cada indicador é calculado por:

Fórmulas disponíveis no documento:

https://sei.anatel.gov.br/sei/modulos/pesquisa/md_pesq_documento_consulta_externa.php?8-74Kn1tDR89f1Q7RjX8EYU46IzCFD26Q9Xx5QNDbqaGGTyBYTIXXYwv4Ma-X_t--sB236vgaxxXOaUvO-JrqfVadKLi6LKeP0mnPAzC-43Yb4qXTKBNwRxyuchOFtj3

Esse cálculo tem por suposição que as observações sejam aleatórias e independentes (não-correlacionadas), com valor esperado igual à média do respectivo indicador.

???????

6.5. Cálculo do Tamanho das Amostras

Para cada uma das populações-alvo dos serviços listados no item 2.7, a alocação das amostras nos estratos se dará de forma desproporcional devido à alta variabilidade do tamanho dos estratos, caso em que a alocação proporcional causaria amostras extremamente pequenas e erros amostrais altos em alguns estratos ou, em outro extremo, amostras de tamanho tão grande que se tornam inexequíveis.

Para obtenção de resultados mais afinados com todas as populações, optou-se pelo cálculo mais ortodoxo de tamanho da amostra, que será realizado com correção para populações finitas.

Como o objetivo do plano amostral é buscar garantir a precisão tanto das estimativas dos estratos quanto das estimativas da população como um todo, tem-se que os tamanhos das amostras em cada estrato e para cada indicador devem satisfazer:

Fórmulas disponíveis no documento: 

https://sei.anatel.gov.br/sei/modulos/pesquisa/md_pesq_documento_consulta_externa.php?8-74Kn1tDR89f1Q7RjX8EYU46IzCFD26Q9Xx5QNDbqaGGTyBYTIXXYwv4Ma-X_t--sB236vgaxxXOaUvO-JrqfVadKLi6LKeP0mnPAzC-43Yb4qXTKBNwRxyuchOFtj3

Essa condição indica que com esses tamanhos amostrais pretende-se que os resultados de cada estrato tenham erro aproximadamente igual a ε , com (1-α ) x 100% de confiança.

Caso seja identificada a entrada de um novo estrato na Pesquisa, será considerada no cálculo do tamanho amostral a variância média da respectiva Unidade da Federação, estimada por valores de Pesquisas anteriores. Caso não existam dados da Unidade da Federação em Pesquisas anteriores, será utilizada a variância do resultado consolidado do serviço.

Para que os resultados consolidados para toda a população também possuam a precisão desejada, após o cálculo dos tamanhos amostrais de cada estrato é preciso garantir:

Fórmulas disponíveis no documento: 

https://sei.anatel.gov.br/sei/modulos/pesquisa/md_pesq_documento_consulta_externa.php?8-74Kn1tDR89f1Q7RjX8EYU46IzCFD26Q9Xx5QNDbqaGGTyBYTIXXYwv4Ma-X_t--sB236vgaxxXOaUvO-JrqfVadKLi6LKeP0mnPAzC-43Yb4qXTKBNwRxyuchOFtj3

6.6. Seleção da Amostra

Calculado o tamanho da amostra em cada estrato, o processo de seleção se dará de forma probabilística, segundo o método de amostragem aleatória simples, com igual probabilidade de seleção entre as UPAs dentro dos estratos. Assim, parte-se do pressuposto de que a amostragem é de natureza aleatória e o tamanho de cada subamostra será suficientemente significativo para sustentar a aferição do grau de satisfação e da qualidade percebida em nível de estratos da amostra.

A seleção das amostras será realizada pela Anatel a partir da base de dados da população-alvo, fornecida pelas prestadoras do serviço a ser pesquisado, de modo randômico.

Uma vez sorteadas as amostras, a instituição contratada para a operacionalização do estudo de campo, receberá as seguintes informações:

• serviço;
• município;
• unidade da federação;
• prestadora;
• telefone(s) de contato.

6.7. Uso de Calibradores

Toda amostra estratificada planejada desproporcionalmente necessita da aplicação de calibradores para que, quando for interpretada, represente a população-alvo.

Os calibradores utilizados neste estudo, para os serviços descritos no item 2.7, são resultados da seguinte fórmula:

Fórmulas disponíveis no documento: 

https://sei.anatel.gov.br/sei/modulos/pesquisa/md_pesq_documento_consulta_externa.php?8-74Kn1tDR89f1Q7RjX8EYU46IzCFD26Q9Xx5QNDbqaGGTyBYTIXXYwv4Ma-X_t--sB236vgaxxXOaUvO-JrqfVadKLi6LKeP0mnPAzC-43Yb4qXTKBNwRxyuchOFtj3

6.8. Pesquisa Piloto

A empresa pesquisadora deve fazer, quando solicitada pela Anatel e desde que evidenciada a necessidade, rodada de entrevistas a título de Pesquisa piloto, com informação prévia às prestadoras participantes. As pesquisas piloto de cada serviço devem ser submetidas a pelo menos 100 (cem) e no máximo 200 (duzentos) respondentes. Havendo a necessidade de adequação ao questionário, caberá à Anatel efetuar os ajustes cabíveis e tomar a decisão final a respeito.

Todos os resultados da Pesquisa piloto devem ser entregues à Anatel em até 10 (dez) dias após seu término. Tão logo sejam avaliados pela Anatel, tais resultados serão encaminhados pela própria Agência às Prestadoras, que não deverão divulgá-los.

As pesquisas piloto têm o propósito de orientar as pesquisas principais e, por este motivo, seus resultados somente serão tornados públicos após a divulgação dos resultados da Pesquisa à qual está relacionada.

7. Do cálculo dos indicadores e ranking

7.1. Cálculo dos indicadores

Para o cálculo dos indicadores da Pesquisa, são utilizadas a Análise Fatorial Confirmatória (AFC), para a formação do Índice de Satisfação Geral, e a Modelagem por Equações Estruturais (MEE), para a formação dos indicadores de qualidade percebida específicos (e.g. indicador de qualidade de funcionamento) para cada dimensão conforme item 3.1.

Para estas abordagens utiliza-se a Correlação Policórica, aplicada a dados ordinais que buscam estimar a correlação entre as variáveis latentes.

Para a formação do Índice de Satisfação Geral (ISG) – que pode variar de 0 a 10 –, é realizada, inicialmente, a AFC com o método de Estimação de Máxima Verossimilhança. O propósito desta análise é identificar uma dimensão unifatorial de Satisfação Geral do Consumidor, mensurada com base nas respostas a pelo menos três e no máximo cinco perguntas específicas que remetem à satisfação geral do consumidor. Em seguida, identificada a estrutura fatorial da dimensão de Satisfação Geral (variável latente), forma-se o ISG com base na estimativa não padronizada de regressão de cada item na composição da dimensão da variável latente Satisfação Geral, conforme resultado da AFC. O cálculo para cada estrato é mostrado a seguir:

Fórmula disponível no documento: 

https://sei.anatel.gov.br/sei/modulos/pesquisa/md_pesq_documento_consulta_externa.php?8-74Kn1tDR89f1Q7RjX8EYU46IzCFD26Q9Xx5QNDbqaGGTyBYTIXXYwv4Ma-X_t--sB236vgaxxXOaUvO-JrqfVadKLi6LKeP0mnPAzC-43Yb4qXTKBNwRxyuchOFtj3

Para a formação dos Indicadores de Qualidade Percebida Parciais (IQPPs, específicos de cada dimensão do serviço), adota-se a MEE para identificar a estrutura fatorial das dimensões de qualidade percebida definidas no item 3.1 deste Manual (ex: QF, QA, QIC). Deve-se atentar à dimensão de Qualidade do Atendimento, que pode ser uni ou bifatorial, conforme o serviço avaliado. A identificação da melhor estrutura para essa dimensão deve ser orientada pela comparação dos parâmetros da validade convergente e discriminante obtidos para os construtos das duas opções. Outro ponto de atenção é a dimensão de Qualidade da Cobrança ou Recarga, que no caso do serviço pré-pago é representada por questões relacionadas ao processo de recarga.

Identificada a estrutura fatorial, serão verificadas as dimensões da qualidade percebida que exercem influência significativa sobre a dimensão de satisfação geral (SG), para cada serviço, e calculados os IQPPs, podendo-se descartar, quando considerado pertinente, as dimensões com efeitos não significativos.

A formação dos IQPPs – cuja escala pode variar de 0 a 10 – deve ser realizada com base em uma média das respostas a cada item da dimensão, ponderada pelos pesos das estimativas não padronizadas de regressão obtidas por meio da MEE, conforme fórmula a seguir:

Fórmula disponível no documento: 

https://sei.anatel.gov.br/sei/modulos/pesquisa/md_pesq_documento_consulta_externa.php?8-74Kn1tDR89f1Q7RjX8EYU46IzCFD26Q9Xx5QNDbqaGGTyBYTIXXYwv4Ma-X_t--sB236vgaxxXOaUvO-JrqfVadKLi6LKeP0mnPAzC-43Yb4qXTKBNwRxyuchOFtj3

A aplicação da AFC e da MEE será realizada com base na Matriz de Correlação Policórica. Esta, por sua vez, é calculada sobre os dados originais, previamente ajustados  de modo a promover na base de dados a representação de cada unidade amostral em seu estrato, mantendo a proporção estabelecida pelos calibradores, que atuam como multiplicadores dos registros.

O ajuste também deverá ser realizado para consolidação dos Índices das modalidades Pós e Pré-paga do SMP, com vistas à composição do RQUAL.

Cada dimensão (fator) de qualidade percebida é mensurada pelos seus respectivos itens. As estimativas padronizadas de regressão, geradas pela MEE (e também pela AFC), apontam o quanto cada item mede a dimensão estudada e podem assumir valores de até |1| (um). Além disso, tais estimativas devem apresentar significância estatística (p-valor < 0,05). Os aspectos da validade convergente anteriormente referidos são traduzidos nas estimativas padronizadas de regressão acima de 0,5 e nos valores da Variância Média Extraída (VME) e do Rho de Jöreskog, que precisam ser ≥ 0,5 e acima de 0,7, respectivamente. A validade discriminante é avaliada pelo método Fornell-Larcker, no qual os valores da raiz quadrada da VME devem ser maiores que a correlação entre os construtos (e.g. dimensões latentes de qualidade da cobrança e da qualidade do funcionamento).

7.2. Definição do Ranking

O ranking das operadoras por Unidade da Federação deve ser obtido, ao menos, para o indicador de Satisfação Geral, não se excluindo a possibilidade do cálculo do ranking dos demais indicadores nem de rankings nacionais ou regionais, caso a Anatel julgue necessário. Para a definição do ranking será utilizada a Análise de Variância (ANOVA), técnica estatística que permite a comparação de múltiplas médias. A família de hipóteses associada ao teste é:

Fórmula disponível no documento: 

https://sei.anatel.gov.br/sei/modulos/pesquisa/md_pesq_documento_consulta_externa.php?8-74Kn1tDR89f1Q7RjX8EYU46IzCFD26Q9Xx5QNDbqaGGTyBYTIXXYwv4Ma-X_t--sB236vgaxxXOaUvO-JrqfVadKLi6LKeP0mnPAzC-43Yb4qXTKBNwRxyuchOFtj3

Sob a hipótese nula, todas as médias populacionais são iguais. A hipótese alternativa estabelece que pelo menos uma média é estatisticamente diferente das demais. Em caso de violação do pressuposto da homogeneidade das variâncias (pelo teste de Levene), poderá ser adotada a ANOVA com correção pela matriz de White (ANOVA robusta). Caso a hipótese nula não seja rejeitada, assume-se que não há evidências de que os indicadores das operadoras sejam diferentes entre si.

Do contrário, passa-se à utilização do método de comparação múltipla conhecido como teste de Tukey. Tal teste consiste na comparação de todos os possíveis pares de médias, ou seja, comparando par a par os valores das médias, e é baseado na distribuição da amplitude estudentizada (studentized range distribution). O procedimento de comparação múltipla permite controlar a taxa de erro estabelecida no teste de hipóteses da ANOVA.

De acordo com Kutner et al. (2004)[1], esse teste pode ser conduzido diretamente calculando a seguinte estatística do teste para cada comparação de médias duas a duas:

8. Dos Dados Gerados pela Pesquisa

8.1. Envio de Informações Coletadas à Anatel

A empresa pesquisadora deverá entregar diretamente à Anatel, no prazo estabelecido no calendário anual constante deste Manual:

1. os dados coletados, separados por prestadora, Unidade da Federação e serviço;
2. as gravações das entrevistas em campo, com identificação que permita à Anatel acessar cada uma delas diretamente;
3. as ocorrências de campos (análises das tentativas de contato, recusas, passagens pelos filtros, etc);
4. ranking de prestadoras por Unidade da Federação;
5. comparativo das informações coletadas com os resultados dos anos anteriores; e
6. os demais dados solicitados pela Agência, que sejam relevantes para o acompanhamento da apuração da Pesquisa e da lisura de seus resultados ou para a correta interpretação e análise dos dados.

Os dados previstos nos itens “A” a “F” acima devem ser entregues em arquivos de formato definido pela Anatel.

Os arquivos referentes ao item “A” devem ser transferidos, preferencialmente, por sistema de carga de dados definido pela Anatel, atendendo à especificação do dicionário de dados específico.

Esse dicionário deverá especificar, pelo menos as seguintes informações:

1. nome das variáveis;
2. tipo das variáveis;
3. descrição das variáveis; e
4. categoria ou valores atribuídos em resposta.

A Anatel definirá os meios pelos quais deverão ser entregues as informações referentes aos itens “B” a “F”.

As informações referentes ao item “C” deverão ser enviadas na forma de Relatório de Ocorrência de Campo (ROC) que deverá conter no mínimo (para cada serviço):

1. plano amostral realizado (quantitativo de amostras por UF e prestadora);
2. número médio de tentativas de contato por unidade amostral e por UF;
3. tempo médio das entrevistas, por UF
4. quantitativo de entrevistas recusadas, por UF;
5. quantitativo de entrevistas interrompidas por queda na chamada, por UF;
6. quantitativo de entrevistas interrompidas por desistência do respondente, por UF; e
7. quantitativo de entrevistas finalizadas pelos filtros constantes nos questionários de cada serviço, conforme exemplo abaixo (por UF):

1. trabalha em empresa de pesquisa, rádio, jornal, Anatel e etc;
2. não é cliente da operadora no serviço;
3. não é o principal usuário da linha;
4. pessoa jurídica;
5. mudou de plano pré-pago para pós-pago ou vice-versa; e
6. idade inferior a 18 anos.

8.2. Envio dos Resultados à Anatel

Os resultados finais da Pesquisa devem ser consolidados em relatório a ser encaminhado à Anatel no prazo estabelecido no calendário anual, constante deste Manual, contendo em seu formato, no mínimo:

1. escopo;
2. resumo executivo;
3. metodologia, contendo:
   1. período da coleta;
   2. tipo de amostragem;
   3. desenho da amostra;
   4. erros amostrais a posteriori;
   5. calibradores utilizados; e
   6. método de coleta e procedimentos operacionais.
4. cálculo dos indicadores;
5. análise do controle de qualidade dos dados coletados;
6. observações e considerações relevantes.

Adicionalmente, a Anatel poderá solicitar a inclusão de outras informações nos relatórios, tais como:

1. análise crítica aos dados coletados;
2. perfil sociodemográfico dos entrevistados - por prestadora, por serviço e por Unidade da Federação;
3. percepção de qualidade das prestadoras - por atributo, por prestadora, por serviço e por Unidade da Federação;
4. satisfação com as prestadoras - por prestadora, por serviço e por Unidade da Federação; e
5. ranking das prestadoras por Unidade da Federação, observados os preceitos da sessão  7.2 deste Manual.

Outros relatórios com os resultados da Pesquisa nos formatos e granularidades definidos pela Anatel, se necessários, poderão ser solicitados à empresa pesquisadora.

8.3. Envio de Informações Coletadas e dos Resultados às Prestadoras

Os dados da Pesquisa previstos nos subitens “A” a “F” do item 8.1 e os seus resultados podem ser enviados pela Anatel às prestadoras participantes, de forma que estas recebam tão somente os seus próprios dados (base bruta de dados), sem que seja dado conhecimento às demais prestadoras dos resultados umas das outras. Somente serão enviados às prestadoras os contatos identificados referentes aos entrevistados que autorizaram o repasse da informação às prestadoras.

As prestadoras não podem dar publicidade aos seus resultados recebidos antes da divulgação pela Anatel.

9. Divulgação dos Resultados

O resultado da análise dos dados coletados e o plano amostral com as informações de população-alvo e amostra por estrato e serviço serão disponibilizados pela Anatel em sua página da internet, e por outros meios que julgar adequados, de acordo com o calendário anual estabelecido neste Manual. Adicionalmente, a Agência poderá divulgar os resultados da Pesquisa em qualquer ocasião que julgar conveniente.

A Anatel dará às prestadoras conhecimento dos resultados globais previamente à sua publicação.

10. Outras Disposições

10. 1 Contratação

As prestadoras devem contratar conjuntamente empresa especializada em realização de pesquisas. A empresa pesquisadora contratada pelas prestadoras deverá possuir os seguintes requisitos mínimos:

• ser filiada à ABEP (Associação Brasileira das Empresas de Pesquisa);
• possuir os padrões ESOMAR;
• ser uma empresa de pesquisa constituída há pelo menos 3 (três) anos;
• possuir experiências comprovadas na atividade de pesquisa de mercado e de opinião; e
• não estar inscrita no Cadastro Nacional de Empresas Inidôneas e Suspensas (CEIS), do Governo Federal.

É obrigação da empresa pesquisadora contratada seguir rigorosamente todas as disposições prevista no Regulamento das Condições de Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações e deste Manual. As prestadoras devem dar conhecimento destes normativos à empresa pesquisadora.  

As prestadoras deverão informar à Anatel no prazo estabelecido no item 11 deste Manual a empresa pesquisadora contratada, bem como encaminhar documentos que comprovem que a empresa atende aos requisitos mínimos estabelecidos neste Manual. O envio da documentação comprobatória dos requisitos mínimos pode ser encaminhado à Anatel de forma centralizada por meio de uma prestadora ou de instituição representativa indicada conjuntamente pelas prestadoras.

10.2 Condições para a Troca da Empresa Contratada

Caso a Anatel constate indícios de que a empresa contratada não apresenta experiência, capacidade operacional ou nível de serviço adequados à realização da Pesquisa ou ao atingimento das obrigações regulamentares, inclusive as constantes deste Manual, poderá determinar que as prestadoras contratem uma nova empresa especializada em realização de pesquisa.

A determinação de contratação de nova empresa especializada em realização de pesquisa é restrita às hipóteses previstas acima, devendo ser fundamentada e formalizada por despacho decisório conjunto da Superintendência de Relações com Consumidores – SRC e da Superintendência de Planejamento e Regulamentação – SPR.

Após comunicação sobre a necessidade de contratação de nova empresa especializada em realização de pesquisa, as Prestadoras terão até 30 (trinta) dias, a contar do despacho decisório, para definir a nova empresa.

10.3. Divulgação da Realização da Pesquisa pelas Prestadoras

1. 1. A prestadora deverá garantir, previamente e durante todo o período de coleta, a divulgação adequada e o fornecimento de esclarecimentos sobre a Pesquisa a todos os usuários pelos meios de atendimentos a seguir Central de Atendimento Telefônico;
   2. Página da prestadora na internet, em local adequado e de fácil visualização;
   3.  Aplicativo da prestadora, em local adequado e de fácil visualização;
   4. Mídias sociais, com periodicidade adequada considerando o desempenho da execução da Pesquisa; e
   5. Mensagem de texto, com periodicidade adequada considerando o desempenho da execução da Pesquisa.

A critério da prestadora poderão ser utilizados outras formas de divulgação adicionais.

Tais informações devem estar disponíveis até a finalização do período de coleta, conforme cronograma anual, constante deste Manual.

A Anatel, por sua vez, tomará as medidas cabíveis para garantir a divulgação e o esclarecimento de dúvidas dos usuários que lhe forem dirigidas, por exemplo, por meio do seu Centro de Atendimento (1331 ou 1332) ou da sua página na internet.

10.4. Segurança da Informação e Confidencialidade das Bases de Clientes

Todos os relatórios e dados das prestadoras recebidos pela Anatel para uso na Pesquisa obedecerão rigorosamente as diretrizes da Lei Geral de Proteção de Dados - LGPD, Lei nº 13.709, de 14 de agosto de 2018 e do Decreto nº 10.046, de 9 de outubro de 2019, que dispõe sobre a governança no compartilhamento de dados no âmbito da administração pública federal e institui o Cadastro Base do Cidadão e o Comitê Central de Governança de Dados.

Nos termos da LGPD, a Anatel é responsável pelas decisões referentes ao tratamento de dados pessoais, no âmbito da Pesquisa, e figura como agente controlador, enquanto a empresa pesquisadora atua como agente operador, uma vez que realiza o tratamento de dados pessoais em nome da Agência. 

A empresa pesquisadora é responsável quando (a) não seguir instruções lícitas do controlador; e (b) descumprir as regras da LGPD. 

Para realizar o tratamento de dados pessoais a Anatel se baseio no inciso III do  artigo 7º da LGPD conjugado com o artigo 26, considerando que:

1. a Pesquisa é objeto de regulamento próprio; e 

2. os dados dela provenientes serão utilizados em análises, tendo em vista a melhoria da qualidade dos serviços de telecomunicações. 

Assim, não é necessário consentimento do titular para que a Anatel receba os dados pessoas das prestadoras de serviços de telecomunicações participantes da Pesquisa e, considerando que a empresa pesquisadora atua na condição de operadora em nome da Anatel, o consentimento também é desnecessário.

Tal consentimento, no entanto, é necessário para que os dados coletados durante a Pesquisa sejam compartilhados com a respectiva prestadora de serviço de telecomunicações sobre a qual a pessoa está sendo entrevistada.

Os dados considerados como pessoais no âmbito da Pesquisa são:

• Em relação aos dados enviados pelas prestadoras para cálculo amostral e sorteio dos contatos a serem entrevistados: CPF, números de telefone;
• Em relação aos dados recebidos ou coletados pela empresa pesquisadora: nome, telefone, renda/faixa de renda, idade/faixa etária e escolaridade.

Dentre esses dados, a Anatel disponibilizará à empresa pesquisadora acesso somente aos números de telefone referentes às amostras selecionadas, dados pessoais estritamente necessários para a execução da Pesquisa.

A empresa pesquisadora é obrigada a observar e guardar, em toda a sua extensão, o sigilo e a confidencialidade tanto das informações recebidas da Agência quanto as coletadas durante a Pesquisa, ficando desde já proibido o compartilhamento destes dados para quaisquer fins que não a coleta desta pesquisa para o ciclo ao qual se refere.

Cabe à empresa pesquisadora demonstrar a adoção de medidas técnicas e organizacionais para a prevenção de incidentes de segurança, especialmente de acessos não autorizados aos dados pessoais de titulares. 

Além disso, a empresa pesquisadora dará conhecimento formal aos seus empregados e terceirizados das obrigações e condições descritas neste item, cujos princípios deverão ser aplicados à coleta e tratamento dos dados pessoais tratados na Pesquisa.

Na hipótese de uma violação de dados pessoais, a empresa pesquisadora informará a Anatel, por escrito, acerca da violação dos dados pessoais, em prazo não superior a 12 (doze) horas a contar do momento em que tomou ciência da violação.

As informações iniciais a serem disponibilizadas pela empresa pesquisadora incluirão, dentre outras:

I - descrição da natureza da violação dos dados pessoais, incluindo as categorias e o número aproximado de titulares de dados implicados, bem como as categorias e o número aproximado de registros de dados implicados;

II - descrição das prováveis consequências ou das consequências já concretizadas da violação dos dados pessoais; e

III - descrição das  medidas adotadas  ou  propostas  para  reparar  a  violação  dos dados pessoais e mitigar os possíveis efeitos adversos.

A empresa pesquisadora deve apoiar a Anatel em todo o processo de resposta ao incidente de segurança que envolva os dados decorrentes da Pesquisa. 

10.5. Guarda e eliminação dos dados oriundos da Pesquisa

Para minimizar os riscos de descumprimento aos dispositivos da LGPD, a empresa pesquisadora deverá eliminar os dados pessoais dos arquivos de bases de dados e as gravações até o prazo máximo de noventa (90) dias, contados a partir da data de publicação dos resultados da Pesquisa, prevista no cronograma anual estabelecido no item 11 deste Manual.

No âmbito da Anatel, os dados pessoais e as gravações serão eliminados em até 24 meses – contados a partir da data de publicação dos resultados da Pesquisa. As exceções serão as gravações selecionadas pela Agência para fazerem parte da escuta de validação.  Neste caso, serão mantidas pelo prazo de 10 (dez) anos, também contados a partir da data acima referida.

Os dados da Pesquisa deverão ser anonimizados sempre que possível, conforme o disposto nos arts. 7º, IV, 11, II, c e 13 da LGPD. 

Caso a anonimização dos dados pessoais não seja possível nem desejada em função de como afeta os resultados almejados, pode-se optar pela pseudonimização.

A recomendação padrão é a anonimização dos dados. No caso de pesquisas em que, em virtude de suas próprias características, a anonimização das informações não seja possível, deve-se redobrar os cuidados com o armazenamento dos dados e os controles de acesso. 

10.6. Do Descumprimento das Disposições contidas no Manual e Casos Omissos

O descumprimento das disposições deste Manual sujeitará as prestadoras às sanções cabíveis, nos termos da legislação e regulamentação aplicáveis.

A Superintendência de Relações com Consumidores irá decidir e atuar sobre qualquer caso omisso neste Manual.

Consulte tabela no documento: 

https://sei.anatel.gov.br/sei/modulos/pesquisa/md_pesq_documento_consulta_externa.php?8-74Kn1tDR89f1Q7RjX8EYU46IzCFD26Q9Xx5QNDbqaGGTyBYTIXXYwv4Ma-X_t--sB236vgaxxXOaUvO-JrqfVadKLi6LKeP0mnPAzC-43Yb4qXTKBNwRxyuchOFtj3