Além disso, a empresa pesquisadora deverá utilizar, quando solicitada pela Agência e de forma justificada, meios de coleta alternativos oferecendo outras formas de participação na Pesquisa, além do meio telefônico.

1. Contribuição ALGAR: Exclusão da utilização de meios de coleta alternativos.

Uma vez atingidas 5 (cinco) tentativas de contato realizadas, sem sucesso, em cada um dos2 (dois) ou mais telefones informados para a unidade amostral (quando informados mais de um telefone), a empresa pesquisadora deve substituir o código de acesso por uma nova observação da amostra. Caso seja verificado que as amostras restantes não serão suficientes para finalizar a Pesquisa, a empresa pesquisadora deverá notificar a Anatel, que estabelecerá uma nova quantidade para a substituição das unidades amostrais com insucesso de contato. 

2. CONTRIBUIÇÃO ALGAR: Alterar de 5 para 10 tentativas de contato. 

1. Justificativa ALGAR: Entendemos que a principal característica da pesquisa por telefone é a sua humanização ainda que haja um aparelho tecnológico como intermediário, a interação provoca a sensação de ser ouvido, é como se dissesse: “a sua opinião é importante para nós”.  

Embora a pesquisa aplicada por meios digitais de coleta respeite mais o espaço do consumidor e viabiliza a coleta em menor tempo muitas pessoas acabam desistindo antes de terminar completamente de preencher o formulário impactando na construção dos dados, principalmente em casos de pesquisas extensas.  

Outro ponto importante é a dificuldade de atingir por meio de canais eletrônicos as classes sociais mais baixas ou idosos. Estes podem ter dificuldade de acesso à internet ou smartphones compatíveis. 

2. JUSTIFICATIVA ALGAR:  Se o desejo é que todos respondam o questionário quanto menor for as tentativas de contato maior será a amostra. O tamanho da amostra deverá ser aumentada para compensar uma possível não resposta.

Ajustes de redação do item 2.4., nos termos abaixo transcritos:

No intuito de aumentar a probabilidade de resposta, a empresa pesquisadora deverá poderá fazer, quando solicitada pela Anatel, caso constatado risco de não finalização de um extrato dentro do cronograma da pesquisa, mediante solicitação da Anatel após debate com as Prestadoras, uma notificação prévia ou posterior à primeira tentativa de contato da unidade primária de amostragem, informando sobre a realização da Pesquisa.

Os parâmetros de notificação, como conteúdo e periodicidade, serão definidos pela Agência e Prestadoras. A forma será através de mensagem de texto para o(s) número(s) do(s) telefone(s) celular(es) de contato(s), informando sobre a relevância da Pesquisa e a importância da participação.

Além disso, a empresa pesquisadora deverá poderá utilizar, quando solicitada pela Agência, de de forma justificada, após amplo debate sobre o formato, assim como análise da efetividade da medida, e com a observância de critérios que garantam a isonomia dos resultados entre as Prestadoras, meios de coleta alternativos oferecendo outras formas de participação na Pesquisa, além do meio telefônico.

Considerando as dificuldades encontradas pela Empresa Pesquisadora para concluir alguns extratos da Pesquisa no ano de 2021, a SKY compreende a proposta de previsão da possibilidade de realização de comunicações pela Empresa Pesquisadora, assim como meios de coleta alternativos às entrevistas pelo meio telefônico nos casos em que houver risco de não conclusão de extratos específicos.

Entretanto, entendemos que esses esforços deverão ser empreendidos em caráter de exceção, após amplo debate com as Prestadoras e Empresa Pesquisadora, com análise dos impactos efetivos dessas ações, considerando que (i) a utilização de meios alternativos para contato com os consumidores pode afetar a isonomia nos resultados da Pesquisa, na medida em que meios diversos de contato atingem públicos diversos, e podem afetar a disposição do consumidor para responder, e como consequência, as respostas; (ii) a adição de canais diversos de comunicação pode ocasionar uma assimetria informacional, com clientes sendo contatados múltiplas vezes, enquanto outros não são contatados, razão pela qual é indispensável um amplo debate sobre a forma como esses contatos eventualmente serão realizados.

Alteração de redação no terceiro parágrafo do item 4, nos termos a seguir transcritos:

A construção dos questionários deve se basear em procedimentos metodológicos de natureza similar aos constantes da literatura de pesquisas e incorporar a experiência de estudos anteriores passados, devendo ser dimensionado de forma a permitir que a  entrevista seja conduzida em tempo razoável, inibindo ocorrências de consumidores abandonarem a entrevista antes de sua conclusão, e  de modo ainda a possibilitar, quando possível, a comparação com resultados obtidos em anos anteriores

Pela experiência com as Pesquisa realizadas nos últimos anos, constata-se que um questionário demasiadamente longo dificulta que a entrevista com os consumidores seja conduzida até o final, ocasionando uma maior dificuldade da Empresa Pesquisadora em finalizar os extratos dentro da amostra estatística fixada.

Alteração de redação do item 10.3., nos termos abaixo transcritos:

Divulgação da Realização da Pesquisa pelas Prestadoras

A prestadora deverá garantir, previamente e durante todo o período de coleta, a divulgação adequada e o fornecimento de esclarecimentos sobre a Pesquisa a todos os usuários pelos meios de atendimentos previstos no Regulamento Geral de Direitos dos Consumidores de Serviços de Telecomunicações, Resolução nº 632, de 7 de março de 2014, como:

1. Central de Atendimento Telefônico;
2. Página da prestadora na internet, em local adequado e de fácil visualização;
3. Aplicativo da prestadora, em local adequado e de fácil visualização;
4. Mídias sociais, com periodicidade adequada considerando o desempenho da execução da Pesquisa; e
5. Mensagem de texto, com periodicidade adequada considerando o desempenho da execução da Pesquisa.

Em caso de constatação de dificuldade na conclusão de extratos da Pesquisa a Anatel poderá, após amplo debate com Empresa Pesquisadora e Prestadoras, determinar medidas adicionais de divulgação da PesquisaA critério da prestadora poderão ser utilizados outras formas de divulgação adicionais.

Os aplicativos das Prestadoras têm como foco reunir funcionalidades para melhorar a experiencia dos clientes, além de viabilizar a existência de mais opções de atendimento, passando por um processo contínuo de curadoria com características muito particulares em comparação a um website. Trata-se de um canal de atendimento estabelecido de forma voluntária pelas Prestadoras, não havendo obrigatoriedade de sua manutenção nos termos do RGC. A obrigatoriedade de inclusão de quaisquer comunicados representa uma complexidade adicional, que pode impactar funcionalidades, e por consequência, a experiência do cliente.

Com relação as redes sociais, por outro lado, quaisquer campanhas de divulgação requerem uma análise criteriosa prévia, como forma de garantir que se alcance o objetivo almejado, havendo pouca margem para segmentar as comunicações para públicos, regiões e extratos específicos que se busca impactar, considerando ainda que se tratam de canais de atendimento não acessados somente por clientes da Prestadora.  

Adicionalmente, há de se ressaltar que os aplicativos e a gestão das mídias sociais variam de empresa para empresa, razão pela qual previsão dessa obrigatoriedade, sem um debate específico sobre o tema, é inaplicável de forma isonômica entre as empresas.

Neste sentido, todas os Regulamentos que operacionalizam políticas públicas executadas pela Anatel, ao determinar quaisquer divulgações pelas Prestadoras, preveem somente a divulgação via website. Neste sentido, a título de exemplo citamos o (i) Regulamento do Conselho de Usuários, aprovado pela Resolução nº 734, de 21 de setembro de 2020 (art. 19, III); (ii) RQUAL, aprovado pela Resolução nº 717, de 23 de dezembro de 2019 (art. 28).

A criação de obrigatoriedade de divulgação da Pesquisa de Satisfação via aplicativo e/ou mídias sociais deveria ser obrigatoriamente precedida de Consulta Pública específica sobre o tema, promovendo um debate com as Prestadoras impactadas, e permitindo que as áreas técnicas responsáveis pela curadoria desses canais fossem ouvidas.

Por essa razão, propomos a manutenção das regras hoje vigentes, com a obrigatoriedade de divulgação da Pesquisa no website, e o fornecimento de informações via Central de Atendimento Telefônico. Quaisquer comunicações adicionais devem ser realizadas apenas em caso de risco a finalização da Pesquisa, após discussão a ser realizada com os times técnicos das Prestadoras, com participação da Empresa Pesquisadora.

Inserir parágrafo:

Sempre que for julgado necessário, com intuito de atender novas demandas de serviços e correções impostas por comportamento dos usuários, será realizada revisão do questionário pela Anatel, com a participação das prestadoras de telecomunicações, empresas de pesquisa e eventuais interessados de expertise no tema.

O tempo médio atual das pesquisas, de aproximadamente 15 minutos segundo informações compartilhadas em reuniões do setor, figura como um dos itens de dificuldade para a produção de entrevistas. É oportuna uma análise setorial em busca de uma diminuição desse tempo com impacto positivo na produção de entrevistas durante o período de coleta.

5. Base de Clientes

A base de clientes corresponde à relação de todo o universo de clientes ativos e elegíveis (isto é, já com as devidas exclusões, conforme o item 2.6), cuja extração deve ser relativa à data de referência, única e uniforme para todos os participantes, definida no item 2.6 deste Manual. A partir desta base, excluídos eventuais registros inválidos, a Anatel realizará o sorteio dos contatos que comporão a remessa inicial de acessos passíveis de ser entrevistados. O arquivo da base de clientes deve conter pelo menos as seguintes informações:

1. Empresa e/ou respectivo CNPJ;
2. Serviço e/ou respectivo código em base corporativa da Anatel;
3. Código do município no IBGE;
4. CPF do titular;
5. DDD e telefone para contato principal; e
6. 1 (um)  DDD e telefone alternativo para contato.

CONTRIBUIÇÃO:

Alterar o item vi. Para:

vi.       1 (um)  DDD e telefone alternativo para contato, preferencialmente um telefone móvel.

JUSTIFICATIVA:

Para que o telefone alternativo do consumidor entregue maio eficácia nas tentativas de contato, recomendamos a orientação sobre um telefone móvel, especialmente para as amostras de serviços fixos.

A base aqui referida deve ser encaminhada em formato aberto, preferencialmente em arquivo do tipo CSV, por meio seguro de transferência disponível na Agência, com controle de acesso. Excepcionalmente, considerando-se a evolução dos formatos e meios para transferência de arquivos, procedimentos diversos podem ser adotados, a critério da Anatel. Orientações específicas sobre o envio dos arquivos devem ser disponibilizadas pela Anatel às prestadoras por meio de publicação no portal da Agência, de acordo com o calendário anual de que trata o item 11 deste Manual.

Informações sobre o quantitativo de acessos ativos, necessárias no processo de validação da base de clientes, serão obtidas pela área coordenadora da Pesquisa, a partir dos dados enviados mensalmente pelas operadoras à Anatel e divulgados no portal da Agência, devendo ser utilizados os dados relativos ao mês de março do ano corrente.

Relatório com essas informações somente deverá ser enviado pelas prestadoras no caso de dificuldades eventuais que impossibilitem o uso tempestivo das informações já disponíveis na Agência ou de inexistência dessas informações. Neste caso, a Anatel demandará às prestadoras participantes da Pesquisa o envio de relatório informando o quantitativo de acessos ativos, tendo como referência de data o mês de março do ano corrente. O relatório, caso solicitado, deverá conter as informações mínimas necessárias para a continuidade da execução da Pesquisa, observado o disposto nos itens “i” a “v” da seção 2.6.

As justificativas se encontram no texto das contribuições.

10.3. Divulgação da Realização da Pesquisa pelas Prestadoras

1. A prestadora deverá garantir, previamente e durante todo o período de coleta, a divulgação adequada e o fornecimento de esclarecimentos sobre a Pesquisa a todos os usuários pelos meios de atendimentos a seguir Central de Atendimento Telefônico;
2. Página da prestadora na internet, em local adequado e de fácil visualização;
3. Aplicativo da prestadora, em local adequado e de fácil visualização;
4. Mídias sociais, com periodicidade adequada considerando o desempenho da execução da Pesquisa; e
5. Mensagem de texto, com periodicidade adequada considerando o desempenho da execução da Pesquisa.

A critério da prestadora poderão ser utilizados outras formas de divulgação adicionais.

Tais informações devem estar disponíveis até a finalização do período de coleta, conforme cronograma anual, constante deste Manual.

A Anatel, por sua vez, tomará as medidas cabíveis para garantir a divulgação e o esclarecimento de dúvidas dos usuários que lhe forem dirigidas, por exemplo, por meio do seu Centro de Atendimento (1331 ou 1332) ou da sua página na internet.

CONTRIBUIR:

Exclusão dos itens “c” e “d”.

JUSTIFICATIVA:

As redes sociais e o aplicativo das prestadoras podem estimular segmentos específicos da base de clientes – a minoria da base de clientes que está presente nesses ambientes.

As justificativas se encontram no texto das contribuições.

2.4. Forma de Coleta

As entrevistas para todos os serviços serão feitas de modo randômico entre os estratos com o uso da técnica de pesquisa por telefone assistida por computador – CATI (Computer Assisted Telephone Interviewing). Isto significa o uso de microcomputadores em rede, controle de amostragem no servidor da rede, discagem automática, marcação de entrevista, consistência de valores aceitos nas perguntas do questionário e geração de estatísticas de entrevistas realizadas. Essa etapa deverá ser complementada pelos controles de qualidade de que tratam as regras da Associação Brasileira das Empresas de Pesquisa (ABEP) e as normas referenciadas no item 10.1 deste Manual.

A empresa pesquisadora receberá da Anatel os lotes contendo o(s) telefone(s) de contato(s) das amostras sorteadas aleatoriamente com as identificações do serviço, da prestadora e da Unidade da Federação (UF), na relação de até 40 x n (quarenta vezes “n”, sendo n o número de amostras) para o envio inicial. Caso necessário, poderão ser enviados lotes extras, quando a empresa pesquisadora indicar dificuldades de completar a coleta para determinados estratos, de acordo com o plano amostral estabelecido. Antes de iniciar a coleta, a base recebida deve ser novamente randomizada pela empresa pesquisadora para, em seguida, iniciar as coletas.

CONTRIBUIÇÃO:

Alterar o texto do parágrafo acima:

A empresa pesquisadora receberá da Anatel os lotes contendo o(s) telefone(s) de contato(s) das amostras sorteadas aleatoriamente com as identificações do serviço, da prestadora e da Unidade da Federação (UF), na relação de até (X) x n (“X” vezes “n”, sendo n o número de amostras) para o envio inicial. (...)

JUSTIFICATIVA:

Entendemos que a quantidade de contatos para a realização de 1 entrevista deve ser reavaliada, chegando em uma quantidade superior à proporção atual de 40 números. Essa solicitação leva em conta o aproveitamento do campo de 2022 e a oportunidade de uma adaptação da quantidade por serviço. Aproveitamento de 2022:

SMP Pós 

- Média total de 130 ligações para realizar uma entrevista

- Média total de 90 números de contatos para realizar uma entrevista

 SMP Pré  

- Média total de 130 ligações para realizar uma entrevista

- Média total de 228 número de contatos para realizar uma entrevista

 SEAC ( TV por assinatura)

 Sem grandes dificuldades

 SCM (Banda larga)

 - Média total de 151 ligações para realizar uma entrevista

- Média total de 54 número de contatos para realizar uma entrevista

STFC :

 - Média total de 200 ligações para realizar uma entrevista

- Média total de 74 número de contatos para realizar uma entrevista

No intuito de aumentar a probabilidade de resposta, a empresa pesquisadora deverá fazer, quando solicitada pela Anatel, uma notificação prévia ou posterior à primeira tentativa de contato da unidade primária de amostragem, informando sobre a realização da Pesquisa.

Os parâmetros de notificação, como conteúdo e periodicidade, serão definidos pela Agência. A forma será através de mensagem de texto para o(s) número(s) do(s) telefone(s) celular(es) de contato(s), informando sobre a relevância da Pesquisa e a importância da participação.

Exclusão dos dois parágragos acima.

JUSTIFICATIVA:

O envio de mensagem de texto prévia informando ao consumidor de que ele foi selecionado para participação de pesquisa está fora das práticas de Pesquisa de Mercado conhecidas pela Claro, para casos de pesquisa quantitativa. O receio que trazemos é quanto à perda de espontaneidade dos respondentes, levanto em conta, principalmente, uma possível preparação de consumidores detratores, que podem enxergar a oportunidade como um canal de reclamação, em detrimento de clientes neutros e promotores. A falta de conhecimento e de testes prévios sobre esse item nos leva à sugestão mencionada.

Além disso, a empresa pesquisadora deverá utilizar, quando solicitada pela Agência e de forma justificada, meios de coleta alternativos oferecendo outras formas de participação na Pesquisa, além do meio telefônico.

Exclusão do parágrago acima.

JUSTIFICATIVA

A utilização de outros meios de coleta da pesquisa, além do meio telefônico, deverá ser considerado em um momento próximo, mas é fundamental pontuar:

• A sequência histórica iniciada na Pesquisa 2021 se perderia a partir da inclusão de outros meios de coleta – conhecimento obtido a partir de diversos estudos internos com diferença significativa de resultados entre coletas telefônica e digital. Lembramos que, por princípio, o processo de pesquisa estabelecido no setor de telecom sempre buscou manter a comparabilidade dos números proporcionando, com isso, o contínuo aprimoramento dos processos de atendimento e prestação dos serviços ao mercado.

• Para a manutenção de uma coleta 100% telefônica em 2023, onde completaremos 3 anos do novo questionário, enxergamos oportunidades de melhoria de produtuvidade, que serão listadas neste documento.

• Para a inclusão futura de um novo método de coleta, existe a necessidade da realização de estudos prévios (incluindo pesquisas piloto), que entreguem confiança nas apurações entre prestadoras e  estratos, além de uma adaptação ao sistema de pontos para o selo RQUAL, devido à nova natureza de dados coletados.

Uma vez atingidas 5 (cinco) tentativas de contato realizadas, sem sucesso, em cada um dos2 (dois) ou mais telefones informados para a unidade amostral (quando informados mais de um telefone), a empresa pesquisadora deve substituir o código de acesso por uma nova observação da amostra. Caso seja verificado que as amostras restantes não serão suficientes para finalizar a Pesquisa, a empresa pesquisadora deverá notificar a Anatel, que estabelecerá uma nova quantidade para a substituição das unidades amostrais com insucesso de contato.

CONTRIBUIÇÃO:

Inserir paragrafo abaixo:

Uma vez atingidas 10 (dez) tentativas de contato realizadas em turnos ou dias diferentes, sem sucesso, em cada um dos 2 (dois) ou mais telefones informados para a unidade amostral (quando informados mais de um telefone), a empresa pesquisadora deve substituir o código de acesso por uma nova observação da amostra. Caso seja verificado que as amostras restantes não serão suficientes para finalizar a Pesquisa, a empresa pesquisadora deverá notificar a Anatel, que estabelecerá uma nova quantidade para a substituição das unidades amostrais com insucesso de contato.

JUSTIFICATIVA:

Consideramos a importância de tentativas divididas em turnos e/ou dias, para que cresça probabilidade de encontrar o consumidor disponível – prática que possivelmente o Instituto contratado já possui, mas que consta aqui por via das dúvidas. Além disso, sugerimos um aumento na quantidade de tentativas a considerar as dificuldades de campo atuais. Entendemos que todos os esforços possíveis devem ser empreendidos visando o completamento dos estratos.

Caso seja utilizada toda a população de determinado estrato, com o limite de tentativas estabelecido no parágrafo anterior, e não tenha atingido o número previsto de entrevistas, o estrato não deve ser considerado para efeito de resultados da Pesquisa.

As justificativas se encontram no texto das contribuições

11. Calendário Anual

Contribuir

CONTRIBUIR / JUSTIFICATIVA

As dificuldades na produção de entrevistas e consequente postergação do campo para Janeiro/2023 apontam a necessidade de um período maior no planejamento de coleta da Pesquisa. Sugerimos uma revisão no cronograma, contado com adaptação e esforços de todos os envolvidos, para 15 de junho a 15 de dezembro.

Ainda contando com os aprendizados dos últimos anos de coleta, vemos a oportunidade de aumentar a frequência do “Envio à Anatel do relatório com o quantitativo de acessos ativos e da base de clientes” para que ocorra a cada 3 (três) meses, com o efeito de retirar da base os consumidores inválidos (não mais clientes) e incluir os novos consumidores.

Caso não seja verificado qualquer prejuízo à Pesquisa, todas as etapas podem ocorrer antes do previsto neste Manual de Aplicação, desde que acordado entre a Anatel e as prestadoras.

Caso os prazos definidos no Calendário Anual sejam feriados nacionais ou fim de semana, o prazo será postergado para o dia útil subsequente.

As justificativas se encontram no texto das contribuições.

CONTRIBUIÇÃO:

INTRODUÇÃO

A CP 82/2022 traz a proposta de Revisão do Manual de Aplicação da Pesquisa para Aferição do Grau de Satisfação e Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações. Trata-se de consulta de grande importância 

pois permite aprimorar o manual, visando a realização mais eficaz, objetiva e precisa das pesquisas de qualidade para o ano de 2023.

É fato que a pesquisa passou a ser extremamente relevante pois seus resultados têm influência direta na determinação do selo de qualidade das prestadoras dos serviços de telecomunicações, que, conforme conceito expresso no RQUAL, se constituem na base de comparação da qualidade do serviço prestado entre as prestadoras.

Desta forma, o referido manual deve ter a maior precisão e detalhamento quanto às suas definições, procedimentos, orientações e padronizações para a operacionalização das pesquisas de modo a permitir a melhor comparação da qualidade dos serviços prestados.

A Oi, visando o aprimoramento necessário deste manual, apresenta suas contribuições devidamente justificadas para as quais gostaria de introduzir as seguintes considerações:

Da necessidade de se rever o questionário aplicado nas pesquisas

Foi observado durante as pesquisas realizadas nos últimos anos que o tempo de duração da entrevista junto ao usuário tem se mostrado excessivamente longo, em torno de 15 minutos. Tal fato foi relatado na última reunião com a Anatel sobre o tema, ocorrida em 26.01.2022, e teve a concordância da equipe técnica da Agência.

Este tempo excessivo tem contribuído para que o usuário evite responder as questões e que até abandone a entrevista antes do seu término. Para que o questionário possa ser mais objetivo e tenha o seu tempo reduzido, defendemos que o mesmo sofra uma revisão das suas questões e propomos que a Anatel promova uma discussão conjunta com as prestadoras de serviços acerca do conteúdo da pesquisa, nos moldes que ocorreu no início de 2022.

Dos modos alternativos de coleta  além do meio telefônico

A entrevista ao usuário por meio de chamada telefônica tem se mostrado ao longo do tempo cada vez mais difícil de ser realizada e, por consequência, tem sido cada vez mais custoso conseguir o total de amostras necessárias.

Com isso, torna-se necessária a evolução na realização das pesquisas com a utilização de modos alternativos de coleta das informações. Todavia, algumas

diretrizes e cuidados devem ser seguidos antes de implantar qualquer método alternativo para que seja obtida, além de maior eficácia e confiabilidade nos resultados, unicidade e comparabilidade dos estratos, padronização da metodologia entre todas as prestadoras de serviço, manutenção do histórico de informações e aplicação dos conceitos comparativos do RQUAL.

Estes cuidados são necessários para que não haja distorção nos resultados da pesquisa com prejuízos para operadoras específicas ou do setor como um todo.

Por isso, antes de suas implantações, é importante que ocorram estudos bem fundamentados, simulações e testes comprovados para adoção de outros meio além do contato telefônico.

Segmentação da banda larga fixa (SCM) em tecnologias fibra e não fibra

Verifica-se, desde as últimas pesquisas, a necessidade de segmentação da pesquisa relativa à banda larga fixa (SCM) em tecnologias fibra e não fibra. É notório e pode ser comprovado através dos resultados das pesquisas de anos anteriores que o nível de satisfação dos clientes atendidos via fibra destoa daqueles atendidos por tecnologias menos eficazes. Além disso, o grau de exigência e conceito de qualidade do consumidor varia de maneira significativa dependendo da intensidade e da complexidade do uso do serviço de banda larga.

Este tema é relevante pois quando temos experiências muito distintas dentro de um mesmo agrupamento, o resultado da nota do grupo poderá ser

determinado muito mais pela composição da planta da prestadora do que pela melhor ou pior qualidade que esta entregou ao cliente.

Além da questão de melhor comparação das prestadoras e menor dependência da sua planta de clientes, a segmentação do resultado com validade estatística é relevante para que possa ser analisada pel(a)os:

1.        consumidores, que terão substrato muito mais qualificado para tomadas de decisão sobre qual operadora é mais bem avaliada num determinado segmento;

2.        prestadoras, que terão com maior clareza temas que devem ser melhorados, dado o interesse cada vez maior na pesquisa como ferramenta de melhoria para as empresas; e

3.        Anatel, que terá ferramenta mais qualificada para acompanhamento e evolução das operadoras.

Acreditamos que esse seja o melhor conceito a ser seguido nas pesquisas de qualidade para a banda larga fixa (SCM) com a segmentação em tecnologia fibra e não fibra antes da consolidação dos resultados e, assim, obter a melhor informação a ser utilizada nos selos de qualidade do RQUAL.

Feitas estas considerações iniciais, apresentamos as contribuições da Oi mais detalhadas para os itens específicos do manual.

No próprio corpo da contribuição.

1) CONTRIBUIÇÃO para o item 2.4 Forma de Coleta, inserir após o 1º paragrafo deste item:

As entrevistas serão realizadas no mesmo período para todas as prestadoras de um mesmo serviço, conforme previsto no cronograma anual.

2) CONTRIBUIÇÃO para o item 2.4 Forma de Coleta, alterar o 2º paragrafo deste item para:

A empresa pesquisadora receberá da Anatel os lotes contendo o(s) telefone(s) de contato(s) das amostras sorteadas aleatoriamente com as identificações do serviço, da prestadora e da Unidade da Federação (UF), na relação de até (X) x n (“X” vezes “n”, sendo n o número de amostras) para o envio inicial. (...)

3) CONTRIBUIÇÃO para o item 2.4 Forma de Coleta, inserir após o 5º paragrafo deste item:

Os meios de coleta alternativos para participação na pesquisa, além do meio telefônico, só poderão ser utilizados quando, após a realização de estudos, simulações e testes, forem obtidas as comprovações das seguintes diretrizes:

• obtenção de maior eficácia e confiabilidade nos resultados das pesquisas;
• manutenção de unicidade e comparabilidade dos estratos;
• padronização da metodologia entre todas as prestadoras de serviço;
• manutenção do histórico de informações, e ;
• correta aplicação dos conceitos comparativos do RQUAL.

4) Contribuição para o item 2.6 Prestadoras Participantes da Pesquisa, alteração da alínea d. e inserção da alínea e. em Universos Pesquisados:

d) Banda Larga Fixa - Serviço de Comunicação Multimídia (SCM), na tecnologia fibra;

e) Banda Larga Fixa – Serviço de Comunicação Multimídia (SCM), na tecnologia não fibra.

1) A coleta em campo deveria seguir um cronograma de priorização por serviço para que as avaliações das prestadoras sejam feitas simultaneamente num mesmo período. Dessa forma, se evita o viés de se entrevistar os consumidores de diferentes prestadoras em períodos distintos e impor a coleta para alguma prestadora em períodos de chuvas ou eventos sazonais o que causa impactos na percepção dos seus clientes em detrimento dos clientes de outras prestadoras.

2) É preciso reavaliar um número maior de contatos para fazer 1 entrevista, de preferência por serviço. A proporção de 40 números está desatualizada. A média total de contatos para cada serviço da última pesquisa mostra o seguinte:

(FONTE: KANTAR, empresa realizadora da pesquisa de qualidade 2022)

SMP Pós 

- Média total de 130 ligações para realizar uma entrevista

- Média total de 90 números de contatos para realizar uma entrevista

 SMP Pré  

- Média total de 130 ligações para realizar uma entrevista

- Média total de 228 número de contatos para realizar uma entrevista

 SEAC ( TV por assinatura)

 Sem grandes dificuldades

 SCM (Banda larga)

 - Média total de 151 ligações para realizar uma entrevista

- Média total de 54 número de contatos para realizar uma entrevista

STFC :

 - Média total de 200 ligações para realizar uma entrevista

- Média total de 74 número de contatos para realizar uma entrevista

3) A Oi considera de forma positiva a discussão de poder aplicar no futuro novas formas de coleta, visto que cada ano fica mais difícil atingir os estratos de algumas UFs apenas com uso do canal telefônico.

No entanto, entendemos que a mudança da metodologia de coleta do feedback do cliente impacta diretamente o resultado, sendo necessário a realização de testes e/ou simulações que comprovem a eficácia destes meios alternativos, além de estudos que levem à conclusão que estes meios proporcionarão uma comparação justa entre as prestadoras e que terão impacto positivo no selo de qualidade, dadas as possíveis divergências de notas entre novos canais e o histórico de avaliação por telefone.

É importante também garantir que todas as prestadoras sejam avaliadas com a mesma metodologia, considerando o período da coleta, e garantir a mesma proporção de pesquisas por cada canal utilizado em todos os estratos.

Deste modo, até que tenhamos as regras bem definidas de como serão feitas as medições e possíveis impactos desta mudança, devidos aos cenários descritos, a coleta deveria ser padronizada apenas pelo canal telefônico.

4) A inclusão da segmentação da banda larga fixa (SCM) em tecnologias fibra e não fibra é necessária neste manual e se justifica considerando os seguintes argumentos:

Dada a efervescência e evolução do mercado de telecomunicações com a demanda cada vez maior de consumidores por tecnologias mais modernas e que garantam experiências de cada vez maior excelência, entendemos como salutar que haja a possibilidade de rediscussão no manual, de possível segmentação nos serviços pesquisados, tornando a construção da pesquisa mais flexível.

No caso específico, a proposta é segmentar a banda larga fixa (SCM) em tecnologia fibra e não fibra. Esta maior segmentação pode ser de muita utilidade dado o crescimento das plantas com tecnologias mais modernas nas redes das prestadoras e por sabermos que o grau de exigência e conceito de qualidade varia de maneira significativa de acordo com a intensidade e a complexidade do uso dos serviços de telecomunicações pelos usuários.

Este tema é relevante pois quando temos experiências muito distintas dentro dos agrupamentos de um mesmo serviço, o resultado da nota do grupo poderá ser determinado muito mais pela composição da planta da prestadora do que pela melhor ou pior qualidade que esta entregou ao cliente.

Além da questão de melhor comparação entre prestadoras e da menor dependência da sua planta de clientes, a segmentação do resultado com validade estatística é relevante para que possa ser analisada pel(a)os:

1.        consumidores, que terão substrato muito mais qualificado para tomadas de decisão sobre qual operadora é mais bem avaliada num determinado segmento;

2.        prestadoras, que terão com maior clareza temas que devem ser melhorados, dado o interesse cada vez maior na pesquisa como ferramenta de melhoria para as empresas; e

3.        Anatel, que terá ferramenta mais qualificada para acompanhamento e evolução das operadoras.

Nesse contexto, a segmentação proposta no SCM por esta contribuição ao manual  representaria um avanço na qualificação das informações da pesquisa.

CONTRIBUIÇÃO:

Inserir após 8º parágrafo:

Sempre que for julgado necessário, com intuito de atender novas demandas de serviços e correções impostas por comportamento dos usuários, será realizada revisão do questionário pela Anatel, com a participação das prestadoras de telecomunicações, empresas de pesquisa e eventuais interessados de expertise no tema.

Necessidade de se rever o questionário aplicado nas pesquisas:

Foi observado durante as pesquisas realizadas nos últimos anos que o tempo de duração da entrevista junto ao usuário tem se mostrado excessivamente longo, em torno de 15 minutos, fato que teve a concordância da equipe técnica da Anatel e foi relatado nas memórias da última reunião convocada pela Agência sobre o tema, documento SEI 9621495 nos autos do processo 53500.330461/2022-53, ocorrida em 26.12.2022, com o seguinte trecho abaixo transcrito:

“MEMÓRIA DE REUNIÃO

 Data: 26/12/2022 

Horário: 16:00 – 17:00

Local: Reunião realizada de forma remota, pelo aplicativo Microsoft Teams

Objetivos:

•         Apresentar as alterações do manual da Pesquisa propostas – Consulta Pública nº 82, de 21/12/22 - Revisão do Manual de Aplicação da Pesquisa para Aferição do Grau de Satisfação (Disponível em: https://www.gov.br/anatel/pt-br -> Acesso à Informação -> Participação Social -> Consultas Públicas).

•         Apresentar o refinamento no cálculo utilizado para a consolidação dos resultados dos índices de satisfação e de qualidade percebida para as modalidades pós-paga e prépaga do serviço de telefonia móvel.  e que teve a concordância da Agência.

(...)

Após apresentação das alterações do Manual da Pesquisa, a Anatel ouviu as colocações das prestadoras e respondeu às dúvidas apresentadas. Os principais pontos de questionamento foram sobre a dilação do prazo da consulta pública, métodos de coleta multi mode e duração das entrevistas.

(...)

Outro ponto de preocupação das prestadoras é a longa duração das entrevistas da pesquisa, que de acordo com o Srº Walter, apresenta uma média de 15 (quinze) minutos e pode contribuir para a recusa dos consumidores em responderem à pesquisa. A servidora Débora Luzia Penha Couto concordou que o tempo atual das entrevistas é longo e informou que a Anatel estuda possibilidades de redução de duração das entrevistas.”

Realmente este tempo excessivo das entrevistas tem contribuído para que o usuário evite responder as questões e que até abandone a entrevista antes do seu témino. Para que o questionário possa ser mais objetivo e tenha o seu tempo reduzido, sugerimos que o mesmo sofra uma revisão das suas questões e propomos que a Anatel promova uma discussão conjunta com as prestadoras de serviços do seu conteúdo (como ocorreu no inicio de 2022) e que a revisão desse questionário esteja prevista no manual sempre que se julgar necessário.

Alterar o subitem vi. para:

vi. 1 (um)  DDD e telefone alternativo para contato, preferencialmente um telefone móvel

É fundamental que o telefone alternativo para contato seja o mais confiável possível e do serviço de maior penetração, por isso é recomendável que este telefone alternativo seja um móvel, principalmente nas listagens dos serviços fixos.É fundamental que o telefone alternativo para contato seja o mais confiável possível e do serviço de maior penetração, por isso é recomendável que este telefone alternativo seja um móvel, principalmente nas listagens dos serviços fixos.

CONTRIBUIÇÃO: Alterar no calendário anual algumas datas de prazo para permitir maior duração da coleta dos dados da Pesquisa em campo. (as alterações propostas estão entre parenteses na coluna Prazo da tabela abaixo)

Prever no período de coleta um cronograma sequencial por serviço para que as prestadoras de um mesmo serviço sejam avaliadas simultaneamente num mesmo período.

Observou-se nos 2 últimos anos a grande dificuldade de conclusão dos estratos com um prazo de coleta de 15/07 até 15/11, pois está mais difícil concluir as entrevistas junto aos usuários pelo maior volume de não atendimento do contato telefônico ou abandono da entrevista. Por isso propõe-se que o início da coleta seja antecipado para 01/06 com a revisão dos prazos dos eventos anteriores ao seu início.

A coleta em campo deveria seguir um cronograma de priorização por serviço para que as avaliações das prestadoras sejam feitas simultaneamente num mesmo período. Dessa forma, se evita o viés de se entrevistar os consumidores de diferentes prestadoras em períodos distintos e impor a coleta para alguma prestadora em períodos de chuvas ou eventos sazonais o que causa impactos na percepção dos seus clientes em detrimento dos clientes de outras prestadoras.

A TIM agradece a oportunidade de participar da presente Consulta Pública realizada pela Anatel para debate e aperfeiçoamento da proposta de revisão do Manual de Aplicação da Pesquisa para Aferição do Grau de Satisfação e entende que a proposta ora apresentada pela Anatel apresenta uma forma, por uma perspectiva de cautela, que a Agência encontrou para contornar problemas identificados ao longo da pesquisa atualmente em andamento, conforme Informe nº 02/2023/RCIC/SRC:

3.5. Inicialmente informamos que a Anatel corrobora a necessidade de estudo aprofundado sobre os possíveis impactos que uma pesquisa multi mode poderia acarretar nos resultados da pesquisa, inclusive com a realização de estudo piloto.

3.6. Porém, atualmente, não existe qualquer previsão no manual de outra forma de coleta a não ser via telefone, sendo assim importante sua atualização.

3.7. Reiteramos que tendo em vista as dificuldades enfrentadas para a finalização da Pesquisa para Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações 2022, conforme disposto no Informe nº 14/2022/RCIC/SRC (SEI 9451282), é importante que as alterações do manual propostas, especialmente as que visam possibilitar o uso de estratégias para aumentar a taxa de resposta da pesquisa, como o envio de SMS pela empresa pesquisadora, sejam válidas em 2023. Assim, é necessária a publicação do manual até dia 1 de março de 2023, conforme o item 11. Calendário Anual do manual vigente. (grifos nossos)

Entretanto, entendemos que há necessidade dessa Agência de evitar alterações como as dispostas no Informe supracitado de modo a afastar insegurança e imprevisibilidade no processo de pesquisa e, consequentemente, na definição do selo de qualidade previsto no RQUAL e no Termo de Ajustamento de Conduta nº 1/2020 – e seu primeiro aditivo –, conforme autos do processo nº 53500.030084/2020-93.

Alterações tanto na série histórica iniciada em 2021, como na pesquisa em andamento e na pesquisa que se iniciará esse ano, podem gerar efeitos negativos não exaustivamente debatidos e testados no âmbito de uma pesquisa/projeto piloto que consiste, conforme proposta do item 6.8, no seguinte:

A empresa pesquisadora deve fazer, quando solicitada pela Anatel e desde que evidenciada a necessidade, rodada de entrevistas a título de Pesquisa piloto, com informação prévia às prestadoras participantes. As pesquisas piloto de cada serviço devem ser submetidas a pelo menos 100 (cem) e no máximo 200 (duzentos) respondentes. Havendo a necessidade de adequação ao questionário, caberá à Anatel efetuar os ajustes cabíveis e tomar a decisão final a respeito.

Todos os resultados da Pesquisa piloto devem ser entregues à Anatel em até 10 (dez) dias após seu término. Tão logo sejam avaliados pela Anatel, tais resultados serão encaminhados pela própria Agência às Prestadoras, que não deverão divulgá-los.

As pesquisas piloto têm o propósito de orientar as pesquisas principais e, por este motivo, seus resultados somente serão tornados públicos após a divulgação dos resultados da Pesquisa à qual está relacionada. (grifos nossos)

Por esse motivo, a TIM entender ser fundamental a realização de um piloto com uma amostra reduzida de usuários de forma a testar novos procedimentos de coleta e divulgação, com amplo debate entre Anatel, prestadoras e empresa pesquisadora, sem que haja risco de impacto nas pesquisas em curso e dos próximos ciclos.

Além do mais, a pesquisa em andamento, de fato, evidenciou dificuldades com a realização de entrevistas por meio de contatos telefônicos. Contudo, entendemos que há alterações menos profundas que podem aumentar a taxa de sucesso de tentativas, tais como:

• Aumento de tentativas de contato telefônico de 5 para, pelo menos, 10;

• Garantia de maior diversificação de horários de tentativas;

• Utilização de lista de tentativas de contatos sem sucesso, ao final das amostras disponíveis;

Conforme colocado anteriormente, alterações mais profundas, devem ser endereçadas por meio da realização de um piloto, mediante discussões entre as operadoras, Anatel e Instituto de pesquisa, de forma a avaliar os impactos de novas formas de metodologia de cálculo dos indicadores, divulgação da pesquisa e de coletas de dados. Tal cautela é necessária, pois as alterações abaixo podem gerar uma espécie de efeito dominó no ISG, no IQP, Selo de Qualidade e no TAC, não somente da TIM, mas de outras prestadoras também:

• Notificação prévia e posterior para usuários selecionados;

• Utilização de novos calibradores para informações do SMP, cabendo ressaltar que os calibradores devem sempre ser definidos mediante prévia discussão com as prestadoras e sem alteração dos resultados de períodos passados;

• Inclusão de métodos alternativos de coleta, além do telefônico que podem distorcer resultados;

• Divulgação em canais digitais pelas prestadoras como, por exemplo, apps e redes sociais;

Nesse sentido, vale registrar que é de suma importância que novos meios de coleta e divulgação, tal como exposto acima, sejam corretamente valorados, no âmbito de uma pesquisa/projeto piloto, haja vista potencial risco de aumento de custos para empresa pesquisadora, implicando repactuação de contrato vigente até 2024 e ameaçando, em algum grau, verdadeira premissa basilar da segurança jurídica para as prestadoras participantes do processo de pesquisa.

Sendo o que cabia, em linha com os questionamentos trazidos por essa d. Agência, a TIM passa a apresentar suas contribuições específicas, muitas delas sugeridas com a intenção de conferir ainda maior transparência ao processo de pesquisa, e se mantém à inteira disposição dessa Agência para dar continuidade ao diálogo transparente e técnico que merece o tema, com votos de elevada estima e consideração.

Especificamente em relação ao item 01:

Alteração de texto:

O Manual de Aplicação da Pesquisa para Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações (Pesquisa), previsto no Regulamento das Condições de Aferição do Grau de Satisfação e da Qualidade Percebida Junto aos Usuários de Serviços de Telecomunicações (Resolução nº 654, de 13 de julho de 2015), tem por objetivo prover orientações, às prestadoras de telecomunicações, à Anatel e à empresa pesquisadora contratada, acerca das características, prazos a serem cumpridos e procedimentos que devem ser observados em sua condução.

A TIM entende que uma das informações mais relevantes no Manual para orientar Anatel, prestadoras e empresa pesquisadora, no percurso da pesquisa, é a definição clara de prazos de atividades a serem cumpridas em um calendário confiável, tal como previsto no item 11 da presente proposta.

A divulgação do calendário confere visibilidade de todos os prazos que envolvem as partes impactadas pelo Manual e, por esse motivo, a TIM sugere o provimento dos prazos a serem cumpridos como um dos objetivos do Manual, guiando, de forma segura, todas as partes envolvidas no procedimento de aferição do grau de satisfação e da qualidade percebida junto aos usuários de serviços de telecomunicações.

Ainda em relação à contribuição, é importante registrar a importância de acrescentar a Agência como parte que deve necessariamente ser destinatária das orientações dispostas no Manual ora em debate, uma vez que há comandos direcionados à Anatel, conforme exemplificado abaixo:

• Item 5 referente ao tópico sobre “Base de Clientes”, em que consta que:

               “a Anatel realizará o sorteio [...]”,

• Item 6.6 referente ao tópico sobre “Seleção da Amostra”, em que consta que:

              “a seleção das amostras será realizada pela Anatel [...]”,

• E outros tópicos/disposições ao longo do Manual, além de toda a parte principiológica do Manual.

   

Contribuição

Inclusão de texto:

(...)

• Satisfação Geral do Consumidor (SG): avaliação do consumidor acerca do resultado de sua relação de consumo junto a determinada prestadora. Este indicador é composto pela pergunta de Recomendação, pela pergunta de Satisfação e pela pergunta de intenção de continuar como cliente
• Contratação de Ofertas/Planos

• Capacidade de Resolução

Justificativa

A TIM entende que é importante a descrição, dentro da dimensão SG, das perguntas que compõem o indicador, uma vez que este é o principal indicador para o cálculo do selo de qualidade e possivelmente o mais transparente para melhor entendimento da condução e do resultado da pesquisa.

No que tange à inclusão das novas dimensões de “Contratação de Ofertas/Planos e ‘Capacidade de Resolução’, vale registrar que as mesmas já existiram na pesquisa até 2020 e refletem jornadas importantes na experiencia do cliente que atualmente não são abordadas de forma específica e assertiva na pesquisa.

No procedimento atual de pesquisa, a dimensão de ‘Capacidade de Resolução’ se limita à avaliação do usuário quanto à rapidez e facilidade para conseguir o que queria através do canal de atendimento, sem avaliação efetiva da capacidade de resolução da operadora para a solicitação do usuário e detalhamento do tema da solicitação (recarga, cobrança, funcionamento da internet e etc).

Alteração de texto

Além de avaliar a experiência, satisfação e a qualidade percebida, os questionários também poderão incluir perguntas que avaliem o comportamento do consumidor em relação aos serviços prestados e à respectiva prestadora, além de questões que permitam entender o perfil sociodemográfico dos entrevistados, sem prejuízo da qualidade do fluxo do questionário e concisão deste documento, evitando extensões de questionário desnecessárias ao objetivo da pesquisa.

O questionário aprovado pela Anatel não pode ser alterado sob nenhuma hipótese sem o consentimento da Agência e das prestadoras. Qualquer script padrão utilizado pelos entrevistadores deve ser previamente aprovado pela Anatel e comunicado às prestadoras.

O questionário deverá ser alinhado com as prestadoras pelo menos 1 mês antes do envio para a empresa pesquisadora pela Anatel.

Justificativa

A TIM entende que o questionário é o alicerce da pesquisa, uma vez que concentra as perguntas e dimensões avaliadas. Por esse motivo, as prestadoras podem contribuir significativamente para a constante melhoria desses questionários, uma vez que possuem corpo técnico especializado em pesquisa de mercado.

Sendo assim, conforme a contribuição acima, é de suma importância que seja definido um prazo para alinhamento prévio do questionário com as prestadoras de serviços de telecomunicações, antes do envio à empresa pesquisadora.

Inclusão de texto

A base aqui referida deve ser encaminhada em formato aberto, criptografado e enviado por um canal seguro. preferencialmente em arquivo do tipo CSV, por meio seguro de transferência disponível na Agência, com controle de acesso. Excepcionalmente, considerando-se a evolução dos formatos e meios para transferência de arquivos, procedimentos diversos podem ser adotados, a critério da Anatel. Orientações específicas sobre o envio dos arquivos devem ser disponibilizadas pela Anatel às prestadoras por meio de publicação no portal da Agência, de acordo com o calendário anual de que trata o item 11 deste Manual.

(...)

Relatório com essas informações somente deverá ser enviado pelas prestadoras no caso de dificuldades eventuais que impossibilitem o uso tempestivo das informações já disponíveis na Agência ou de inexistência dessas informações. Neste caso, a Anatel demandará às prestadoras participantes da Pesquisa, após consenso e amplo debate – entre as partes impactadas – com prazo mínimo de 3 semanas entre pedido de geração do relatório quantitativo e entrega, o envio de relatório informando o quantitativo de acessos ativos, tendo como referência de data o mês de março do ano corrente,. O relatório, caso solicitado, deverá conter as informações mínimas necessárias para a continuidade da execução da Pesquisa, observado o disposto nos itens “i” a “v” da seção 2.6.

Justificativa

A TIM entende que a inclusão de obrigatoriedade da base conter dados criptogrados é de suma importância para adequar a proposta de Manual aos preceitos da Lei Geral de Proteção de Dados Pessoais (LGPD).

Além disso, a TIM aproveita para registrar a necessidade de estabelecimento de um prazo – de pelo menos 3 semanas – para a geração de relatórios quantitativos detalhados sobre a base de clientes,  haja vista a natural morosidade e complexidade de processos internos  necessários para a correta geração das informações em discussão.

Logo, ao excluir do Manual os critérios de geração dos relatórios de forma a dar discricionariedade à Anatel para solicitar o Relatório Quantitativo gera-se risco de que tais critérios sejam definidos sem tempo hábil para que as operadoras possam ajustar seus processos internos de geração das informações.

Alteração/Exclusão de texto - Item 6.7

6.7. Uso de Calibradores

Toda amostra estratificada planejada desproporcionalmente necessita da aplicação de calibradores para que, quando for interpretada, represente a população-alvo.

Para tanto haverá realização de amplo debate prévio junto às prestadoras de serviços de telecomunicações, para correta definição dos calibradores e identificação dos seus impactos não somente em relação à pesquisa, mas em outros assuntos da Agência tratados por outras Superintendências, sem alterar resultados de períodos passados.

Os calibradores utilizados neste estudo, para os serviços descritos no item 2.7, são resultados da seguinte fórmula:

 Fórmulas disponíveis no documento: 

https://sei.anatel.gov.br/sei/modulos/pesquisa/md_pesq_documento_consulta_externa.php?8-74Kn1tDR89f1Q7RjX8EYU46IzCFD26Q9Xx5QNDbqaGGTyBYTIXXYwv4Ma-X_t--sB236vgaxxXOaUvO-JrqfVadKLi6LKeP0mnPAzC-43Yb4qXTKBNwRxyuchOFtj3

Alteração de texto - Item 6.8 

6.8. Pesquisa Piloto

A empresa pesquisadora deve fazer, quando solicitada pela Anatel ou Prestadoras e desde que evidenciada a necessidade, rodada de entrevistas a título de Pesquisa piloto, com informação prévia às prestadoras participantes. As pesquisas piloto de cada serviço devem ser submetidas a pelo menos 100 (cem) e no máximo 200 (duzentos) respondentes. Havendo a necessidade de adequação ao questionário, caberá à Anatel e às Prestadoras o alinhamento e realização de ajustes cabíveis.

Todos os resultados da Pesquisa piloto devem ser entregues à Anatel e às Prestadoras em até 10 (dez) dias após seu término. Tão logo sejam avaliados pela Anatel, tais resultados serão encaminhados,  em prazo razoável a ser definido no bojo da discussão sobre a formatação da pesquisa piloto, pela própria Agência às Prestadoras, que não deverão divulgá-los.

As pesquisas piloto têm o propósito de orientar as pesquisas principais e, por este motivo, seus resultados somente serão tornados públicos após a divulgação dos resultados da Pesquisa à qual está relacionada.

Justificativa Item 6.7

A TIM entende que, assim como sinalizado em outras contribuições, é fundamental que eventuais alterações promovidas pela Agência sejam endereçadas no âmbito de projetos pilotos (conforme previsto no item 6.8 da presente proposta), com amplo conhecimento e debate entre Regulador e prestadoras, haja vista os riscos para as metas de qualidade do RQUAL e compromissos assumidos em sede de TAC.

Os calibradores são instrumentos importantes em pesquisas, mas sua aplicação deve ser precedida da maior cautela possível, sem alterar séries históricas utilizadas para o TAC, por exemplo, e com a maior transparência possível em relação a eventuais refinamentos de indicadores de serviços de telecomunicações, principalmente referentes ao SMP.

Por esse motivo, ainda que a priori o refinamento de indicadores do SMP pareça interessante à realização da pesquisa, seu efeito não deve ser aplicável a períodos passados.

Justificativa Item 6.8

A TIM entende que, conforme contribuições anteriores, é fundamental que haja transparência sobre procedimentos que possam a vir impactar pesquisas em andamento e séries históricas conhecidas, haja vista a utilização da pesquisa em discussão, para composição de indicadores do RQUAL e para acompanhamento de metas do TAC da TIM (e de outras prestadoras).

Sendo assim, impende registrar a necessidade de envolvimento das prestadoras em todas as fases deo planejamento, andamento e resultados do piloto, de forma a permitir a evolução do modelo de pesquisa de forma colaborativa entre Regulador e prestadoras.

Primeiramente, a Telefônica parabeniza e apoia a iniciativa dessa Agência em revisar o Manual de Aplicação da Pesquisa de Satisfação e Qualidade Percebida junto aos Usuários de Serviços de Telecomunicações, de modo a capturar oportunidades identificadas nos últimos ciclos desta Pesquisa, buscando sempre manter a integridade e a comparabilidade de seus resultados históricos e entre Prestadoras.

Vale destacar que a Pesquisa de Satisfação e Qualidade Percebida, ao longo dos anos, passou a ser um instrumento importante na avaliação da qualidade do serviço Prestado não só no escopo da Resolução nº 654, de 13 de julho de 2015, mas seus resultados passaram a compor também o selo de qualidade das Prestadoras conforme o Regulamento de Qualidade dos Serviços de Telecomunicações – RQUAL, além de compor também os compromissos assumidos nos Termos de Ajustamento de Conduta (TAC) celebrados com Prestadoras de serviços de telecomunicações.

Assim, as alterações neste manual devem considerar não só os desdobramentos nos resultados da pesquisa em si, mas também os desdobramentos em todos os demais instrumentos regulatórios que utilizam estes resultados.

Em relação as alterações propostas por essa Agência, percebe-se que muitas destas estão relacionadas a ações que visam contribuir para o cumprimento do plano amostral planejado, o que também é uma preocupação desta Prestadora. Porém, é oportuno destacar que, diferente dos anos anteriores, a realização da pesquisa em 2022 apresentou particularidades que impactaram substancialmente o cronograma planejado:

• Aumento do volume de entrevistas em 7,18% (5.924 entrevistas) para composição do plano amostral das empresas resultantes da venda da Oi Móvel (as “SPEs” Galiarva, Cozani e Jonava).
  • Este aumento por si só, em condições normais de produtividade da empresa pesquisadora, já dilataria o prazo necessário para realização de todas as entrevistas em aproximadamente 7 dias (considerando a produtividade média da empresa pesquisadora de 824 entrevistas/dia).
  • Entretanto, as informações de clientes destas empresas ficaram desatualizadas rapidamente, uma vez que houve um volume elevado de desconexões realizados no segundo semestre de 2022 em relação a março/22 (data base do envio das informações dos clientes). Este fato potencializou o impacto no prazo necessário para a realização de todas as entrevistas, em função da efetividade de contato com os clientes destas “SPEs” ter sido muito menor que das demais empresas participantes da pesquisa.
  • Para a pesquisa de 2023 não haverá este impacto uma vez que as empresas “SPEs” já estarão totalmente incorporadas às suas compradoras.
• Historicamente a atividade econômica no Brasil reduz drasticamente nos dias de jogos da Seleção Brasileira na Copa do Mundo de Futebol. Nestes dias, a efetividade de contatos para entrevistas cai na mesma proporção, sendo um dia em que pouquíssimas entrevistas conseguiram ser realizadas. Apenas este fato já adiciona 5 (cinco) dias ao prazo necessário para a realização das entrevistas.
• O grande volume de pesquisas concorrentes realizadas em 2022, especialmente durante o período eleitoral, somado a percepção negativa sobre os contatos de telemarketing no decorrer do período das entrevistas, influenciaram no aumento da desistência e recusa de participação das entrevistas.
• As dificuldades operacionais da empresa pesquisadora para atender as determinações do Despacho Decisório nº 160/2022/COGE/SCO, que trata das chamadas de curta duração, reduziram o volume de entrevistas no início da vigência deste despacho, impactando no cronograma de entrevistas.

Os pontos acima elencados reforçam que o ano de 2022 foi atípico para a realização da pesquisa, mas percebe-se que foram eventos pontuais que não devem se repetir na pesquisa de 2023.

Não obstante a este fato, a Telefônica entende como benéfico a revisão do manual para agregar iniciativas e mecanismos que podem incrementar e melhorar o processo de entrevistas de modo a alcançar o plano amostral definido.

Como exemplo de uma boa iniciativa que foi adotada em 2022 foi a atualização dos contatos dos clientes informados em março/22 no decorrer da pesquisa. Esta atualização contribuiu para aumento da produtividade ao reduzir o efeito das desconexões, mantendo o público alvo, sem inclusão de novos consumidores.

Como referência da importância desta atualização, se considerarmos uma desconexão média de 2,8% da base ao mês (valores comuns no mercado de telecomunicações), aproximadamente 22% dos clientes, informados em março/22, não serão mais elegíveis à pesquisa ao final do cronograma de entrevistas, impactando de forma significativa a efetividade dos contatos.

Por outro lado, outras iniciativas propostas pela Agência, apesar de serem um caminho possível para o futuro da pesquisa, carecem de um aprofundamento melhor antes de serem implementadas, como por exemplo, a adoção de meios de coleta alternativos como forma para a participação na Pesquisa.

Como a própria agência reconheceu em reuniões com as Prestadoras, mudanças disruptivas na forma da pesquisa precisam ser devidamente estudadas antes de serem implementas. Neste sentido, a Telefônica entende que neste momento a proposta de adoção de um meio alternativo de coleta deve se limitar a estudar e delimitar a metodologia que será utilizada, deixando para uma próxima revisão deste manual a possível definição quanto a utilização destes meios alternativos, se mostrarem viáveis.

Este estudo preliminar para descrever a metodologia que será aplicada é necessária para mitigar possíveis desdobramentos nos resultados da pesquisa, que podem comprometer a comparabilidade dos resultados históricos entre as empresas/produtos em função do viés intrínseco que esses meios alternativos possuem.

Assim, a Telefônica reitera a importância da avaliação destes meios alternativos na participação na pesquisa, porém é fundamental a realização de estudos que tragam subsídios para a construção de uma metodologia precisa, antes da adoção destes meios alternativos nos resultados da pesquisa.

A Telefônica materializará nos itens abaixo as contribuições que entende ser importante para a evolução deste manual de aplicação e fica a disposição dessa Agência para esclarecimentos que se fizerem necessários.

Contexto inicial com a visão da Telefônica sobre a consulta pública e com os principais pontos que serão abordados na contribuição

Existe a oportunidade de melhorar a efetividade do contato para entrevista se as informações dos clientes inicialmente indicados forem atualizadas no decorrer da pesquisa. As atualizações das informações dos clientes realizadas na pesquisa de 2022 se mostraram eficientes para alavancar os contatos efetivos. Logo, recomenda-se a manutenção desta iniciativa no cronograma da pesquisa com o objetivo de aumentar a probabilidade de contato e por consequência alcançar o volume de entrevistas necessárias para cumprir o plano amostral.

Como se sabe, o mercado de telecomunicações é muito dinâmico em termos de movimentações de clientes entre Prestadoras,  com o início das entrevistas em julho, com a data base de março, é natural que no público elegível a pesquisa estejam consumidores que já não fazem mais parte da base de clientes da Prestadora, reduzindo a efetividade dos contatos e aumenta o cronograma para execução do plano amostral.

Para dar a dimensão deste problema, um produto de telecomunicações que possua uma taxa de desconexão média de 2,8% ao mês, valores próximos a realidade do mercado, terá aproximadamente 22% de clientes desconectados ao final do cronograma, ou seja, quase um quarto do público que inicialmente era elegível à pesquisa não será mais, o que pode impactar de forma significativa a efetividade dos contatos.

Assim, a Telefônica entende ser importante a atualização das informações dos clientes inicialmente indicados no segundo mês de realização da pesquisa e até 30 dias antes do término da pesquisa, porém sem a inclusão de novos clientes.

Contribuição

Inclusão de texto

A Anatel dará às prestadoras conhecimento dos resultados globais previamente à sua publicação, de forma a possibilitar em prazo razoável o endereçamento de manifestação pelas prestadoras que possa contribuir para a correta divulgação dos resultados.

Justificativa

A TIM entende que é fundamental que haja prazo razoável, a ser definido em conjunto com as Prestadoras e Anatel, para endereçamento de ponderações que podem contribuir para a divulgação de resultados, tornando o procedimento de pesquisa o mais colaborativo e transparente possível.

Contribuição

Inclusão de texto

(...)

O calendário do link SEI deve ser alterado para contemplar a antecipação do prazo de 31/03 para 15/03 para a publicação das instruções sobre formatos e procedimentos de envio do relatório com o quantitativo dos acessos ativos e das bases de clientes 

Justificativa

No âmbito do calendário anual, a TIM entende que como o prazo para a geração das informações necessárias da base de clientes (1 mês) é curto, seria melhor termos antes do dia 31/03 todas as informações e orientações necessárias para agilizar a demanda de geração dessas informações junto à nossa área de TI de forma a sermos assertivos nas especificações de extração de bases e cumprirmos o prazo com maior qualidade.

Contribuição Item 2.1

Alteração de texto

O objetivo da Pesquisa é subsidiar a Anatel com informações para melhoria da regulação dos serviços de telecomunicações no Brasil, sob a ótica da experiência, satisfação e qualidade percebida em relação aos produtos adquiridos e serviços prestados aos consumidores de telecomunicações ao ciclo de vida e especificações dos produtos e serviços adquiridos pelo consumidor, de modo, inclusive, a prover seus resultados para a composição do selo de qualidade previsto no Regulamento de Qualidade dos Serviços de Telecomunicações (RQUAL), aprovado pela Resolução nº 717, de 23 de dezembro de 2019.

Contribuição Item 2.2

Inclusão de texto:

(...)

Além disso, mudanças metodológicas não devem impactar os resultados dos indicadores da série histórica, com alterações de resultados de anos anteriores ao corrente da consolidação da pesquisa e pesquisas que porventura que estejam em curso.

Impactos em pesquisas futuras devem ser amplamente debatidos e aprovados previamente, mediante consulta pública, constituição de grupo de trabalho e realização de pesquisa pilotos, conforme previsto no item 6.8 do Manual, sempre com participação de prestadoras e Anatel.

Contribuição Item 2.3

Alteração de texto

Variável de Estratificação: variável utilizada no processo de amostragem aleatória estratificada, cuja característica permite a divisão da População-alvo em estratos (grupos homogêneos) de usuários, para cada serviço a ser pesquisado. Para fins dessa Pesquisa, a variável de estratificação será a combinação de Unidade da Federação, prestadora e serviço (SMP Pré-Pago, SMP Pós-Pago, STFC, SCM ou SeAC).

Contribuição Item 2.4

Alteração de texto e exclusão (com texto tachado)

(...)

No intuito de aumentar a probabilidade de resposta, a empresa pesquisadora deverá fazer, quando comprovadamente for necessário, justificável e acordado solicitada pela Anatel   previamente entre Anatel, prestadoras e empresa pesquisadora, uma notificação prévia ou posterior à primeira tentativa de contato da unidade primária de amostragem, informando sobre a realização da Pesquisa. Em 2023 esta notificação, se necessária, será em caráter de teste e aplicado a uma parcela de não mais de 5% da amostra de cada serviço. Esta notificação será encarada como projeto piloto e sem impacto aos atuais custos contratados da Pesquisa.

Os parâmetros de notificação, como conteúdo e periodicidade, serão acordados entre Anatel, prestadoras e instituto de pesquisa. A forma será através de mensagem de texto para o(s) número(s) do(s) telefone(s) celular(es) de contato(s), informando sobre a relevância da Pesquisa e a importância da participação

Além disso, a empresa pesquisadora deverá utilizar, quando solicitada pela Agência e de forma justificada, meios de coleta alternativos oferecendo outras formas de participação na Pesquisa, além do meio telefônico.

Assim, de forma a avaliar e implementar futuramente formas alternativas de coleta das entrevistas, poderá ser feito um piloto com entrevistas realizadas através de outro método que não o telefônico, a ser definido e alinhado por um grupo de trabalho composto por Anatel, Prestadoras e empresa pesquisadora, com vistas a definir parâmetros que possam, eventualmente, compor outros ciclos que não os já contratados junto à empresa pesquisadora.

Por fim, vale registrar que no âmbito do piloto, os meios alternativos de coleta não devem ser utilizados para o resultado oficial da pesquisa nem impactar os custos atuais contratados junto á empresa pesquisadora. Além disso, esses meios deverão sempre considerar as especificidades dos tipos de contato em cada tipo de serviço.

Uma vez atingidas, pelo menos, 10 (dez) tentativas de contato realizadas, em horários diferentes, sem sucesso, em cada um dos 2 (dois) ou mais telefones informados para a unidade amostral (quando informados mais de um telefone), a empresa pesquisadora pode expandir a quantidade tentativas e, em não obtendo êxito, substituir o código de acesso por uma nova observação da amostra. Caso seja verificado que as amostras restantes não serão suficientes para finalizar a Pesquisa, a empresa pesquisadora deverá notificar a Anatel, que estabelecerá uma nova quantidade para a substituição das unidades amostrais com insucesso de contato.

Uma vez esgotada a população do estrato, será necessário que o mesmo seja reutilizado pela empresa pesquisadora, respeitando regras de mercado de entrar em contato com os usuários que não atenderam as ligações anteriores, respeitando a maior distância temporal possível.

Dessa forma, após o esgotamento do estrato ligar-se-ia inicialmente para o primeiro usuário que não atendeu a ligação na primeira tentativa de utilização do estrato, de forma a envidar todos os esforços possíveis que visem ao completamento dos estratos.

2.5. Do PPC e do Acompanhamento pela Anatel

A empresa pesquisadora contratada elaborará e enviará à Anatel e às Prestadoras, para cada período de coleta de dados, um Plano de Pesquisa de Campo (PPC), que servirá de base para a execução e controle das entrevistas. A empresa pesquisadora deve informar à Anatel e às Prestadoras, sempre que seja necessário, alterações no planejamento inicial.

O relatório com o PPC a ser enviado para a Anatel deverá conter, no mínimo, as seguintes informações para cada serviço:

i)          planejamento dos recursos humanos necessários (quantitativo de entrevistadores, supervisores, coordenadores e equipes);

ii)         horário de trabalho das equipes (da coleta);

iii)        cronograma da coleta dos dados (com quantitativo estimado de entrevistas a serem realizadas por mês;

iv)        identificação de todas as empresas terceirizadas de Call Center, processamento de dados, treinamento, etc. envolvidas na Pesquisa; e

v)         critérios que serão adotados para garantir o controle estatístico e qualitativo de cada Pesquisa, bem como os demais requisitos de controle de qualidade observados nas normas da ABEP, a cuja entidade a empresa deve ser filiada, conforme item 10.1.

O controle estatístico e qualitativo de cada Pesquisa poderá ser baseado na verificação dos dados coletados e realizado de forma randômica pela Anatel. A Agência poderá, a qualquer momento da Pesquisa, solicitar informações, acompanhar a aplicação dos questionários, submeter os dados coletados a análises e controles estatísticos e qualitativos.

Além das informações a serem enviadas para a Anatel - descritas no item 8 deste Manual - fica facultada à Agência a possibilidade, nos casos em que julgar necessário, de solicitar à empresa contratada a emissão de relatórios específicos.

A empresa pesquisadora proverá à Anatel informes parciais a respeito da progressão das entrevistas em campo. Tais informes deverão conter as informações que a Anatel julgar necessárias, a exemplo das constantes no Relatório de Ocorrência de Campo (ROC.) 

Contribuição

Alteração de texto

O relatório com o PPC a ser enviado para a Anatel e Prestadoras deverá conter, no mínimo, as seguintes informações para cada serviço:

iii)        cronograma da coleta dos dados (com quantitativo estimado de entrevistas a serem realizadas por mês e por serviço)

Além das informações a serem enviadas para a Anatel - descritas no item 8 deste Manual - fica facultada à Agência e às Prestadoras a possibilidade, nos casos em que julgar necessário, de solicitar, com antecedência razoável, à empresa contratada a emissão de relatórios específicos.

A empresa pesquisadora proverá à Anatel e às Prestadoras informes parciais a respeito da progressão das entrevistas em campo. Tais informes deverão conter as informações que a Anatel e Prestadoras julguem necessárias, a exemplo das constantes no Relatório de Ocorrência de Campo (ROC.) 

Contribuição Item 2.7

Alteração de texto:

3. trabalhem em empresas de pesquisa de opinião ou mercado, empresa ou departamento de marketing, agência de propaganda/comunicações, agência de promoção ou merchandising, rádio, jornal, revista ou televisão, operadoras de serviços de telecomunicações, órgão regulador de serviços de telecomunicações (Anatel) ou órgãos de defesa do consumidor de serviços de telecomunicações, Ministério das Comunicações e órgãos do Poder Judiciário.

Justificativa Item 2.1

A presente contribuição busca aperfeiçoar a redação ora proposta e dar ênfase na melhoria sob a ótica da experiência do consumidor.

A TIM entende que a experiência é um aspecto mais tátil para o usuário compreender e avaliar assertivamente a prestação do serviço de telecomunicações. Além do mais, avaliar a qualidade, satisfação e experiência em relação ao ciclo de vida do produto pode induzir interpretações equivocadas para não avaliação de situações de retenção e pós-cancelamento do serviço.

Justificativa Item 2.2

A TIM entende que a inclusão ora proposta é fundamental para que não haja alterações nos dados de pesquisas realizadas nos anos anteriores ao da consolidação nem nas pesquisas que porventura estejam em curso, uma vez que do contrário, a Agência pode vir a gerar diretamente um desvio (i) nos valores de referência utilizados para cálculo do IQP e do Selo de Qualidade previstos no RQUAL e (ii) nas metas de conduta do TAC da TIM que são especificamente atreladas a resultados da série histórica da pesquisa e pesquisas porventura que já estejam em curso.

Impactos em pesquisas futuras devem ser amplamente debatidos e aprovados previamente, mediante consulta pública, constituição de grupo de trabalho e realização de pesquisa pilotos, conforme previsto no item 6.8 do Manual, sempre com participação de prestadoras e Anatel.

Nesse sentido, a TIM entende que na ausência de observância aos preceitos supramencionados, haverá risco de insegurança e imprevisibilidade ao processo de cumprimento das metas do Termo de Ajustamento de Conduta, e não cumprimento da Regulamentação vigente, haja vista a necessidade de observância da Agência, no exercício de suas atividades, aos princípios de razoabilidade, proporcionalidade e segurança jurídica, esculpidos no art. 36 do Regimento Interno da Anatel, anexo à Resolução nº 612/2013:

DOS PROCEDIMENTOS ADMINISTRATIVOS

CAPÍTULO I

Das Disposições Gerais

Art. 36. Os procedimentos estabelecidos neste Regimento visam, especialmente, a proteção dos direitos dos usuários, o acompanhamento do cumprimento das obrigações legais, regulamentares e contratuais das prestadoras e dos usuários dos serviços de telecomunicações, a fiscalização da exploração dos serviços de telecomunicações e da utilização do espectro de radiofrequência, inclusive dos aspectos técnicos das estações de radiodifusão, bem como a apreciação das solicitações, reclamações e denúncias protocolizadas no âmbito da Agência e o cumprimento dos fins a ela legalmente atribuídos.

Parágrafo único. As atividades da Agência obedecerão, entre outros, aos princípios da legalidade, finalidade, motivação, moralidade, eficiência, celeridade, interesse público, impessoalidade, igualdade, devido processo legal, ampla defesa, contraditório, razoabilidade, proporcionalidade, imparcialidade, publicidade, economicidade e segurança jurídica. (grifos nossos)

Assim, a alteração ora proposta é fundamental para garantir que não haja mudança na série histórica dos dados do SMP consolidado para 2021 e consequentemente necessidade de repactuação do TAC nº 1/2020 firmado pela TIM e por outras empresas. Os resultados publicados pela Agência (conforme programação do Manual) são oficiais e divulgados para toda a sociedade e, no caso particular da TIM, estão vinculados às metas do TAC celebrado com essa Agência e ajudarão a compor o selo de qualidade previsto no Regulamento de Qualidade dos Serviços de Telecomunicações (RQUAL), aprovado pela Resolução nº 717, de 23 de dezembro de 2019. , pelo que, devem ser respeitadas as premissas pactuadas ao longo da negociação do TAC ou mesmo das premissas idealizadas no ciclo do RQUAL.

Justificativa Item 2.3

A presente contribuição visa conferir melhor redação para a definição da variável de estratificação, a qual necessariamente deve consistir na combinação de UF, Prestadora e também de serviço, haja vista que, sem essa informação, não será possível identificar, de maneira apropriada, o estrato de análise da pesquisa.

Justificativa Item 2.4

A TIM entende que as alterações propostas são basilares para garantir a previsibilidade e segurança jurídica não somente em relação aos contratos atuais com a empresa pesquisadora, mas também para a correta aplicação da regulamentação vigente e cumprimento dos compromissos assumidos em sede de TAC.

Nesse sentido, duas inclusões propostas pela Agência  atualmente não estão previstas no contrato atual com a empresa pesquisadora, vigente de 2022 até 2024 e afetam diretamente os custos da pesquisa já contratados e pagos pelas prestadoras. Os custos seriam:

• A obrigatoriedade de envio de mensagem de texto (SMS) pela empresa prestadora (prévio ou posterior ao 1º contato);

• Previsão de meios de coleta alternativos oferecendo outras formas de participação na Pesquisa, além do meio telefônico;

Por essa razão, esses novos custos devem obrigatoriamente passar por uma etapa de mapeamento e alinhamento de impactos, junto às prestadoras e entidade pesquisadora, no bojo de um projeto piloto, antes de serem propostos como obrigatórios no Manual da Pesquisa, de forma a afastar a necessidade de renegociação dos termos e custos do contrato em 2023 e, consequentemente, a geração de riscos, incerteza, imprevisibilidade e possíveis atrasos ao processo anual de pesquisa.

Alterações nos métodos de coleta, além de impactar em custos, podem distorcer os resultados da pesquisa com geração de inconsistências na série histórica e nos indicadores atualmente usados para metas de compromissos do TAC das operadoras.

Sendo assim, uma notificação prévia sobre a pesquisa, tal como proposto pela Agência, pode, eventualmente, contribuir para aumentar a resistência de um usuário à pesquisa com provável resposta negativa, sem correspondência exata à realidade da prestação do serviço em avaliação. Efeitos como esse hipoteticamente analisado, devem ser corretamente mensurados e debatidos junto às partes impactadas, considerando as especificidades de cada serviço avaliado.

Por esse motivo, nossa contribuição é no sentido de que, no ano de 2023, essas práticas sejam “experimentadas” e monitoradas em pequena escala, conforme explanado anteriormente, como um piloto, sem impactos nos resultados oficiais da pesquisa atual – já em finalização – e nos atuais custos da pesquisa já negociados para a realização da pesquisa do próximo ciclo.

Noutro giro, por fim, a TIM, ainda no sentido de conferir maior segurança ao procedimento de pesquisa, entende ser possível aumentar a quantidade de tentativas de contato com usuários de 5 para 10, em horários diferentes e com possibilidade de reaproveitamento dos usuários não encontrados que integraram amostras passadas, ao final do universo de amostras disponíveis.

Dessa forma, acreditamos que a taxa de êxito dos contatos aumentará, ao passo que outros meios alternativos de coleta poderão ser experimentados em sede de projeto piloto, mediante amplo debate com prestadoras e Anatel, sem comprometer series históricas já iniciadas, pesquisas em andamento ou em fase de lançamento 2023.

Justificativa Item 2.5

A TIM entende que a presente contribuição é necessária para garantir que as comunicações do Plano de Pesquisa de Campo (PPC) sejam enviadas não somente à Anatel, mas também às Prestadoras que são as contratantes da Pesquisa e precisam ter conhecimento do andamento dos trabalhos e de eventuais alterações no curso do procedimento. Dessa forma, a alteração proposta contribuirá indubitavelmente para reforçar a transparência das pesquisas anuais ora em discussão.

Adicionalmente, a TIM sugere que o cronograma da coleta dos dados seja aperfeiçoado para apresentar a visão por serviço, além do quantitativo estimado de entrevistas por mês, contribuindo assim para um procedimento de pesquisa ainda mais assertivo.

Por fim, registramos que qualquer solicitação de relatórios específicos seja antecedida de algum prazo razoável para entrega, sob risco de prejudicar o andamento da pesquisa como um todo para priorizar indiscriminadamente relatórios específicos. Esse prazo pode ser melhor discutido em um grupo de trabalho dessa Agência e projetos pilotos específicos.

Justificativa Item 2.7

A TIM entende que muitas opções de filtros em relação a diversos tipos de trabalho podem reduzir a quantidade de pessoas aptas a participar da entrevista, o que, consequentemente, poderá gerar menor taxa de resposta à pesquisa.

Logo, sugerimos manter como filtro para as entrevistas apenas as empresas/entidades cujos respondentes possam representar real possibilidade de viés na resposta à pesquisa. Nessa linha, devem ser desconsiderados usuários que trabalhem (i) tão somente na Anatel, regulador específico de telecomunicações, (ii) em qualquer órgão de defesa do consumidor, pois a maioria desses órgãos de defesa abrange vários tipos de serviços e a limitação a serviço de telecomunicações poderia considerar órgãos que apesar de não serem focados em telecomunicações, acabam por também tratarem residualmente de tal assunto, (iii) Ministério das Comunicações e (iv) órgãos do Poder Judiciário.

Por fim, vale ressaltar que a TIM defende a inclusão de usuários vinculados ao MCOM e a órgãos do Poder Judiciário no rol de usuários que devem ser excluídos das entrevistas, em virtude destes, geralmente, terem maior acesso a informações relacionadas aos serviços de telecomunicações, incluindo, no caso mais particular do Judiciário, demandas em face das prestadoras de serviços telecomunicações que podem tendenciar determinadas respostas.  

Justificativa Item 2.7

A TIM entende que muitas opções de filtros em relação a diversos tipos de trabalho podem reduzir a quantidade de pessoas aptas a participar da entrevista, o que, consequentemente, poderá gerar menor taxa de resposta à pesquisa.

Logo, sugerimos manter como filtro para as entrevistas apenas as empresas/entidades cujos respondentes possam representar real possibilidade de viés na resposta à pesquisa. Nessa linha, devem ser desconsiderados usuários que trabalhem (i) tão somente na Anatel, regulador específico de telecomunicações, (ii) em qualquer órgão de defesa do consumidor, pois a maioria desses órgãos de defesa abrange vários tipos de serviços e a limitação a serviço de telecomunicações poderia considerar órgãos que apesar de não serem focados em telecomunicações, acabam por também tratarem residualmente de tal assunto, (iii) Ministério das Comunicações e (iv) órgãos do Poder Judiciário.

Por fim, vale ressaltar que a TIM defende a inclusão de usuários vinculados ao MCOM e a órgãos do Poder Judiciário no rol de usuários que devem ser excluídos das entrevistas, em virtude destes, geralmente, terem maior acesso a informações relacionadas aos serviços de telecomunicações, incluindo, no caso mais particular do Judiciário, demandas em face das prestadoras de serviços telecomunicações que podem tendenciar determinadas respostas.  

Alteração de texto - Item 6.3

Na Pesquisa, a variável de estratificação utilizada será a combinação de Unidade da Federação, Prestadora e serviço prestadora, de modo que possam ser comparáveis entre si. Para garantir a representatividade por Unidade da Federação e prestadora, em cada estrato dos serviços pesquisados será aplicada uma AAS para selecionar as unidades amostrais. A alocação do tamanho amostral em cada estrato se dará de modo a se buscar a precisão das estimativas tanto nos estratos quanto para toda a população, conforme definido no Regulamento da Pesquisa.

Justificativa

A TIM entende que a variável de estratificação deve considerar a combinação de UF, prestadora e serviço, tendo em vista que se não houver especificação de serviço, não será possível identificar o estrato objeto da análise.

Contribuição

Alteração de texto - Item 7.2

O ranking das operadoras por Unidade da Federação deve ser obtido, ao menos, para o indicador de Satisfação Geral, não se excluindo a possibilidade do cálculo do ranking dos demais indicadores nem de rankings nacionais ou regionais, caso a Anatel julgue necessário após a concessão de prazo para manifestação das prestadoras e mediante decisão fundamentada. Para a definição do ranking será utilizada a Análise de Variância (ANOVA), técnica estatística que permite a comparação de múltiplas médias. A família de hipóteses associada ao teste é:

(...)

Por fim, erros amostrais devem ser divulgados não apenas para cada uma das UFs, mas também para o Total Brasil, por operadora, por serviço e para cada indicador calculado.

Justificativa

As alterações são necessárias para conferir maior transparência ao procedimento de pesquisa quanto à divulgação (i) de rankings que não sejam por UF e do (ii) erro amostral que não é divulgado para o Total Brasil, por operadora, serviço e para cada indicador calculado. Adicionalmente, vale registrar que a informação sobre erro amostral do Total Brasil é uma informação importante para possibilitar o cálculo da posição de cada operadora no Mercado.

1ª contribuição ao Item 2.4:
Alteração do texto:

Justificativa à 1ª contribuição ao item 2.4.:

A Telefônica entende que é importante delimitar o uso deste mecanismo de notificação para incentivo na participação da pesquisa apenas para casos específicos onde haja risco real de não cumprimento do plano amostral definido, com a definição de critério objetivo para a identificação deste risco.

Esta delimitação é necessária pois o envio de notificações aos consumidores, além de não ser uma prática consagrada de mercado, gera viés metodológico que pode distorcer o objetivo da pesquisa, impactando na comparabilidade histórica e entre Prestadoras.

É sabido que a pesquisa é um instrumento fortemente utilizado pelas prestadoras no intuito de capturar percepção dos clientes e acompanhar a evolução desta frente a planos de ação. Neste sentido torna-se imprescindível garantir a comparabilidade dos resultados das pesquisas, inclusive relacionado a metodologia.  Neste sentido vale destacar:

• O incentivo prévio não é uma prática do mercado de pesquisas e gera viés. Segundo a empresa pesquisadora atual (Kantar) o incentivo prévio de pesquisa não é uma prática atual de mercado por trazer grande viés entre os respondentes. Esse incentivo pode estimular a participação de determinados grupos fazendo com que o universo de respondentes não reflita a população real das Prestadoras.
• O envio prévio de notificação também pode demonstrar pouca efetividade para estratos que ainda possuam amostras elegíveis para pesquisa – o envio deve ser tratado de forma específica com exclusividade para os segmentos com baixa taxa de atingimento de amostra.
• Além do viés, há a preocupação com a “super abordagem” de consumidores que pode gerar uma visão negativa (incômodo) relacionada a pesquisa. A redução de abordagens aos consumidores, buscando a melhora da efetividade, já vem sendo trabalhada pela própria Agência em outras frentes como nos despachos que definem ações para redução das chamadas de curta duração.

Justificativa à 2ª Contribuição ao item 2.4.:

Conforme já descrito ao longo destas contribuições, a Telefônica reitera a importância da avaliação dos desdobramentos nos resultados com a adoção de meios alternativos na coleta das entrevistas da pesquisa. Porém, antes da adoção destes meios alternativos, é necessário a realização de estudos que tragam subsídios para a construção de uma metodologia precisa que afaste qualquer possibilidade de perda de comparabilidade histórica ou entre Prestadoras.

A própria agência reconhece que mudanças desta magnitude devem ser devidamente estudadas antes de serem implementas. Assim, a Telefônica propõe que, neste momento, os meios alternativos de coleta devem ser estudados de forma a identificar e delimitar a metodologia que a ser utilizada. Uma próxima revisão deste manual a utilização destes meios alternativos poderia ser definida, se mostrarem viáveis.

Assim, a eventual adoção de canais alternativos nos resultados oficiais necessita da devida descrição metodológica. É importante que todos os atores deste processo (Agência, empresa pesquisadora e Prestadoras) tenham a oportunidade de definir conjuntamente o procedimento que deverá contemplar detalhes necessários para mitigar distorções nas comparações e resultados. Como exemplo, os pontos abaixo que precisam ser descritos:

1. Formato da comunicação, detalhando o conteúdo das mensagens e template do questionário;
2. Critério para seleção do público elegível;
3. Prazo para resposta da pesquisa após o envio e regra para lembrete após a sinalização. Ex: O consumidor poderá responder a pesquisa até 10 dias do recebimento
4. Regra para evitar sobreposição entre os meios de pesquisas e produtos;
5. Tratativa das respostas excedentes ao plano amostral, caso o volume de participantes ultrapasse o plano definido.

Ainda, cada meio de coleta utilizado possui resultados distintos que impactam a comparabilidade dos resultados históricos e entre as Prestadoras e produtos, podendo trazer prejuízo aos objetivos da pesquisa devido ao viés intrínseco. Ou seja, os resultados obtidos em meios de coleta alternativos não poderão ser utilizados nos resultados oficiais da pesquisa até que se demonstre que são consistentemente comparáveis à série histórica construída pelo meio telefônico.

Além disso, o resultado sofrerá distorção natural em função do mix de canal de respondentes em todos os níveis da pesquisa, sendo uma restrição para a correta consolidação e integridade dos resultados.

O viés dos resultados é conhecido em função da expertise das empresas na realização de pesquisas:

• Estudos internos da Telefônica demonstram, com comprovação estatística, que a utilização do canal digital pode divergir o resultado. Além disso, com base em análise de indicadores de negócio identificou-se que o perfil dos respondentes telefônicos reflete melhor a base de clientes das Prestadoras.
• A utilização de mais de um meio de Pesquisa inviabiliza a comparação dos resultados entre as Prestadoras. Como os dados estatísticos comprovam que existe diferença entre os meios, prestadoras dentro de um mesmo estrato (UF) que tenham diferentes mix entre respondentes (digitais e telefônicos), terão seus resultados incomparáveis e essa diferença não irá refletir unicamente a satisfação dos usuários, pois terá impacto desse viés.
• A utilização do meio digital privilegia a participação na Pesquisa de usuários com perfis socioeconômicos específicos. Por exemplo, o canal digital, diferente da pesquisa telefônica, exige que o cliente tenha acesso a um serviço de internet (móvel ou fixa), além de familiaridade com o uso dessa tecnologia. Isso vai contra um princípio primordial da pesquisa de conceder a oportunidade de avaliação para toda população dos clientes das prestadoras, sem exclusão de determinados setores da sociedade.

O viés nos resultados pode impactar diretamente nos compromissos do setor ancorados nos resultados da Pesquisa. Vale destacar que a garantia de comparabilidade da pesquisa é um atributo essencial para garantir compromissos assumidos com a agência, empresas e demais órgãos governamentais.

• As imprecisões inseridas em função do viés citado geram um comprometimento do uso dos resultados da pesquisa dentro do Novo Regulamento de Qualidade (RQUAL). Lembrando que o IQP, que tem como base o resultado das pesquisas, carrega 1/3 (um terço) do peso no Selo de Qualidade (Municipal, Estadual e Nacional).
• Além disso, o resultado da pesquisa é utilizado como meta das Prestadoras em compromissos assumidos em outros instrumentos regulatórios junto a Agência (por exemplo o TAC), logo, qualquer mudança na metodologia que apura estes resultados poderão gerar a necessidade de revisão de todos valores de referência desses compromissos devido ao viés gerado.

Também vale lembrar que há um incremento na complexidade operacional quando do uso de meios de coleta diferentes. Canais distintos possuem variáveis estatísticas diferentes, logo, isso adiciona um nível de complexidade adicional para composição das amostras baseado no erro de 5% a 95% de índice de confiança. A manutenção de somente um meio (telefônico) simplifica o plano amostral e apuração dos resultados.

Por fim é necessário considerar o impacto financeiro das alterações propostas. O conceito de meios alternativos de pesquisa é bastante amplo, incluindo meios com custos superiores ao meio telefônico, empregado atualmente. É importante que este exercício respeite a capacidade financeira orçada para pesquisas, que hoje é custeada pelas Prestadoras, conforme determinação da regulamentação vigente.

Justificativa à 3ª Contribuição ao item 2.4.:
 

A Telefônica entende que há um risco de descarte de estratos, devido ao atingimento do número de tentativas sem sucesso, que podem ser melhor exploradas evitando a exclusão precoce de amostras.

• Sabe-se que o contato efetivo varia de acordo com variáveis como hora e dia da semana, por isso é importante termos as regras de qualificação de contato claras e definidas. Além do impacto de dias festivos, feriados nacionais e regionais, intervalos de horários de almoço.
• Para cada estrato/produto existem especificidades de não cumprimento, por isso é necessário avaliar de forma contínua caso a caso. Dentre as possíveis causas podemos citar: qualidade de cadastro das Prestadoras, produtividade dos operadores alocados em determinado estrato, entre outras. Por isso não é recomendável uma solução padrão para cumprimento de todos estratos. Por exemplo, situações de baixa qualidade de contato da base não seriam resolvidas por nenhuma ação que não seja a correção da base. Além disso, existem muitos fatores que influenciam o cumprimento de amostras envolvendo Prestadoras, metodologia, questionário, operação, novos regulamentos. Fazendo com que cada cenário precise ser avaliado individualmente.
• Em práticas de mercado entende-se que não há problema de o cliente ser abordado em mais de dois ciclos, desde que exista um espaçamento temporal entre os ciclos, a fim de evitar uma super abordagem do consumidor. Por isso a sugestão de máxima distância temporal entre cada ciclo de 5 tentativas.
• Diferente da pesquisa de satisfação que possui um ciclo anual e concentrado em determinado período é importante ressaltar que as operadoras dentro de seus processos internos pesquisas transacionais e relacionais contínuas. É normal o cenário de abordagem de clientes em ciclos distintos de forma contínua. Se essa lógica fosse aplicada também ao mercado, as pesquisas eventualmente cessariam por falta de possível amostra.
• A não divulgação dos resultados da pesquisa em uma determinada UF trarão impactos significativos em outros regulamentos. No RQUAL, a ausência de resultado do IQP, que tem como base o resultado da pesquisa, implica em não atribuição de selo de qualidade para a Prestadora não só no nível de UF, mas também em todos os municípios que ela atua na respectiva UF.
• Neste sentido, a Telefônica entende que todos os esforços devem ser aplicados para o cumprimento do plano amostral, inclusive a persistência no contato ao consumidor, respeitando as regras definidas, pois a ausência de informação de resultado é muito prejudicial a Anatel, às Prestadoras e principalmente aos consumidores, que não terão ferramentas para a correta avaliação da qualidade do serviço prestado.

Contribuição Item 8.1

Inclusão de texto 

A empresa pesquisadora deverá entregar diretamente à Anatel, no prazo estabelecido no calendário anual constante deste Manual:

A.        os dados coletados, separados por prestadora, Unidade da Federação e serviço;

B.        as gravações das entrevistas em campo, com identificação que permita à Anatel acessar cada uma delas diretamente;

C.        as ocorrências de campos (análises das tentativas de contato, recusas, passagens pelos filtros, etc);

D.        ranking de prestadoras por Unidade da Federação e Total Brasil;

E.        comparativo das informações coletadas com os resultados dos anos anteriores; e

F.         os demais dados solicitados pela Agência, que sejam relevantes para o acompanhamento da apuração da Pesquisa e da lisura de seus resultados ou para a correta interpretação e análise dos dados, incluindo eventuais apontamentos sobre o não atingimento de amostras válidas.

(...)

1. ranking de prestadoras por Unidade da Federação;

Contribuição Item 8.2

Inclusão de texto

8.2. Envio dos Resultados à Anatel e às Prestadoras

Os resultados finais da Pesquisa devem ser consolidados em relatório a ser encaminhado à Anatel e às Prestadoras no prazo estabelecido no calendário anual, constante deste Manual, contendo em seu formato, no mínimo:

1. metodologia, contendo:
   1. período da coleta;
   2. tipo de amostragem;
   3. desenho da amostra;
   4. erros amostrais a posteriori;
   5. calibradores utilizados; e
   6. método de coleta e procedimentos operacionais.
2. cálculo dos indicadores;

Os itens ic, id, ie e ii  devem ser fornecidos classificados por serviço, UF e Total Brasil.

4. Índice de satisfação (ISG) com as prestadoras - por prestadora, por serviço e por Unidade da Federação

5. ranking das prestadoras por Unidade da Federação e total Brasil

Adicionalmente, a Anatel ou as Prestadoras poderão solicitar a inclusão de outras informações nos relatórios, tais como:

(...)

Outros relatórios com os resultados da Pesquisa nos formatos e granularidades definidos pela Anatel ou Prestadoras, se necessários e mediante alinhamento prévio entre as partes, poderão ser solicitados à empresa pesquisadora.

Contribuições Item 8.3

Os dados da Pesquisa previstos nos subitens “A” a “F” do item 8.1 e os seus resultados devem ser enviados pela Anatel às prestadoras participantes, com até 1 mês de antecedência em relação à divulgação oficial da Anatel de prazo razoável a ser discutido em fóruns de debate, de forma que estas recebam tão somente os seus próprios dados (base bruta de dados), sem que seja dado conhecimento às demais prestadoras dos resultados umas das outras. Somente serão enviados às prestadoras os contatos identificados referentes aos entrevistados que autorizaram o repasse da informação às prestadoras.

As prestadoras não podem dar publicidade aos seus resultados recebidos antes da divulgação pela Anatel.As prestadoras não podem dar publicidade aos seus resultados recebidos antes da divulgação pela Anatel.

Por fim, o envio deve contemplar dados consolidados do ‘SMP Pré-Pago’ + ‘SMP Pós-Pago’ na mesma granularidade (UF, Prestadora e Total Brasil).

Justificativa Item 8.1

A TIM busca por meio da presente contribuição sugerir a divulgação informações adicionais que serão entregues à Anatel pela empresa pesquisadora, permitindo, assim, maior transparência do procedimento para as prestadoras, quando da divulgação dos dados e, possibilidade de melhorias contínuas para o procedimento de pesquisa, principalmente quanto a formação de amostras que sejam efetivamente válidas.

Justificativa Item 8.2

Na linha de contribuições anteriores, a TIM pretende com as inclusões textuais acima conferir (i) melhorias ao entendimento do Manual bem como (ii) transparência ao procedimento de pesquisa, mediante a inclusão das Prestadoras na etapa de recebimento dos resultados finais da pesquisa, sendo importante a descrição específica da  granularidades das informações contendo: serviço, UF e Brasil.  

Justificativas 8.3

Os resultados consolidados do SMP são importantes e essenciais para acompanhamento (i) do IQP único e específico para o SMP, e (ii) das metas das operadoras em termos de TAC e por esse motivo devem ser divulgados na mesma granularidade (UF, Operadorae e Total Brasil), conforme contribuição. 

Além disso, a prestadora de serviço de telecomunicações deve ter a possibilidade de analisar tais resultados, em prazo razoável, permitindo até mesmo sinalização de algum “filtro” de entrevista que eventualmente poderia não ser condizente com o que possui em suas bases informacionais.

Contribuição Item 10.2

A determinação de contratação de nova empresa especializada em realização de pesquisa é restrita às hipóteses previstas acima, devendo ser fundamentada e formalizada por despacho decisório conjunto da Superintendência de Relações com Consumidores – SRC e da Superintendência de Planejamento e Regulamentação – SPR, sujeito ao aguardo de decisão final sobre eventual Recurso Administrativo endereçado ao Conselho Diretor da Agência.

Após comunicação sobre a necessidade de contratação de nova empresa especializada em realização de pesquisa, as Prestadoras terão até 60 (sessenta) dias, a contar do despacho decisório, para definir a nova empresa.

Contribuição Item 10.3

Alteração de texto

A prestadora deverá garantir, previamente e durante todo o período de coleta, a divulgação adequada e o fornecimento de esclarecimentos sobre a Pesquisa a todos os usuários pelos meios de atendimentos a seguir:

1. 1.  Central de Atendimento Telefônico;

1. 2. Página da prestadora na internet, em local adequado e de fácil visualização;

Caso haja risco evidenciado para o completamento da pesquisa e de forma justificada através de dados e mediante comunicação prévia às operadoras de, no mínimo, 30 dias, poderá haver divulgação da pesquisa através de:

1. 3.  Aplicativo da prestadora, em local adequado e de fácil visualização;
   4. Mídias sociais, com periodicidade adequada considerando o desempenho da execução da Pesquisa; e
   5. Mensagem de texto, com periodicidade e público-alvo adequado considerando o desempenho da execução da Pesquisa.

A critério da prestadora poderão ser utilizados outras formas de divulgação adicionais.

Tais informações devem estar disponíveis até a finalização do período de coleta, conforme cronograma anual, constante deste Manual.

Contribuições 10.4

Alteração de texto

Todos os relatórios e dados das prestadoras recebidos e  compartilhados pela Anatel para uso na Pesquisa obedecerão rigorosamente as diretrizes da Lei Geral de Proteção de Dados - LGPD, Lei nº 13.709, de 14 de agosto de 2018 e do Decreto nº 10.046, de 9 de outubro de 2019, que dispõe sobre a governança no compartilhamento de dados no âmbito da administração pública federal e institui o Cadastro Base do Cidadão e o Comitê Central de Governança de Dados.

A empresa pesquisadora é obrigada a observar e guardar, em toda a sua extensão, o sigilo e a confidencialidade tanto das informações recebidas da Agência quanto as coletadas durante a Pesquisa, ficando desde já proibido o tratamento destes dados para quaisquer fins que não a coleta desta pesquisa para o ciclo ao qual se refere.

Na hipótese de uma violação de dados pessoais, a empresa pesquisadora informará a Anatel e às Prestadoras, por escrito, acerca da violação dos dados pessoais, em prazo não superior a 12 (doze) horas a contar do momento em que tomou ciência da violação.

Justificativa Item 10.2

A TIM entende que é necessário prever que o Despacho Decisório citado na proposta de Consulta Pública, no caso de eventual Recurso Administrativo ou manifestação, apenas produzirá efeitos após a decisão final, pelo Conselho Diretor, acerca das insurgências endereçadas pelas Prestadoras sobre a determinação de contratação de nova empresa especializada em realização de pesquisa.

Além disso, os 30 dias propostos na proposta em CP, consiste em prazo exíguo para equacionar todo o procedimento para a contratação de nova empresa pesquisadora que deve ser validado por todas as prestadoras participantes da pesquisa, pelo que propomos prazo mais extenso, dado que processos de contratação de fornecedores tendem a ser morosos e burocráticos, ainda mais quando envolvem várias prestadoras de serviços de telecomunicações.

Como é de conhecimento da Anatel, o processo de contratação de fornecedor para a Pesquisa é um processo demorado e que formalmente precisa seguir várias etapas pré definidas. Por isso, a necessidade de uma nova contratação deve ser bem fundamentada e deve ser concedido um prazo hábil para que seja feita uma nova RFP. Estimamos que um prazo adequado, desde a formalização da Anatel sobre a necessidade de novo fornecedor e a decisão final da RFP, seria de pelo menos 2 meses. 

Justificativa Item 10.3

A TIM entende que a comunicação da pesquisa através do aplicativo da prestadora bem como através de mídias sociais pode gerar distorções no público-alvo da pesquisa, se afastando, dessa forma, de preceitos de impessoalidade e equidade na comunicação a todos que se enquadram como consumidores do serviço e público-alvo da pesquisa.

Nesse sentido, acreditamos que mídias sociais e aplicativos são recursos utilizados apenas por uma parte dos consumidores de telecomunicações, não atingem a totalidade da base e se concentram em usuários que podem ter um perfil diferenciado em relação à média da base.

Assim, sugerimos que permaneça no texto a comunicação sobre a Pesquisa através de SMS, caso seja realmente necessária, quando ocorrer real risco de não completamento da amostra planejada da pesquisa.

Por fim, vale ressaltar que quanto ao envio de SMS para a base de clientes, a fim de garantir maior assertividade desta comunicação, reiteramos o entendimento de que essa regra deveria ser aplicável apenas para um universo mais restrito da base (usuários com maior potencial de participação das entrevistas), uma vez que há limitações técnicas para envio massivo de mensagens SMS, por conta da expressiva volumetria de acessos nas bases de serviços das empresas.

Justificativa Item 10.4

Justificativa

A TIM entende que ‘Tratamento’ é mais amplo e já engloba o compartilhamento, em linha com art. 5, X da LGPD reproduzido abaixo:

X - tratamento: toda operação realizada com dados pessoais, como as que se referem a coleta, produção, recepção, classificação, utilização, acesso, reprodução, transmissão, distribuição, processamento, arquivamento, armazenamento, eliminação, avaliação ou controle da informação, modificação, comunicação, transferência, difusão ou extração;

Assim, é de suma importância que não somente o envio de dados esteja regido pela LGPD, mas qualquer compartilhamento de dados feito pela Agência observe a referida Lei, incluindo a hipótese de devolução de dados da Pesquisa.

Noutro giro, conforme contribuições anteriores, a TIM entende que a transparência do procedimento de pesquisa perpassa por premissas de transparência e comunicação assertiva entre prestadoras, Anatel e empresa pesquisadora.

Assim, reportes sobre incidentes envolvendo dados pessoais demandarão, sempre, comunicação célere às prestadoras, de modo a possibilitar eventuais medidas de proteção a seus usuários como alertas e treinamentos aos seus atendentes para a correta orientação sobre chamadas suspeitas.

Item 10.3:

Suprimir os itens "d" e "e":
d. Mídias sociais, com periodicidade adequada considerando o desempenho da execução da Pesquisa; e

A Telefônica entende que a divulgação da pesquisa pró-ativa tem potencial para criação de viés por seleção de consumidores e impactar a jornada do cliente com as prestadoras.

• Os canais de divulgação da pesquisa devem ser primariamente passivos a fim de não causar confusão junto ao cliente e consequentemente contatos desnecessários.
• A Telefônica não se abstêm deixar as informações disponíveis para consulta em caso de dúvida do cliente em suas Centrais de Atendimento, Site e inclusão no App, visto que esse hoje já é o principal meio de interação do cliente junto as Prestadoras. No entanto, essa informação estará presente nesses meios com objetivo de esclarecer dúvidas e não estimular dúvidas/contatos.
• Além disso, é importante reiterar o ponto já apresentado na “Justificativa 1”: estímulos ativos como, por exemplo, mídias sociais ou SMS geram viés no resultado pelos motivos já detalhados acima.

É importante ressaltar que qualquer tipo de comunicação com o consumidor não deve ser realizado se de alguma forma causar algum obstáculo na conclusão do objetivo original do cliente ao acessar o canal com a prestadora.

Item 3.1.:
Suprimir o parágrafo abaixo:
Qualidade da Informação ao Consumidor (QIC): nível da prestação de informações ao longo do relacionamento consumidor-operadora, podendo contemplar inclusive a relação entre a informação veiculada pelas prestadoras nos atos de oferta e contratação e as características dos serviços efetivamente prestados. 

A Telefônica entende que a pesquisa simples e objetiva possibilita melhor avaliação do consumidor e reduz o abandono das entrevistas e aumenta produtividade da operação

Evitar dupla medida. Supressão do QIC, que está representado em itens como atendimento e fatura, evitando assim perguntas que possam redundar. Ao não haver clareza de informações, haverá insatisfação em atributos como os citados.

Adequação à prática de mercado. Além disso, a qualidade das informações é uma causa da insatisfação em diversas jornadas como atendimento ou cobrança e não uma jornada em si. Isso é corroborado pelas referências de mercado que encontramos, onde a qualidade das informações não é classificada como uma dimensão, e sim causas em jornadas distintas.

Aumentar efetividade dos contatos: Em consonância com a busca de maior taxa de respostas e não descumprimento dos planos amostrais recomenda-se a simplificação do questionário afim de evitar o abandono da pesquisa e maior aproveitamento do público elegível. Redução do tempo na execução de entrevistas pode liberar capacidade operacional para abordar mais contatos.

Pesquisas muito longas reduzem a acurácia. A principal questão aqui é a concisão, que em dado momento foi citada no manual e que corrobora recomendações dos principais players de mercado, como Medallia e Qualtrics. Referências bibliográficas destes e demais players demonstram que quanto maior a pesquisa, maior a perda de acurácia nas respostas dos entrevistados. Além da perda de acurácia, verifica-se incremento de ineficiência operacional, uma vez que cada minuto adicional na pesquisa aumenta em aproximadamente 3% o abandono dos entrevistados (fonte; Medallia – Best Practices for using Medallia in Surveby Questions).

Retomando o princípio supracitado do potencial da pesquisa como ferramenta de análise, diagnóstico e planos de ação por parte das operadoras, a perda de acurácia é um impacto que desvia de forma preocupante a capacidade das operadoras de obter insumos, e da própria agência no que diz respeito a monitorar evoluções.

Além dos impactos de acurácia e abandono, quanto maior a pesquisa, maior o custo operacional que não representa incremento da qualidade das informações de satisfação, objetivo central da pesquisa.

Aspectos de interesse específico podem ser abordados em pesquisas exclusivas. Havendo necessidade de explorar outros aspectos da planta de clientes das empresas de telecomunicações, a recomendação é que seja realizada pesquisa apartada exclusivamente para este fim. Com isso, haveria maior assertividade nas respostas de ambas pesquisas, que seriam otimizadas também pelo aumento de eficiência operacional. Esse movimento abriria inclusive margem para viabilizar outros pleitos, como amostras estatisticamente relevantes para novas aberturas ou retomada da abertura pré e pós no SMP, por exemplo.

Item 7.1:
Alterar a fórmula de: 

Para:

O cálculo do ISG considera apenas 3 atributos e a fórmula descrita no manual contempla 5 atributos. Embora não cause impacto no resultado, o ajuste é necessário para refletir a consolidação do indicador.

Ajuste no cronograma:

15/11 Fim do Período de Coleta Empresa pesquisadora com possibilidade de prorrogação até 15/12.

Adequação do intervalo da pesquisa refletirá o período pesquisado nos últimos anos e contribuirá para o planejamento efetivo das entrevistas

Maior sucesso de cumprimento do plano amostral. Um período mais longo aumenta a possibilidade de contato efetivo e auxilia no cumprimento do plano amostral, com baixo impacto financeiro incremental e sem prejuízo ao cronograma de apuração das informações. No ano passado cumpriu-se o cronograma de apuração e divulgação dos resultados, mesmo finalizando em dez'21. 

Melhor representatividade da população de consumidores. Um período mais longo retrata melhor a experiência do cliente do consumidor naquele ano. Quanto menor o tempo de coleta, maior a influência de eventos pontuais na percepção geral do consumidor.

Manutenção do período de planejamento. A preferência da possibilidade de postergação do prazo para conclusão das entrevistas em relação a antecipação do início de coleta, deve-se aos processos inerentes ao planejamento e contratação da empresa pesquisadora.

1. Contratação do instituto de pesquisa é um processo longo e atrelado ao manual da pesquisa que em caso de revisão será publicado apenas em Março. Vale destacar que ocorrendo a contratação de uma nova empresa no processo do IQP será necessário um período maior de “calibração” e cronograma atual para início das pesquisas possibilita este intervalo de adequação
2. Propostas de piloto ou adequação de processo de coleta necessitará de um período de planejamento que seria consumido na eventual antecipação do início da pesquisa.
3. Qualquer antecipação do início de coleta acarretará na redução do tempo disponível para realização de atividades de interação entre a Anatel e Instituto de Pesquisa, já previstas no manual.

Comparabilidade dos resultados entre pesquisas e demais indicadores do RQUAL. Nos últimos anos, as pesquisas foram postergadas, logo a possibilidade de postergação tornaria o resultado atual mais aderente aos resultados dos anos anteriores do que antecipação do início da coleta. Ademais, o período de julho a dezembro é o mesmo utilizado para outros indicadores do RQUAL.

Criação de nova categoria de usuários não considerados na pesquisa, conforme abaixo:

“Adicionalmente, durante as entrevistas, serão desconsiderados os usuários que:

1. não estão entre os principais usuários do serviço pesquisado;

2. possuem menos de 18 anos;

3. trabalhem em empresas de pesquisa de opinião ou mercado, empresa ou departamento de marketing, agência de propaganda/comunicações, agência de promoção ou merchandising, rádio, jornal, revista ou televisão, operadoras de serviços de telecomunicações, órgão regulador ou de defesa do consumidor de serviços de telecomunicações; e

4. Estejam com contratos suspensos parcial ou totalmente, em razão de inadimplemento.”

Para garantir a efetividade da medida acima e a manutenção da credibilidade da base de usuários encaminhada pelas prestadoras, sugerimos que também seja incluída uma pergunta que possibilite a identificação de usuários inadimplentes a serem desconsiderados. Sugestão de pergunta:

“O(a) Sr.(a) atrasou o pagamento de suas faturas nos últimos três meses?”

Clientes que estão com serviços suspensos parcial ou totalmente poderão experienciar fortes alterações em sua percepção de qualidade do serviço ou de questões relacionadas à cobrança, o que poderá enviesar o resultado final da pesquisa.

Para exemplificar, sob a ótica de qualidade, clientes de banda larga fixa que estão com os contratos suspensos parcialmente terão uma percepção alterada em sua experiência de navegação e utilização da internet, uma vez que estão com sua velocidade reduzida, conforme a regulamentação permite. Já os clientes que estão com os contratos suspensos totalmente, sequer terão acesso à internet, o que pode prejudicar ainda mais o resultado da percepção de qualidade da rede. 

Por outro lado, sob a ótica de cobrança, clientes inadimplentes recebem ligações e lembretes acerca do pagamento de suas faturas, o que pode significar uma visão negativa sobre a percepção da cobrança.

Assim, embora sejam direitos garantidos às prestadoras de telecomunicações, os institutos da suspensão parcial e total poderão direcionar o resultado da Pesquisa de forma negativa, denotando uma insatisfação que não reflete necessariamente a realidade da percepção de qualidade.

Nesse sentido, visando não afetar negativamente o resultado final da pesquisa, sugerimos que os usuários com contratos suspensos (parcial ou totalmente) em razão de inadimplemento sejam desconsiderados para fins da Pesquisa.

Alteração do  ‘vi’ item 5. ‘Base de Clientes’, conforme abaixo:

1. Empresa e/ou respectivo CNPJ;
2. Serviço e/ou respectivo código em base corporativa da Anatel;
3. Código do município no IBGE;
4. CPF do titular;
5. DDD e telefone para contato principal; e
6. 1 (um) DDD e telefone alternativo para contato, se houver.

A evolução tecnológica e a penetração do SMP no mercado brasileiro resultaram em verdadeira mudança de paradigma social, de modo que grande parte dos usuários de telecomunicações vêm migrando dos telefones fixos para os telefones móveis. Nesse sentido, muitos dos usuários que contratam outros serviços de telecomunicações não possuem um telefone alternativo de contato. Assim, para garantir que não haveria qualquer tipo de discriminação injustificada ou exclusão dos usuários que possuem apenas um número de contato, sugerimos a inclusão do trecho acima no item ‘vi’, tornando-o opcional.

Criação de nova categoria de usuários não considerados na pesquisa, conforme abaixo:

“Adicionalmente, durante as entrevistas, serão desconsiderados os usuários que:

1. não estão entre os principais usuários do serviço pesquisado;
2. possuem menos de 18 anos;
3. trabalhem em empresas de pesquisa de opinião ou mercado, empresa ou departamento de marketing, agência de propaganda/comunicações, agência de promoção ou merchandising, rádio, jornal, revista ou televisão, operadoras de serviços de telecomunicações, órgão regulador ou de defesa do consumidor de serviços de telecomunicações; e
4. Estejam com contratos suspensos parcial ou totalmente, em razão de inadimplemento.”

Para garantir a efetividade da medida acima e a manutenção da credibilidade da base de usuários encaminhada pelas prestadoras, sugerimos que também seja incluída uma pergunta que possibilite a identificação de usuários inadimplentes a serem desconsiderados. Sugestão de pergunta:

“O(a) Sr.(a) atrasou o pagamento de suas faturas nos últimos três meses?”

Clientes que estão com serviços suspensos parcial ou totalmente poderão experienciar fortes alterações em sua percepção de qualidade do serviço ou de questões relacionadas à cobrança, o que poderá enviesar o resultado final da pesquisa.

Para exemplificar, sob a ótica de qualidade, clientes de banda larga fixa que estão com os contratos suspensos parcialmente terão uma percepção alterada em sua experiência de navegação e utilização da internet, uma vez que estão com sua velocidade reduzida, conforme a regulamentação permite. Já os clientes que estão com os contratos suspensos totalmente, sequer terão acesso à internet, o que pode prejudicar ainda mais o resultado da percepção de qualidade da rede. 

Por outro lado, sob a ótica de cobrança, clientes inadimplentes recebem ligações e lembretes acerca do pagamento de suas faturas, o que pode significar uma visão negativa sobre a percepção da cobrança.

Assim, embora sejam direitos garantidos às prestadoras de telecomunicações, os institutos da suspensão parcial e total poderão direcionar o resultado da Pesquisa de forma negativa, denotando uma insatisfação que não reflete necessariamente a realidade da percepção de qualidade.

Nesse sentido, visando não afetar negativamente o resultado final da pesquisa, sugerimos que os usuários com contratos suspensos (parcial ou totalmente) em razão de inadimplemento sejam desconsiderados para fins da Pesquisa.

Alteração do  ‘vi’ item 5. ‘Base de Clientes’, conforme abaixo:

1. Empresa e/ou respectivo CNPJ;
2. Serviço e/ou respectivo código em base corporativa da Anatel;
3. Código do município no IBGE;
4. CPF do titular;
5. DDD e telefone para contato principal; e
6. 1 (um) DDD e telefone alternativo para contato, se houver.

A evolução tecnológica e a penetração do SMP no mercado brasileiro resultaram em verdadeira mudança de paradigma social, de modo que grande parte dos usuários de telecomunicações vêm migrando dos telefones fixos para os telefones móveis. Nesse sentido, muitos dos usuários que contratam outros serviços de telecomunicações não possuem um telefone alternativo de contato. Assim, para garantir que não haveria qualquer tipo de discriminação injustificada ou exclusão dos usuários que possuem apenas um número de contato, sugerimos a inclusão do trecho acima no item ‘vi’, tornando-o opcional.