São Paulo 2007
Breve descrição do problema de investigação
Partindo da concepção de que o ensino universitário é tido como uma "aprendizagem da atitude científica" (Dreze, Debelle, apud Pereira, 2007: 36), Pereira formula um conjunto de objectivos específicos para os quais apresenta questões problema, mas vamo-nos centrar, apenas, naquelas para as quais o survey procurou resposta. Temos assim:
| Objectivos Específicos | Questões de Pesquisa |
| Classificar as competências individuais para cada um dos principais papéis de um docente universitário: professor e pesquisador. | Quais as competências1 melhor classificadas para o papel de professor? E de investigador? |
| Comparar as competências individuais a fim de verificar, para cada uma, se existe diferença no seu grau de relevância para cada um dos papéis de um docente universitário. | Quais as competências individuais mais relevantes para o papel de professor? E de investigador? Quais as competências individuais que possuem o mesmo grau de relevância para ambos os papéis? |
| Analisar a influência de um conjunto de factores sobre as competências individuais de um docente universitário. | Será que factores, tais como, o tempo de Titular, programas de especialização e avaliação exercem influência sobre as competências de um docente? Se exercem, que tipo de influência? |
Define-se competências como um conjunto de conhecimentos, habilidades e atitudes, interdependentes e necessárias para o exercício das actividades académicas de ensino e pesquisa.
Destes objectivos e questões de pesquisa, consideramos as questões problema "Quais as competências individuais mais relevantes para o papel de professor? E de investigador? Quais as competências individuais que possuem o mesmo grau de relevância para ambos os papéis?" como as mais importantes, sendo que o problema de investigação ao qual a tese de Doutoramento procura encontrar resposta é: "Quais competências individuais são relevantes para docentes universitários no seu duplo papel: de professor e de pesquisador?" (Pereira, 2007: 27).
Num survey, a amostra deve ser representativa da unidade de análise (i.e., deve ter as mesmas características), em número suficiente para representar a população de interesse e possibilitar testes estatísticos. Neste caso, Pereira afirma que o universo de pesquisa foi o dos professores que orientassem (Mestrado e Doutoramento) e pesquisassem na área da Engenharia Química no Brasil, tendo sido identificados 424 Professores Doutores.
Critica-se Pereira por ter designado como universo de pesquisa, o que consideramos ser apenas uma amostra, pois para nós a designação de universo de pesquisa remete para o grupo todo e amostra remete para uma parcela dessa população. Desta forma, Pereira deveria ter explicitado e designado o universo de pesquisa como o dos Professores Doutores brasileiros que acumulam a função de docentes universitários e a de investigadores e a amostra os que orientavam (Mestrado e Doutoramento), em Universidades públicas, no Brasil, e pesquisavam na área da Engenharia Química, entre Junho e Julho de 2006.
Uma vez que Pereira partiu do universo da pesquisa de 424 Professores Doutores e, após 4 emails separados por algumas semanas, conseguiu chegar à amostra final que é de 182 "respondentes", o que corresponde a 42,9% do universo da pesquisa, considera-se, tal como o investigador, que "a taxa foi considerada adequada para um estudo cujo objetivo principal é exploratório".
Trata-se de amostra não probabilística intencional: feita de forma não aleatória, existindo um procedimento de seleção dos elementos da população segundo critérios estabelecidos pelo investigador.
BibliografiaForza, C. (2002). Survey Research in operations management: a process based perspective international. International Journal of Operations Productions Management, v.22, n 2,pp. 152-154.
Pereira, M. (2007). Competências para o Ensino e a Pesquisa: Um Survey com Docentes de Engenharia Química (Tese de Doutoramento policopiada). [em linha]. Disponível a partir de:
http://www.google.co.mz/url?sa=t&source=web&cd=4&ved=0CC4QFjAD&url=http%3A%2F%2Fwww.teses.usp.br%2Fteses%2Fdisponiveis%2F3%2F3136%2Ftde-08082007-170909%2Fpublico%2FTeseMarcoFINAL.pdf&ei=8UM0Ta7oLs6OjAfqtbS-Cg&usg=AFQjCNH2mezZVCy-9SOcaHuWe4rsAKT1zg [Acedido Jan. 2010]
Webgrafia http://www.socialresearchmethods.net/kb/sampling.php
http://www.edu.plymouth.ac.uk/resined/QUESTS/index.htm
http://www.socialresearchmethods.net/kb/analysis.php
http://www.scielo.oces.mctes.pt/pdf/aps/v21n2/v21n2a02.pdf
Débora Nandja
Dulce Oliveira
José Nune
Foram realizados dois testes piloto (pré-teste), i.e. aplicou-se duas vezes o instrumento de pesquisa, em pequena escala, em condições semelhantes às da sua aplicação definitiva. Assim, os dois testes piloto foram aplicados em pequenos grupos de pessoas constituídos de integrantes da amostra a ser pesquisada. Primeiramente a 10 (seis in loco e 4 por e-mail) e depois a 17 pessoas (todos por e-mail). Tal procedimento teve como objectivo principal corrigir os itens que, eventualmente, pudessem apresentar ambiguidades ou dificuldade de compreensão, detectar os erros de formulação existentes e verificar se a escala apresentada era a adequada (escala de Likert de 0 a 10 graus), aumentando as probabilidades de sucesso do mesmo, aquando da sua aplicação numa amostra maior. Todo este procedimento é sustentado por vários autores (Forza entre outros) e é também corroborado por nós.
Baseando-se em Bryman (1989) e em Forza (2002), Pereira construiu um questionário contendo quatro partes:
1- Introdução (breve introdução ao assunto e finalidade da pesquisa, pedido de retorno do questionário, expressão de confidencialidade e convite ao preenchimento de dados pessoais, tais como nome, local de docência e título).
2- Inicia-se com um conjunto de informações (objectivo das questões), sugestões (ler com calma, não pessoalizar as questões, graduar objectivamente).
Corpo do questionário, contendo 50 atributos mensuráveis sobre competências, sendo 25 para cada um dos papéis desempenhados pelo docente universitário, sendo a escala adoptada a de Likert com 11 valores i.e., de 0 a 10 graus, correspondendo o grau 0 com a discordância total sobre a asserção feita e 10 valores a concordância total sobre a mesma. Salienta-se que esta 2ª parte foi realizada de 4 formas diferentes: A, B, C, D. Todas continham as mesmas questões, mas com ordem diferente. Assim, para A e B, as 25 primeiras questões reportavam-se ao papel de professor e as outras 25 questões ao do pesquisador; para C e D, as primeiras 25 questões aludiam ao papel do pesquisador e as restantes 25 ao do professor. Pereira frisa ainda que a própria sequência das perguntas dentro do(s) grupo(s) das 25 foi invertida. Desta forma, nunca houve um questionário com a mesma sequência de questões. Este procedimento, que em nosso entender está correcto, é justificado por Pereira como sendo para diminuir um viés natural dos survey, já que quem responde tem tendência a dar mais atenção às primeiras questões de um questionário do que às últimas.
3- Trata-se de um conjunto de 10 questões de resposta fechada dicotómica, do tipo: sim/não.
4- Constitui um espaço para comentário(s) livre(s) sobre o assunto, o agradecimento do autor pela colaboração e a informação que receberia os resultados da pesquisa que ajudou a efectuar, após a defesa da Tese.
Esta 4ª parte não é de menosprezar, pois fomenta a resposta ao questionário. Cremos que Pereira poderia ter disponibilizado, no questionário, um número de telefone ou e-mail, para uma eventual informação adicional sobre a pesquisa que o respondente sentisse necessidade de obter.
Para contrariar a baixa taxa de retorno dos questionários, Pereira procedeu, a nosso ver bem, ao realizar as seguintes acções:
- Envio de uma mala com o questionário para o XVI Congresso Brasileiro de Engenharia Química (Santos, Brasil, Setembro de 2006), visto que lá se encontrava a maior parte do público-alvo da pesquisa;
- Envio de 1º e-mail para os 424 Doutores que constituíam a amostra (início de Outubro);
- Envio de 2º e-mail (2 semanas após envio do 1º) com texto mais apelativo e só para aqueles que não responderam ao 1º e-mail;
- Envio de 3º e-mail, (semana seguinte), apenas para os que não haviam respondido até então;
- Contacto telefónico a 55 Doutores (que ainda não tinham respondido), com o intuito de salientar a relevância da tese e a importância da resposta ao questionário;
- Envio de 4º e-mail (duas semanas após tentativa de contacto telefónico falhado) alertando para data limite para recebimento da resposta ao questionário.
- Envio do questionário, nominalmente, via e-mail, i.e., um a um.
Aplicado o survey, houve 3 questionários que foram eliminados da amostra por possuírem mais de 70% de dados ausentes nas variáveis numéricas. Pereira obteve também 13 questionários que possuíam alguns dados numéricos ausentes (0,14% do total), como o valor era muito baixo, o investigador utilizou a técnica de imputação de dados de Hot-Deck (Tsikriktsis, 2005) "que consiste na substituição dos dados ausentes por um outro dado de um caso muito similar no banco de dados dos respondentes. Segundo Tsikriktsis (2005) esta é uma técnica que vem sendo adotada em vários surveys e é muito útil quando a quantidade de dados ausentes é menor que 10% …". Na nossa óptica, esta estratégia utilizada foi a mais correcta.
Na análise quantitativa dos dados foram utilizadas a estatística descritiva, a correlação entre factores, os testes de hipóteses e a aplicação de modelos lineares.
- Nas medidas de tendência central da estatística descritiva, apenas foi utilizado a média, não sendo apresentado a mediana, a moda e a função de distribuição acumulada. Julgamos que a moda (valor que mais vezes se verifica) poderia ser um valor interessante, nomeadamente nas competências que apresentam valores de amplitude elevados, pois poderiam complementar a informação dada pela média. As medidas de dispersão foram utilizadas, a saber, variância, desvio padrão e amplitude. Estes dados foram aplicados a cada uma das competências tanto de ensino como de pesquisa, bem como a diferença entre estas duas competências.
- Foram calculadas as correlações entre todas as competências de ensino, todas as competências de pesquisa e as existentes entre cada competência de ensino versus a respectiva competência de pesquisa.
- Para verificar se algumas competências seriam mais relevantes para o processo de ensino ou de pesquisa, Pereira utilizou o "teste t emparelhado", que "consiste em testar cada par de observações tomado sobre condições homogéneas para verificar se as médias entre as duas observações são significativamente iguais ou diferentes, (Montgomery & Runger, 2003) por intermédio de um teste de hipóteses.
Para a definição do teste de hipóteses, Pereira considerou a hipótese nula quando as médias para uma determinada competência para o ensino e a pesquisa fossem iguais, a hipótese alternativa quando fossem diferentes e um intervalo de confiança de 95%, o que corresponde a um nível de significância de 5%. Com esta aplicação verificou-se que as médias entre as competências que estão dentro do intervalo de confiança confirmam a hipótese nula, i.e., a competência possui o mesmo grau de relevância para o ensino e a pesquisa. Caso as médias estejam fora do intervalo, é aceite a hipótese alternativa que significa que uma competência é mais relevante para o ensino ou para a pesquisa.
Para apurar os factores mais relevantes de cada uma das competências que possuem significância estatística, o investigador utilizou o Modelo Linear Geral (MENDENHALL, 1968; TABACHNICK; FDIDELL, 2001), através do qual apurou "as diferenças com significância estatística entre as médias de ensino e pesquisa e entre as diferenças das médias em relação aos factores utilizados na pesquisa".
O estudo como utilizou 9 factores não era viável o cálculo da estimativa de todos os termos (29-1=511), sendo adoptada uma estratégia específica para a utilização do modelo linear geral. Para o apuramento das competências para o ensino e para a pesquisa mais significativas foram utilizados os 5 factores mais relevantes e efectuou dois testes de hipóteses com níveis de significância de 10 e 5% respectivamente, para apurar os factores primários com significância estatística, o que ocorria quando a hipótese nula era rejeitada. Para a diferença entre as médias das competências de ensino e pesquisa utilizou os 9 factores, o procedimento idêntico aos anteriores mas os testes de hipóteses específicos.
Pensamos que a aplicação do Modelo Linear foi a mais correcta devido à existência de muitos factores e era muito extenso a aplicação a todos os termos, logo Pereira escolheu os factores identificados como mais relevantes para cada uma das competências de ensino e pesquisa.
Na tese analisada, Pereira utilizou a estatística inferencial, com a realização de diversos testes de hipóteses mas tem crescido as críticas à utilização destas técnicas com o desenvolvimento de medidas da magnitude do efeito, com o objectivo de substituir o conceito de significância estatística por significância prática específica (KIRK, 1996), sendo esta metodologia cada vez mais aceite por investigadores em diversas áreas, nomeadamente nas ciências sociais.
Segundo Conboy (2003), a natureza da informação fornecida pelos testes de hipóteses "é sempre negativa e sempre do tipo «tudo ou nada»", por seu lado, "a análise das magnitudes de efeito fornece informação positiva acerca da grandeza da relação observada entre factores". Por outro lado, como sustenta Conboy (2003), uma vez que a magnitude do efeito proporciona informação de intensidade de relações, acaba por fornecer ainda ao investigador uma melhor informação sobre a generalização e reprodutibilidade dos resultados observados (Conboy, 2003: 146).
Existem várias medidas de magnitude do efeito que têm sido classificadas em duas grandes categorias: As diferenças padronizadas e as medidas de variância contabilizada (THOMPSON, 2002), Cooper (1997) considerou o rácio das probabilidades como uma terceira categoria.
No nosso ponto de vista, os vários tipos de "diferenças padronizadas" não podem ser aplicadas porque nem temos grupo de experimental nem grupo de controlo, o que nos permitiria aplicar qualquer uma das estimativas, tal como as medidas de variância contabilizada, já que não houve a "administração" de questionários diferentes e só temos um grupo. Quanto ao rácio das probabilidades é considerado um rácio de diferenças de disparidades de proporção e requer uma análise qui-quadrada, a qual permite medir a probabilidade de as diferenças encontradas nos dois grupos da amostra serem devidas ao acaso, como atrás foi referenciado apenas temos um grupo.
Pereira, M. (2007). Competências para o Ensino e a Pesquisa: Um Survey com Docentes de Engenharia Química (Tese de Doutoramento policopiada). [em linha]. Disponível a partir de:
http://www.google.co.mz/url?sa=t&source=web&cd=4&ved=0CC4QFjAD&url=http%3A%2F%2Fwww.teses.usp.br%2Fteses%2Fdisponiveis%2F3%2F3136%2Ftde-08082007-170909%2Fpublico%2FTeseMarcoFINAL.pdf&ei=8UM0Ta7oLs6OjAfqtbS-Cg&usg=AFQjCNH2mezZVCy-9SOcaHuWe4rsAKT1zg [Acedido Jan. 2010]
Webgrafia http://www.socialresearchmethods.net/kb/sampling.php
http://www.edu.plymouth.ac.uk/resined/QUESTS/index.htm
http://www.socialresearchmethods.net/kb/analysis.php
http://www.scielo.oces.mctes.pt/pdf/aps/v21n2/v21n2a02.pdf
Débora Nandja
Dulce Oliveira
José Nune
A medida de magnitude do efeito apropriada
A análise quantitativa realizada
O questionário utilizado
O tipo de amostra
