Por Benjamin Todd ·
Publicado pela primeira vez em inglês em 9 de setembro de 2020
Traduzido, editado e adaptado pela equipe do Carreiras Eficazes, de modo a atender as necessidades das comunidades lusófonas com autorização dos produtores do texto original.
Julgamento, que defino aproximadamente como ‘a capacidade de ponderar informações complexas e chegar a conclusões calibradas’, é claramente uma habilidade valiosa.
Em nossa análise simples de quais habilidades tornam as pessoas mais empregáveis, usando dados do Bureau of Labor Statistics (Gabinete de Estatísticas do Trabalho) em toda a economia dos EUA, ‘julgamento e tomada de decisão’ ficou em primeiro lugar (embora entendido em um sentido mais amplo do que fazemos).
Meu palpite é que o bom julgamento é ainda mais importante ao tentar ter um impacto positivo.
O que se segue são algumas notas sobre por que o bom julgamento é importante, o que é e o que sabemos sobre como melhorá-lo.
Por que o discernimento é tão valioso ao tentar ter um impacto
Uma razão é a falta de feedback. Nunca podemos ter certeza absoluta de quais questões são mais urgentes ou quais intervenções são mais eficazes. Mesmo em uma área como saúde global — onde temos dados relativamente bons sobre o que funciona — houve enorme debate sobre a relação custo-benefício até mesmo de uma intervenção direta como a vermifugação. Decidir se concentrar na vermifugação requer julgamento.
Essa falta de feedback se torna ainda mais urgente quando chegamos aos esforços para reduzir os riscos existenciais ou ajudar o futuro de longo prazo, e esforços que adotam uma abordagem mais ‘baseada em acertos’ para o impacto. Um risco existencial só pode acontecer uma vez, então há um limite para a quantidade de dados que podemos ter sobre o que os reduz, e devemos confiar principalmente no julgamento.1
Reduzir os riscos existenciais e algumas das outras áreas em que nos concentramos também são novos campos de pesquisa, então nem sequer temos heurísticas estabelecidas ou conhecimento amplamente aceito que alguém possa simplesmente aprender e aplicar em vez de usar seu julgamento.
Você pode não precisar tomar essas decisões de julgamento sozinho — mas pelo menos precisa ter um julgamento bom o suficiente para escolher outra pessoa com bom julgamento para ouvir.
Em contraste, em outros domínios é mais fácil evitar depender do julgamento. Por exemplo, no mundo das startups com fins lucrativos, é possível (de certa forma) tentar coisas, obter feedback vendo o que gera receita e refinar a partir daí. Alguém com um julgamento mais ou menos pode usar outras abordagens para seguir uma boa estratégia.
Outros campos têm outras maneiras de evitar o julgamento. Na engenharia, você pode usar regras quantitativas bem estabelecidas para descobrir o que funciona. Quando você tem muitos dados, pode usar modelos estatísticos. Mesmo em pesquisas mais qualitativas, como a antropologia, existem métodos de pesquisa padrão de ‘melhores práticas’ que as pessoas podem usar. Em outras áreas, você pode seguir tradições e normas que incorporam séculos de experiência prática.
Tenho a impressão de que muitos no altruísmo eficaz concordam que o julgamento é uma característica fundamental. Na pesquisa do Fórum de Líderes EA de 2020, foi perguntado aos respondentes quais características eles mais gostariam de ver em novos membros da comunidade nos próximos cinco anos, e o julgamento ficou em primeiro lugar por uma margem razoável.
| Bom julgamento (ponderar informações complexas e chegar a conclusões calibradas) | 5.8 |
| Inteligência analítica | 5.1 |
| Mentalidade empreendedora (ser capaz de fazer as coisas acontecerem de forma independente) | 5.0 |
| Pensamento independente (desenvolvendo as próprias opiniões) | 5.0 |
| Altruísmo/Priorizando o bem comum | 4.6 |
| Honestidade/Transparência | 4.4 |
| Inteligência emocional/Habilidades sociais | 4.3 |
| Determinação e ética de trabalho | 3.6 |
| Ambição | 3.3 |
| Criatividade | 3.1 |
Também é notável que duas das outras características mais desejadas — inteligência analítica e pensamento independente — ambas se relacionam com o que poderíamos chamar de ‘bom raciocínio’ também. (Embora observe que esta pergunta era apenas sobre ‘características’, em oposição a habilidades/experiência ou outras características.)
Acho que isso faz sentido. Alguém com um julgamento excepcionalmente bom e confiável pode decidir qual deve ser a estratégia de uma organização ou fazer grandes doações. Isso é valioso, em geral, embora a comunidade também pareça ser especialmente limitada por pessoas capazes de fazer esse tipo de trabalho agora devido à sobrecarga de financiamento. Muitos dos gargalos enfrentados pela comunidade agora também envolvem pesquisa, e isso requer muito julgamento. Quando examinamos as características necessárias para ter sucesso em nossos caminhos prioritários, o bom julgamento geralmente parece muito importante.
Uma característica promissora do bom julgamento é que parece mais possível melhorar do que a inteligência bruta. Então, o que — mais praticamente — é bom julgamento e como alguém pode obtê-lo?
Mais sobre o que é bom julgamento
Apresentei uma definição aproximada acima, mas há muita discordância sobre o que exatamente é um bom julgamento, então vale a pena dizer um pouco mais. Muitas definições comuns parecem excessivamente amplas, tornando o julgamento uma característica central quase por definição. Por exemplo, o Cambridge Dictionary define-o como:
A capacidade de formar opiniões valiosas e tomar boas decisões
Enquanto o Bureau of Labor Statistics dos EUA o define como:
Considerar os custos e benefícios relativos de ações potenciais para escolher a mais apropriada
Prefiro me concentrar na definição aproximada mais restrita que apresentei no início (que foi usada na pesquisa que mencionei acima), tornando o julgamento mais claramente diferente de outras características cognitivas:
A capacidade de ponderar informações complexas e chegar a conclusões calibradas
Mais praticamente, penso em alguém com bom julgamento como alguém capaz de:
- Concentrar-se nas perguntas certas
- Ao responder a essas perguntas, sintetizar muitas formas de evidências fracas usando boas heurísticas e ponderar as evidências adequadamente
- Ser resistente a vieses cognitivos comuns, tendo bons hábitos de pensamento
- Chegar a conclusões bem calibradas
Owen Cotton-Barratt escreveu seu entendimento de bom julgamento, dividindo-o em ‘entendimento’ e ‘heurísticas’. Sua noção é um pouco mais ampla que a minha.
Aqui estão alguns conceitos intimamente relacionados:
- O trabalho de Keith Stanovich sobre ‘racionalidade’, que parece ser algo como a capacidade de alguém de evitar vieses cognitivos, e é ~0.7 correlacionado com inteligência (portanto, intimamente relacionado, mas não exatamente o mesmo)
- O conjunto de traços (listados posteriormente) que tornam alguém um bom ‘superprevisor’ no trabalho de Philip Tetlock (Tetlock também afirma que a inteligência é apenas modestamente correlacionada com ser um superprevisor)
Aqui estão alguns outros conceitos na área, mas que parecem mais diferentes:
- Inteligência: Penso nisso mais como ‘velocidade de processamento’ — sua capacidade de fazer conexões, ter insights e resolver problemas bem definidos. A inteligência é uma ajuda no bom julgamento — já que permite que você faça mais conexões — mas os dois parecem se separar. Todos nós conhecemos pessoas que são incrivelmente brilhantes, mas parecem frequentemente tomar decisões estúpidas. Isso pode ser porque elas são excessivamente confiantes ou tendenciosas, apesar de serem inteligentes.
- Pensamento estratégico: Um bom pensamento estratégico envolve ser capaz de identificar as principais prioridades, desenvolver um bom plano para trabalhar em direção a essas prioridades e melhorar o plano ao longo do tempo. Um bom julgamento é uma grande ajuda para a estratégia, mas uma boa estratégia também pode tornar o julgamento menos necessário (por exemplo, criando um bom plano de backup, você pode minimizar os riscos de seu julgamento estar errado).
- Experiência: O conhecimento do tópico é útil, tudo o mais sendo igual, mas o trabalho de Tetlock (coberto mais abaixo) mostra que muitos especialistas não têm um julgamento particularmente preciso.
- Tomada de decisão: Uma boa tomada de decisão depende de tudo o que foi dito acima: estratégia, inteligência e julgamento.
Algumas notas sobre como melhorar seu julgamento
Como melhorar o julgamento é um problema não resolvido. A melhor visão geral que encontrei sobre o que é conhecido atualmente é a revisão da Open Philanthropy da pesquisa sobre métodos para melhorar o julgamento de sua equipe por Luke Muelhauser. As seguintes sugestões estão alinhadas com o que eles concluem.
Em particular, as sugestões se baseiam significativamente na pesquisa de Phil Tetlock sobre como melhorar a previsão. Este é o melhor conjunto de pesquisas que conheço na área de melhoria do julgamento.
A pesquisa de Tetlock se destaca de outras pesquisas sobre melhoria da tomada de decisão porque:
- Ele desenvolveu uma maneira de medir quantitativamente o julgamento, rastreando a precisão das pessoas ao prever eventos em assuntos atuais.
- Isso significava que ele podia identificar os melhores previsores e seus hábitos.
- O que ele aprendeu com isso foi usado para criar um programa de treinamento, que foi então testado em um ensaio controlado randomizado, enquanto a maioria das maneiras de melhorar as técnicas de tomada de decisão não foi rigorosamente testada.
Tetlock escreveu um ótimo resumo popular de sua pesquisa, Superprevisão (Superforecasting). Temos um resumo do livro e uma entrevista com ele em nosso podcast (seguido por uma segunda entrevista).
Você pode ver uma revisão mais completa do trabalho de Tetlock preparada pela AI Impacts, com muitos dados fascinantes. Por exemplo, o programa de treinamento foi considerado para melhorar a precisão em cerca de 10%, com o efeito durando vários anos.
Previsão não é exatamente a mesma coisa que bom julgamento, mas parece muito intimamente relacionada — pelo menos requer “ponderar informações complexas e chegar a conclusões calibradas”, embora possa exigir outras habilidades também. Dito isto, também considero que um bom julgamento inclui escolher as perguntas certas, o que a previsão não abrange.
Resumindo, acho que há sobreposição suficiente para que, se você melhorar na previsão, provavelmente também melhorará seu julgamento geral. Eu não abordo outras maneiras de melhorar o julgamento tanto, porque não acho que elas tenham tantas evidências por trás delas.
Então, aqui estão algumas maneiras de melhorar seu julgamento:
Dedique uma ou duas horas ao treinamento de calibração
Ser bem calibrado é uma contribuição importante para o julgamento, e eu o menciono como parte de minha breve definição de julgamento no início. Significa ser capaz de quantificar sua incerteza para que, se você disser que está 80% confiante em uma declaração, estará certo quatro em cada cinco vezes.
Isso é importante porque há uma grande diferença entre 20% e 80% de confiança, mas ambos poderiam facilmente ser chamados de ‘provável’ na linguagem natural.
Há evidências que sugerem que as pessoas podem melhorar sua calibração em apenas uma hora de treinamento, e há alguma chance de que isso se transfira entre domínios.
Por esta razão, a Open Philanthropy encomendou um aplicativo de treinamento de calibração, que você pode experimentar aqui.
Pratique previsão
Como em qualquer habilidade, a melhor maneira de melhorar é realmente praticar. Para melhorar sua previsão, você pode praticar fazer previsões — especialmente se você também começar a aplicar algumas das técnicas abordadas na próxima seção ao fazê-lo.
Aqui estão algumas maneiras de praticar:
- Adquira o hábito de fazer previsões uma vez por ano ou uma vez por trimestre (como faz Scott Alexander, Vox e Open Philanthropy), e rastrear sua precisão. Você pode usar o PredictionBook para rastreamento.
- Participe de uma competição de previsão com o Good Judgment Project ou no Metaculus.
- Faça o curso de treinamento que mencionamos acima.
Uma fraqueza da pesquisa sobre previsão é que ela não cobre como se concentrar nas perguntas certas em primeiro lugar. Esta é uma área de pesquisa ativa brevemente abordada em nosso segundo podcast com Tetlock.
Tenha em mente que ter um julgamento geral calibrado não é o único hábito de pensamento que importa. Numa equipe, você pode querer algumas pessoas que gerem novas ideias criativas e as defendam mesmo quando provavelmente estiverem erradas, ou desafiem o consenso mesmo quando provavelmente estiver certo. Isso pode ser mais fácil de fazer se você estiver excessivamente confiante, então pode haver uma tensão entre quais hábitos são melhores para o julgamento individual e o que é mais útil ao contribuir para o julgamento coletivo de um grupo.
Aplique essas técnicas
Luke da Open Philanthropy lista algumas técnicas para melhorar o julgamento que têm algum apoio na pesquisa:
- Treine raciocínio probabilístico: Em um estudo especialmente convincente (Chang et al. 2016), uma única hora de treinamento em raciocínio probabilístico melhorou notavelmente a precisão da previsão. Treinamento semelhante melhorou a precisão do julgamento em alguns estudos anteriores e às vezes é incluído no treinamento de calibração.
- Incentive a precisão: Em muitos domínios, os incentivos para a precisão são sobrecarregados por incentivos mais fortes para outras coisas, como incentivos para parecer confiante, ser divertido ou sinalizar lealdade ao grupo. Alguns estudos sugerem que a precisão pode ser melhorada simplesmente fornecendo incentivos suficientemente fortes para a precisão, como dinheiro ou a aprovação de colegas.
- Pense em alternativas: Alguns estudos sugerem que a precisão do julgamento pode ser melhorada solicitando aos indivíduos que considerem hipóteses alternativas.
- Decomponha o problema: Outra recomendação comum é dividir cada problema em subproblemas mais fáceis de estimar.
- Combine vários julgamentos: Muitas vezes, uma combinação ponderada (e às vezes ‘extremizada’) dos julgamentos de vários indivíduos supera os julgamentos de qualquer pessoa.
Aqui estão os 10 mandamentos de previsão de Tetlock (mais um meta-comando), conforme resumido pela AI Impacts:
- Triagem: Não perca tempo com perguntas que são ‘como um relógio’ (onde uma regra prática pode aproximá-lo bastante da resposta correta) ou ‘como uma nuvem’ (onde nem mesmo modelos sofisticados podem vencer um chimpanzé lançador de dardos).
- Divida problemas aparentemente intratáveis em subproblemas tratáveis: É assim que funciona a estimativa de Fermi. Um conselho relacionado é “cuidado para não substituir acidentalmente uma pergunta fácil por uma difícil”, por exemplo, substituir “Israel estaria disposto a assassinar Yasser Arafat?” por “Pelo menos um dos testes para polônio no corpo de Arafat dará positivo?”
- Encontre o equilíbrio certo entre visões internas e externas: Em particular, primeiro ancore com a visão externa e depois ajuste usando a visão interna.
- Encontre o equilíbrio certo entre sub e super reações às evidências: “Superprevisores não são preditores Bayesianos perfeitos, mas são muito melhores do que a maioria de nós.” Geralmente faça muitas pequenas atualizações, mas ocasionalmente faça grandes atualizações quando a situação exigir. Tenha cuidado para não cair em coisas que parecem boas evidências, mas não são; lembre-se de pensar em P(E|H)/P(E|~H) (Teorema de Bayes); lembre-se de evitar a falácia da taxa base.
- Procure as forças causais conflitantes em ação em cada problema: Esta é a ‘perspectiva do olho de libélula’, que é onde você tenta fazer uma espécie de sabedoria mental das multidões: tenha toneladas de modelos causais diferentes e agregue seus julgamentos. Use o raciocínio de ‘advogado do diabo’. Se você pensa que P, esforce-se para se convencer de que não-P. Você deve se pegar dizendo “Por um lado… por outro lado… em terceiro lugar…” muito.
- Esforce-se para distinguir tantos graus de dúvida quanto o problema permitir, mas não mais.
- Encontre o equilíbrio certo entre sub e super confiança, entre prudência e decisão.
- Procure os erros por trás de seus erros, mas cuidado com os vieses de retrospectiva no espelho retrovisor.
- Tire o melhor dos outros e deixe que os outros tirem o melhor de você: Um princípio orientador abrangente é “Não diga às pessoas como fazer as coisas; diga a elas o que você quer realizado, e elas o surpreenderão com sua engenhosidade ao fazê-lo.” O outro princípio orientador abrangente é “Cultive uma cultura na qual as pessoas — mesmo subordinados — sejam encorajadas a discordar e dar contra-argumentos.”
- Domine a bicicleta de equilíbrio de erros: Este deveria ter sido chamado de prática, prática, prática. Tetlock diz que ler as notícias e gerar probabilidades não é suficiente; você precisa realmente pontuar suas previsões para saber o quão errado você estava.
- Não trate os mandamentos como mandamentos: O ponto de Tetlock aqui é simplesmente que você deve usar seu julgamento sobre se deve seguir um mandamento ou não; às vezes eles devem ser anulados.
Tente desenvolver a mentalidade certa
As pessoas com melhor julgamento também parecem ter uma certa mentalidade. Luke novamente:
De acordo com alguns dos estudos mais convincentes sobre precisão de previsão que vi, os correlatos de boa capacidade de previsão incluem “pensar como uma raposa” (ou seja, evitar grandes teorias para atenção a muitos detalhes confusos), forte conhecimento de domínio, habilidade cognitiva geral e altas pontuações em escalas de “necessidade de cognição”, “pensamento ativamente aberto” e “reflexão cognitiva”.
E aqui está o retrato de Tetlock de um bom previsor:
Visão filosófica:
- Cauteloso: Nada é certo
- Humilde: A realidade é infinitamente complexa
- Não determinístico: O que quer que aconteça não é para ser e não tem que acontecer
Habilidades e estilos de pensamento:
- Ativamente aberto: Crenças são hipóteses a serem testadas, não tesouros a serem protegidos
- Inteligente e conhecedor, com uma ‘necessidade de cognição’: intelectualmente curioso; gosta de quebra-cabeças e desafios mentais
- Reflexivo: Introspectivo e autocrítico
- Numérico: Confortável com números
Métodos de previsão:
- Pragmático: Não preso a nenhuma ideia ou agenda
- Analítico: Capaz de afastar-se da perspectiva da ponta do nariz e considerar outros pontos de vista
- Olhos de libélula: Valoriza diversos pontos de vista e os sintetiza em seu próprio
- Probabilístico: Julga usando muitos graus de talvez
- Atualizadores ponderados: Quando os fatos mudam, eles mudam de ideia
- Bons psicólogos intuitivos: Conscientes do valor de verificar o pensamento quanto a vieses cognitivos e emocionais
Ética de trabalho:
- Mentalidade de crescimento: Acredita que é possível melhorar
- Determinação: Determinado a continuar, não importa quanto tempo leve
Passe tempo com pessoas que têm bom julgamento
Eu não vi nenhuma pesquisa sobre isso, mas espero que — como com muitas habilidades e mentalidades — a melhor maneira de melhorar seja passar tempo com outras pessoas que as exemplificam.
Passar tempo com pessoas que têm um ótimo julgamento pode ajudá-lo a melhorar quase automaticamente, dando-lhe comportamentos para modelar, tornando fácil e divertido praticar, dando-lhe feedback imediato e assim por diante.
Anedoticamente, muitas pessoas que conheço dizem que o que elas acharam mais útil para melhorar seu julgamento foi debater questões difíceis com outras pessoas que têm bom julgamento.
Aprenda sobre o que você está tentando fazer julgamentos
Embora os especialistas muitas vezes não sejam os melhores previsores, tudo o mais sendo igual, mais conhecimento de domínio parece ajudar. Luke da Open Philanthropy:
Vários estudos sugerem que a precisão pode ser aumentada por ter (ou adquirir) conhecimento de domínio. Uma hipótese comumente aceita, que acho intuitivamente plausível, é que o treinamento de calibração é especialmente útil para melhorar a calibração, e que o conhecimento de domínio é útil para melhorar a resolução.
Aprenda sobre quando não usar seu julgamento
Uma das outras lições do trabalho de Tetlock é que combinar muitas previsões, geralmente, aumenta a precisão, e a média de muitas previsões é melhor do que a da maioria dos indivíduos. Isso sugere que outra maneira de fazer melhores julgamentos é procurar as estimativas de outras pessoas e, às vezes, usá-las em vez de suas impressões pessoais.
Exatamente quanto peso dar à estimativa média em comparação com suas próprias opiniões é uma questão difícil.
- Para tópicos como sua escolha de carreira, onde você tem muitas informações que os outros não têm, faz sentido confiar mais em suas próprias avaliações.
- Para questões mais amplas, ainda precisamos de pessoas para trabalhar para desenvolver suas impressões pessoais para que a visão média possa ser bem informada (se todos deferirem a todos os outros, nenhuma pesquisa será feita).
Também é importante lembrar que muitas vezes ainda pode valer a pena agir em uma posição contrária, desde que os benefícios sejam muito maiores do que as desvantagens.
Espero escrever mais sobre como equilibrar julgamento e pensamento independente em outro artigo (por enquanto, eu recomendaria ler Em defesa da modéstia epistêmica de Greg Lewis e os comentários).
Saiba mais sobre tomada de decisão e bom raciocínio
- Leia mais sobre como pensar melhor.
- Ouça nosso podcast com Philip Tetlock, que começa com um resumo de sua pesquisa.
- Também recomendamos particularmente este artigo sobre investigações de confiança mínima para desenvolver seu julgamento e pensar sobre quando adiar.
- Veja todos os nossos artigos e podcasts sobre tomada de decisão.
Notas e referências
- Embora ainda possamos coletar dados sobre alguns fatores de risco — por exemplo, número de guerras, número de desastres menores, etc.