Pesquisa técnica em segurança da IA

Por Benjamin Hilton e  a equipe da 80.000 Hours ·
Última atualização em agosto de 2024
Publicado em inglês pela primeira vez em julho de 2023

Traduzido, editado e adaptado pela equipe do Carreiras Eficazes, de modo a atender as necessidades das comunidades lusófonas com autorização dos produtores do texto original. 

O progresso em IA — embora possa ser enormemente importante — é acompanhado de riscos consideráveis. Riscos que, argumentamos, podem ser existenciais..

Mas esses riscos podem ser enfrentados.

Com mais progresso na segurança da IA, temos uma oportunidade de desenvolver IA para o bem: sistemas que sejam seguros, éticos e benéficos para todos.

Este artigo explica como você pode ajudar.

Em resumo: a inteligência artificial terá efeitos transformadores na sociedade durante as próximas décadas e pode trazer enormes benefícios, mas também pensamos que há um risco substancial. Um modo promissor de reduzir as chances de uma catástrofe relacionada à IA é descobrir soluções que poderiam nos permitir impedir que sistemas de IA executem comportamentos perigosos.

Prós

• Oportunidade de fazer uma contribuição considerável a uma área de pesquisa importante.
• Trabalho intelectualmente desafiador e interessante.
• A área tem uma necessidade forte de pesquisadores e engenheiros qualificados e é altamente negligenciada no geral.

Contras

• Devido a uma escassez de gerentes, é difícil conseguir empregos e pode levar algum tempo para você construir o capital de carreira e a especialidade necessários.
• Você precisa ter uma formação quantitativa forte.
• Pode ser muito difícil encontrar soluções.
• Há um risco real de causar danos.

Fatos-chave sobre adequação

Você vai precisar de uma formação quantitativa e provavelmente deve gostar de programar. Se você nunca tentou programar, deve ser adequado, se for capaz de decompor problemas em partes lógicas, gerar e testar hipóteses, possuir uma disposição a experimentar muitas soluções diferentes e tiver alta atenção a detalhes.

Se você já:

• é um engenheiro de software qualificado, poderia se candidatar para funções de contribuidor para pesquisas empíricas agora mesmo (ainda que não tenha formação em aprendizado de máquina, embora isso ajude);
• poderia ingressar em um dos 10 maiores doutorados de aprendizado de máquina, que colocaria você no caminho para se tornar um líder de pesquisa;
• tem uma formação sólida em matemática e ciência da computação teórica, você provavelmente seria adequado para a pesquisa de alinhamento teórica.

Recomendado

Se você for adequado para esta carreira, pode ser o melhor modo para você ter um impacto social.

Status da análise

Baseada numa investigação de profundidade média.

(Esta análise é informada por pessoas com especialidade sobre este caminho, um entendimento sobre os melhores conselhos existentes e uma investigação aprofundada sobre pelo menos uma das nossas incertezas fundamentais referentes a este caminho. Algumas das nossas opiniões serão pesquisadas minuciosamente, embora seja provável que permaneçam algumas lacunas no nosso entendimento.)

Obrigado a Adam Gleave, Jacob Hilton e Rohin Shah por revisarem este artigo. E obrigado a Charlie Rogers-Smith por sua ajuda e seu artigo sobre o tema: Como seguir uma carreira em alinhamento técnico da IA.

Por que a pesquisa técnica em segurança da IA tem alto impacto

Como argumentamos, nas próximas décadas, podemos ver o desenvolvimento de sistemas de aprendizado de máquina altamente poderosos, com o potencial de transformar a sociedade. Essa transformação poderia trazer enormes benefícios, mas somente se evitarmos os riscos.

Acreditamos que os riscos na pior das hipóteses vindos dos sistemas de IA surgem em grande parte porque os sistemas de IA poderiam estar desalinhados: isto é, buscando fazer coisas que não queremos que eles façam. Em particular, acreditamos que poderiam estar desalinhados de tal forma, que venham a desenvolver (e executar) planos que apresentam riscos à capacidade da humanidade de influenciar o mundo, mesmo quando não queremos que essa influência seja perdida.

Acreditamos que isso significa que esses sistemas futuros apresentam uma ameaça existencial à civilização.

Ainda que encontremos um modo de evitar esse comportamento de busca de poder, ainda há riscos substanciais — como o uso indevido pelo governo e outros atores — que poderiam ser ameaças existenciais por si mesmas.

Quer saber mais sobre riscos da IA? Leia o perfil de problema.

Achamos que a segurança da IA técnica pode ser o caminho de carreira com maior impacto que identificamos até hoje. Isso porque parece um modo promissor de reduzir os riscos da IA. Escrevemos um artigo inteiro sobre o que são esses riscos e por que são tão importantes.

LEIA MAIS SOBRE A PREVENÇÃO DE UMA CATÁSTROFE RELACIONADA À IA

Há muitas maneiras como poderíamos tentar reduzir os riscos que esses sistemas poderiam apresentar. Mas um dos mais promissores pode ser a pesquisa de soluções técnicas que previnem comportamentos indesejados — incluindo comportamentos desalinhados — de sistemas de IA. (Descobrir um modo técnico de prevenir o desalinhamento em particular, é conhecido como problema do alinhamento.)

Nos últimos anos, vimos muitas organizações começarem a levar esses riscos mais a sério. Muitos dos principais laboratórios desenvolvendo IA — incluindo a Google DeepMind e a OpenAI — têm equipes especializadas em encontrar essas soluções, junto com grupos de pesquisa acadêmicos inclusive no MIT, Oxford, Cambridge, Universidade Carnegie Mellon e UC Berkeley.

Apesar disso, o campo ainda é muito novo. Achamos que há apenas cerca de 300 pessoas trabalhando em abordagens técnicas para redução de riscos existenciais de sistemas de IA,[1] o que torna este um campo altamente negligenciado.

Descobrir modos técnicos de reduzir este risco pode ser bem desafiador. Qualquer solução útil na prática, deve reter a utilidade dos sistemas (permanecendo economicamente competitiva com sistemas menos seguros) e continuar a funcionar conforme os sistemas melhoram com o tempo (ou seja, precisa ser “escalonável”). Como argumentamos em nosso perfil de problema, parece que pode ser difícil descobrir soluções viáveis, em particular para sistemas de aprendizado de máquina modernos.

(Se você não sabe nada de aprendizado de máquina, escrevemos uma introdução muito muito curta ao aprendizado de máquina, e entraremos em mais detalhes sobre como aprender sobre aprendizado de máquina mais tarde neste artigo. Por outro lado, se você tiver experiência com aprendizado de máquina, fale com a nossa equipe; ela pode te dar conselhos de carreira especializados, fazer apresentações a outras pessoas que trabalham com essas questões e possivelmente até ajudar você a encontrar empregos ou oportunidades de financiamento.)

Embora pareça difícil, há muitos caminhos para mais pesquisas, e a área realmente é muito jovem, de modo que há novas direções de pesquisa promissoras surgindo o tempo todo. Então, pensamos ser moderadamente tratável, embora estejamos incertos.

De fato, estamos incertos sobre tudo isto e escrevemos extensivamente sobre as razões pelas quais podemos estar errados sobre o risco da IA.

Mas, no geral, achamos que — se você for adequado para isto — ir para a pesquisa técnica em segurança da IA pode ser exatamente a coisa de maior impacto que você pode fazer na sua carreira.

O que este caminho envolve?

A pesquisa técnica em segurança da IA em geral envolve trabalhar como cientista ou engenheiro em grandes laboratórios, no meio acadêmico ou em ONGs independentes.

Essas funções podem ser bem difíceis de conseguir. É provável que precise construir capital de carreira antes de chegar em uma função de alto impacto (mais sobre isso mais tarde, na seção sobre como ingressar). Apesar disso, você pode não precisar passar um longo tempo construindo esse capital de carreira: já vimos pessoas excepcionalmente talentosas mudarem para a segurança da IA a partir de outros campos quantitativos, às vezes em menos de um ano.

A maior parte da pesquisa técnica em segurança da IA está em um espectro entre pesquisa empírica (fazer experimentos com sistemas atuais, como um modo de aprender mais sobre o que irá funcionar) e pesquisa teórica (pesquisa conceitual e matemática que procura modos de garantir que sistemas de IA futuros sejam seguros).

Não importa onde nesse espectro você acabe trabalhando, o seu caminho de carreira pode parecer um pouco diferente, dependendo se você quer buscar se tornar líder de pesquisa — propondo projetos, gerenciando uma equipe e definindo a direção — ou contribuidor — focando em executar a pesquisa.

Finalmente, existem duas funções ligeiramente diferentes que você pode buscar.

• No meio acadêmico, a pesquisa muitas vezes é liderada por professores; a característica distinta fundamental de ser professor é que você também dará aulas e orientará pós-graduandos (e definitivamente, você vai precisar ter um doutorado).
• Muitas (mas nem todas as) funções de contribuidor em pesquisa empírica também são de engenharia, muitas vezes engenharia de software. Aqui, estamos focando em funções de software que contribuem diretamente para a pesquisa em segurança da IA (e que muitas vezes requerem alguma formação em aprendizado de máquina) — escrevemos sobre engenharia de software de forma mais geral numa análise de carreira individual.

Acreditamos que funções de líder de pesquisa, provavelmente têm maior impacto em geral. Mas sobretudo, o impacto que você tem em qualquer uma dessas funções provavelmente é determinado principalmente pela sua adequação pessoal à função — veja a seção sobre como prever a sua adequação com antecedência.

Em seguida, daremos uma olhada no que envolve trabalhar em cada caminho. Depois, veremos o modo como você pode ingressar em cada caminho.

O que envolve trabalhar no caminho da segurança da IA empírica?

A segurança da IA empírica tende a envolver equipes que trabalham diretamente com modelos de aprendizado de máquina, para identificar quaisquer riscos e desenvolver modos como eles podem ser mitigados.

Isso significa que o trabalho é focado em técnicas atuais de aprendizado de máquina e técnicas que podem ser aplicadas no futuro muito próximo.

Na prática, trabalhar na segurança da IA empírica envolve muita programação e engenharia de aprendizado de máquina. Você pode, por exemplo, elaborar maneiras de testar a segurança de sistemas existentes e então executar esses testes empíricos.

Você pode encontrar funções na segurança da IA empírica na indústria e no meio acadêmico, assim como em ONGs focadas na segurança da IA.

Particularmente no meio acadêmico, muitos trabalhos relevantes não são rotulados explicitamente como focados em risco existencial, mas ainda podem ser altamente valiosos. Por exemplo, trabalhos em interpretabilidade, exemplos adversários, diagnósticos e aprendizado de backdoor, entre outras áreas, poderiam ser altamente relevantes para a redução da chance de uma catástrofe relacionada à IA.

Também estamos animados com trabalhos experimentais para desenvolver padrões de segurança aos quais as empresas de IA possam aderir no futuro: por exemplo, o trabalho sendo feito pela METR.

Para saber mais sobre os tipos de pesquisa que ocorrem em laboratórios focados na segurança da IA empírica, dê uma olhada:

• Abordagem da OpenAI à pesquisa de alinhamento,
• Opiniões da Anthropic sobre segurança da IA,
• Destaques recentes de pesquisa da Redwood Research,
• Publicações da equipe de segurança da Google DeepMind.

Embora programar seja central para todo o trabalho empírico, em geral, as funções de líder de pesquisa serão menos focadas em programação; em vez disso, precisarão de um gosto mais forte pela pesquisa e um entendimento teórico. Em comparação, contribuidores de pesquisa precisam ser muito bons em programação e engenharia de software.

O que envolve o trabalho no caminho da segurança da IA teórica?

A segurança da IA teórica é muito mais intensamente conceitual e matemática. Muitas vezes envolve raciocínio cuidadoso sobre o comportamento hipotético de sistemas futuros.

Em geral, a meta é elaborar propriedades que seriam úteis para algoritmos de aprendizado de máquina terem. Tendo algumas propriedades úteis, você pode tentar desenvolver algoritmos com essas propriedades (tendo em mente que, para ser úteis na prática, eles terão que acabar sendo adotados na indústria). Por outro lado, você poderia desenvolver maneiras de verificar se os sistemas têm essas propriedades. Essas verificações poderiam, por exemplo, ajudar a impor normas de segurança a produtos de IA futuros.

Muitas pessoas que trabalham em segurança da IA teórica passarão boa parte do seu tempo provando teoremas ou desenvolvendo novas estruturas matemáticas. Abordagens mais conceituais também existem, embora ainda tendam a fazer uso de estruturas formais.

Alguns exemplos de pesquisas em segurança da IA teórica incluem:

• Riscos da otimização aprendida em sistemas de aprendizado de máquina avançados de Hubinger et al.
• Elicitando conhecimento latente de Christiano, Cotra e  Xu
• Formalizando a presunção da independência de Christiano, Neyman, e  Xu
• Descobrindo agentes de Kenton et al.
• Aprendizado de recompensa ativo de múltiplos professores de Barnett et al.

Há geralmente menos funções disponíveis em trabalhos de segurança da IA teórica, especialmente para contribuidores de pesquisa. Funções de contribuidor de pesquisa teórica existem em ONGs (principalmente no Alignment Research Center), assim como em alguns laboratórios (por exemplo, o trabalho da Anthropic sobre condicionar modelos preditivos e o Grupo de Trabalho de Incentivos Causais na Google DeepMind.) A maioria das funções de contribuidor na segurança da IA teórica provavelmente existem no meio acadêmico (por exemplo, doutorandos em equipes que trabalham em projetos relevantes para a segurança da IA teórica).

Algumas abordagens empolgantes à segurança da IA

Há muitas abordagens técnicas à segurança da IA sendo buscadas atualmente. Aqui estão apenas algumas delas:

• Aprender de forma escalonável a partir do feedback humano. Exemplos incluem a amplificação iterada, a segurança da IA via debate, construir assistentes-IA que estejam incertos sobre os seus objetivos e os aprendam interagindo conosco e outros modos de conseguir que sistemas de IA treinados com descida do gradiente estocástico relatem com veracidade o que eles sabem.
• Modelagem de ameaça. Um exemplo deste trabalho seria demonstrar a possibilidade de (nos permitir estudar) capacidades perigosas, como sistemas de IA enganosos ou manipuladores. Você pode ler uma visão geral em um artigo recente da Google DeepMind. Este trabalho se divide entre trabalhos que avaliam se um modelo tem capacidades perigosas (como o trabalho da METR na avaliação do GPT-4) e trabalhos que avaliam se um modelo causaria danos na prática (como a pesquisa da Anthropic sobre o comportamento de grandes modelos de linguagem e este artigo sobre erro de generalização do objetivo). Também pode incluir trabalho para encontrar “organismos modelo de desalinhamento”, na esperança de entender melhor seus perigos.
• Trabalhar para descobrir como controlar sistemas avançados de IA, impedindo-os de causar danos, mesmo que não sejam seguros. Leia mais neste post do blog da equipe da Redwood Research que trabalha com controle.
• Pesquisa em interpretabilidade. Este trabalho envolve estudar por que sistemas de IA fazem o que fazem e tentar colocar isso em termos compreensíveis por humanos. Por exemplo, este artigo examinou como o AlphaZero aprende xadrez e este artigo buscou encontrar conhecimento latente em modelos de linguagem sem supervisão. Esta categoria também inclui a interpretabilidade mecanicista: por exemplo, Ampliando: uma Introdução aos Circuitos de Olah et al. Para mais, veja este artigo de pesquisa de opinião, assim como uma árvore tecnológica da transparência e interpretabilidade de Hubinger, e Uma Longa Lista de Teorias do Impacto para a Interpretabilidade de Nanda para visões gerais de como a pesquisa em interpretabilidade poderia reduzir o risco existencial da IA.
• Outras pesquisas contra o uso indevido para reduzir os riscos de catástrofe causados pelo uso indevido de sistemas. (Já escrevemos mais sobre isto em nosso perfil de problema sobre o risco da IA). Por exemplo, este trabalho inclui treinar IAs para que sejam difíceis de usar para propósitos perigosos. (Observe que há muita coincidência com os outros trabalhos nesta lista).
• Pesquisa para aumentar a resiliência das redes neurais. Este trabalho envolve garantir que os tipos de comportamento que as redes neurais exibem quando expostas a um conjunto de entradas continue a quando expostas a entradas às quais não tenham sido expostas anteriormente, a fim de impedir que sistemas de IA mudem para um comportamento inseguro. Veja a seção 2 de Problemas Não Resolvidos na segurança da IA para mais.
• Trabalho para construir IA cooperativa. Encontrar maneiras de garantir que, ainda que sistemas de IA individuais pareçam seguros, eles não produzam maus resultados pela interação com outros sistemas sociotécnicos. Para mais, veja Problemas Abertos em IA Cooperativa de Dafoe et al. ou a Cooperative AI Foundation. Isto parece particularmente relevante para a redução de “riscos s“.
• De modo mais geral, há alguns planos de segurança unificados. Para mais, veja 11 possíveis propostas para a construção de IA avançada segura de Hubinger, ou Como podemos alinhar a IA transformadora se for desenvolvida muito em breve de Karnofsky.[2]

Vale observar que há muitas abordagens à segurança da IA e que as pessoas no campo discordam intensamente sobre o que irá ou não irá funcionar.

Isso significa que, trabalhando na área, pode valer a pena ser caridoso e cuidadoso para não presumir que o trabalho dos outros não é útil só porque pareceu ser assim em uma olhada rápida. Provavelmente você deveria ter incertezas sobre a sua própria pauta de pesquisa também.

Além disso, como mencionamos antes, muitos trabalhos relevantes entre todas essas áreas não são rotulados como “segurança” explicitamente.

Então, é importante pensar com cuidado sobre como ou se, uma determinada pesquisa ajuda a reduzir os riscos que sistemas de IA podem apresentar.

Quais são as desvantagens deste caminho de carreira?

A pesquisa técnica em segurança da IA não é o único modo de fazer progresso na redução dos riscos que futuros sistemas de IA podem apresentar. Além disso, há muitos outros problemas urgentes no mundo além da possibilidade de uma catástrofe relacionada à IA e muitas carreiras que podem ajudar com eles. Se você for mais adequado para trabalhar em outra coisa, é provável que você deva fazer isso.

Além da adequação pessoal, há algumas outras desvantagens neste caminho de carreira:

• Pode ser muito competitivo para ingressar (embora uma vez dentro, os empregos são bem remunerados, e há muitas opções de reserva).
• Você precisa de habilidades quantitativas e provavelmente habilidade de programação.
• O trabalho está concentrado geograficamente em apenas alguns lugares (principalmente na Área da Baía de São Francisco e Londres, mas há também oportunidades em lugares com as melhores universidades como Oxford, Nova Iorque, Pittsburgh e Boston). Apesar disso, o trabalho remoto é cada vez mais possível em muitos laboratórios de pesquisa.
• Pode não ser muito tratável encontrar bons modos técnicos de reduzir o risco. Embora as avaliações da sua dificuldade variem, e embora fazer progresso seja quase certamente possível, pode ser bem difícil. Isso reduz o impacto que você poderia ter trabalhando na área. Apesar disso, se você começar com o trabalho técnico, pode ser capaz de fazer uma transição para o trabalho de governança, visto que muitas vezes isso se beneficia do treinamento técnico e da experiência com a indústria, o que a maioria das pessoas não tem.
• Algo relacionado é que há muito desacordo na área sobre o que poderia funcionar; você provavelmente será capaz de encontrar pelo menos algumas pessoas que acham que é inútil aquilo em que você está trabalhando, seja lá o que você acabe fazendo.
• O mais importante é que há algum risco de causar danos. Enquanto ganha capital de carreira, e enquanto trabalha na própria pesquisa, você terá que tomar decisões difíceis e fazer julgamentos sobre se você está trabalhando em algo benéfico (veja os nossos conselhos anônimos sobre trabalhar em funções que avançam as capacidades da IA). Há um enorme desacordo sobre quais abordagens técnicas à segurança da IA podem funcionar; e às vezes há  desacordo sobre se uma  estratégia de segurança pode aumentar  riscos existenciais da IA.

Por fim, já escrevemos mais sobre os melhores argumentos contra a IA ser urgente em nosso perfil de problemas, sobre prevenir uma catástrofe relacionada à IA. Se eles estiverem corretos, talvez você pudesse ter mais impacto trabalhando em uma temática diferente.

Quanto ganham os pesquisadores técnicos em segurança da IA?

Muitos pesquisadores técnicos trabalham em empresas ou pequenas start-ups que pagam salários competitivos com a indústria de tecnologia da Área da Baía de São Francisco e do Vale do Silício, e até organizações menores e ONGs pagarão salários competitivos para atrair os melhores talentos. A compensação mediana para um engenheiro de software na área da Baía de São Francisco era US$ 222.000 por ano em 2020.[3] (Leia mais sobre salários de engenheiro de software).

Essa mediana de US$ 222.000 pode ser uma subestimativa, visto que funções em IA, especialmente nos melhores laboratórios de IA que estão amplificando rápido o seu trabalho em IA, muitas vezes pagam melhor do que outros empregos de tecnologia, e o mesmo se aplica a pesquisadores em segurança — até aqueles em ONGs.

No entanto, a o meio acadêmico tem salários mais baixos do que a indústria em geral, e nosso palpite é que funções em segurança da IA no meio acadêmico pagam menos do que laboratórios comerciais e ONGs.

Exemplos de pessoas que seguem este caminho

Ethan Perez

Ethan Perez estava estudando ciência da computação quando se deparou com o 80.000 Horas, que o convenceu que o risco da inteligência artificial avançada é um problema altamente urgente. Depois de falar com um conselheiro do 80.000 Horas, ele decidiu trabalhar em tempo integral na segurança da IA, em vez de seguir uma carreira em tecnologia de carros autônomos. Ele foi escrever uma tese de doutorado sobre corrigir comportamentos indesejados em modelos de linguagem e conseguiu uma função como cientista pesquisador trabalhando em segurança da IA na Anthropic. 

SAIBA MAIS

Catherine Olsson

Catherine iniciou seu doutorado em NYU, trabalhando em modelos computacionais de visão humana. Acabou decidindo trabalhar diretamente em segurança da IA e conseguiu um emprego na OpenAI e então na Google Brain, antes de mudar para a Anthropic. 

SAIBA MAIS

Neel Nanda

Neel estava fazendo pós-graduação em matemática quando decidiu que queria trabalhar em segurança da IA. A nossa equipe foi capaz de apresentá-lo a pesquisadores no campo e o ajudou a conseguir estágios em grupos de pesquisa na academia e na indústria. Neel não sentia que era muito adequado para o meio acadêmico — ele odeia escrever artigos —; então se candidatou para funções em laboratórios de IA comerciais. Agora ele é pesquisador na DeepMind, onde trabalha em interpretabilidade mecanicista. 

SAIBA MAIS

Como prever a sua adequação com antecedência

Você vai precisar de uma formação quantitativa (embora não necessariamente uma formação em ciência da computação ou aprendizado de máquina) para ingressar neste caminho de carreira.

Há duas abordagens principais que você pode tomar para prever a sua adequação, e ajuda fazer as duas:

• Experimente: experimente os primeiros passos na seção abaixo sobre aprender o básico. Se não fez isso ainda, tente aprender um pouco de python, assim como fazer cursos de álgebra linear, cálculo e probabilidade. E se você fez isso, tente aprender um pouco sobre aprendizado de máquina e segurança da IA. Por fim, o melhor modo de experimentar isto para muitas pessoas, seria efetivamente conseguir um emprego como engenheiro de aprendizado de máquina (não na área de segurança) (veja mais na seção sobre como ingressar).
• Fale com as pessoas sobre se seria adequado para você: se você deseja se tornar pesquisador técnico, a nossa equipe provavelmente deseja falar com você. Podemos te dar conselhos individualizados, de graça. Se você conhece alguém que trabalhe na área (ou algo parecido), discuta sobre este caminho de carreira com eles e peça a sua opinião honesta. Pode ser que seja capaz de conhecer pessoas pela nossa comunidade. Os nossos conselheiros também formam conexões.

Pode levar algum tempo para construir conhecimento, e o prazer pode seguir o conhecimento; então prepare-se para levar algum tempo para aprender e pratique antes de decidir mudar para uma coisa inteiramente diferente.

Se não tiver certeza de quais funções você pode buscar a longo prazo, aqui estão alguns modos aproximados de você supor o que buscar e se você pode ser adequado para várias funções neste caminho:

• Testar sua adequação como contribuidor de pesquisa empírica: em uma postagem sobre contratações para pesquisadores em segurança, a equipe da Google DeepMind disse: “como um teste aproximado para a função de Engenheiro de Pesquisa, se você consegue reproduzir um artigo típico de aprendizado de máquina em algumas centenas de horas e os seus interesses se alinham com os nossos, provavelmente estamos interessados em entrevistar você.
  • Analisando a engenharia de software em específico, um gerente de recrutamento na Anthropic disse que, se você conseguisse, com algumas semanas de trabalho, escrever uma nova característica complexa ou corrigir um bug muito sério em uma grande biblioteca de aprendizado de máquina, ele iria querer entrevistar você imediatamente. (Leia mais.)
• Testar a sua adequação para a pesquisa teórica: se você pudesse entrar em um dos 10 melhores programas de doutorado em matemática ou ciência da computação teórica, caso tenha otimizado a sua graduação para isso, é uma indicação decente da sua adequação (e muitos pesquisadores de fato têm esses doutorados). O Alignment Research Center (uma das poucas organizações que contratam contribuidores de pesquisa teórica, até 2023) disse que está aberto a contratar pessoas sem nenhuma formação em pesquisa. O centro nos deu quatro testes de adequação: criatividade (p. ex.: você pode ter ideias para resolver problemas abertos no campo, como Elicitando Conhecimento Latente); experiência projetando algoritmos, provando teoremas ou formalizando conceitos; conhecimento amplo de matemática e ciência da computação; e ter pensado bastante sobre o problema do alinhamento em particular.
• Testar a sua adequação como líder de pesquisa (ou para um doutorado): a vasta maioria dos líderes de pesquisa tem um doutorado. Além disso, muitas (mas definitivamente nem todas as) funções de pesquisa técnica em segurança da IA necessitarão de um doutorado; e se não necessitarem, ter um doutorado (ou ser o tipo de pessoa que poderia conseguir um) definitivamente ajudaria a mostrar que você é adequado para o trabalho. Para entrar nos 20 melhores programas de aprendizado de máquina, você provavelmente precisa publicar algo como um artigo de workshop de primeiro autor, assim como um artigo de conferência de terceiro autor, emuma grande conferência de aprendizado de máquina (como a NeurIPS ou a ICML). (Leia mais sobre se você deveria fazer um doutorado).

Leia o nosso artigo sobre adequação pessoal para saber mais sobre como avaliar a sua adequação para os caminhos de carreira que você deseja seguir.

Como ingressar

Você pode ser capaz de se candidatar para funções de imediato — especialmente se cumprir, ou estiver quase cumprindo, os testes que acabamos de ver —, mas também pode levar algum tempo, possivelmente alguns anos, para aumentar as suas habilidades primeiro.

Então, nesta seção, te daremos um guia para ingressar na pesquisa técnica em segurança da IA. Abordaemos quatro questões-chave:

1. Como aprender o básico
2. Se você deve ou não fazer um doutorado
3. Como conseguir um emprego em pesquisa empírica
4. Como conseguir um emprego em pesquisa teórica

Esperamos que, ao final da seção, você tenha tudo que precisa para iniciar.

Aprendendo o básico

Para chegar a algum lugar no mundo da pesquisa técnica em segurança da IA, você provavelmente terá que ter um conhecimento de base de codificação, matemática e aprendizado de máquina.

Você também pode querer praticar o bastante, para se tornar um engenheiro de aprendizado de máquina decente (embora isso geralmente seja mais útil para a pesquisa empírica) e aprender um pouco de técnicas de segurança em particular (embora isso geralmente seja mais útil para líderes de pesquisa empírica e pesquisadores teóricos).

Passaremos por cada um desses separadamente.

Aprendendo a programar

Você provavelmente irá querer aprender a codificar em python, porque é a linguagem mais amplamente usada em engenharia de aprendizado de máquina.

O primeiro passo provavelmente é simplesmente tentar fazer. Como completo iniciante, você pode escrever um programa de Python em menos de 20 minutos que te lembre de fazer uma parada a cada duas horas. Não fique desestimulado se o seu código não funcionar na primeira vez: isso é o que acontece normalmente quando as pessoas codificam!

Tendo feito isso, você tem algumas opções:

• Ensine programação a si mesmo. Tente fazer  um curso gratuito para iniciantes como Automatize tarefas maçantes com Python de AI Sweigart. Existem também muitos ótimos cursos introdutórios de programação e ciência da computação on-line, incluindo: a Introdução à Ciência da Computação da Udacity, a Introdução à Ciência da Computação e Programação do MIT e a Metodologia da Programação de Stanford. Então, tente descobrir algo que você queira construir e construa, ou tente se envolver em um projeto de código aberto. Para praticar para entrevistas, tente o leetcode ou o TopCoder, ou os exercícios em Cracking the Coding Interview de Gayle McDowell.
• Faça um curso universitário. Se você está na universidade, esta é uma ótima opção pois te permite aprender a programar, enquanto o custo de oportunidade do seu tempo é menor. Você pode até considerar se formar em ciência da computação (ou outra graduação que envolva muita programação).
• Aprenda no trabalho. Se você puder encontrar estágios, ganhará experiência e habilidades práticas que você não conseguiria de outra maneira com diplomas acadêmicos.
• Vá para um programa intensivo. Bootcamps (programas intensivos de codificação) focam em levar pessoas com pouco conhecimento de programação para um emprego tão altamente remunerado quanto possível, dentro de alguns meses, embora alguns afirmem que os prospectos de longo prazo não sejam tão bons, porque você carece de um entendimento profundo de ciência da computação. O Course Report é um ótimo guia para escolher um programa intensivo. Tenha cuidado para evitar programas intensivos de baixa qualidade. Você pode encontrar programas intensivos online — para pessoas completamente novas em programação — focados em aprendizado de máquina, como o Programa Intensivo de Python para Ciência de Dados e Aprendizado de Máquina da Udemy.

Você pode ler mais sobre aprender a programar — e como conseguir o seu primeiro emprego de engenharia de software (se essa for a rota que você deseja tomar) — na nossa análise de carreira sobre engenharia de software.

Aprendendo a matemática

A matemática do aprendizado profundo depende fortemente do cálculo e da álgebra linear, e estatística pode ser útil também — embora geralmente aprender a matemática seja muito menos importante do que programação e aprendizado de máquina básico e prático.

Recomendamos em geral estudar uma disciplina quantitativa (como matemática, ciência da computação ou engenharia), a maioria delas cobrirá muito bem as três áreas.

Se você quiser efetivamente ficar bom em matemática, você tem que resolver problemas. Então, em geral, a coisa mais útil que os livros-textos e cursos online fornecem não são as suas explicações, são um conjunto de exercícios para tentar resolver, em ordem, com alguma ajuda se tiver dúvidas.

Se quiser estudar sozinho (especialmente se não tiver um diploma quantitativo), aqui estão alguns recursos possíveis:

• Cálculo: a série de vídeos de 3blue1brown sobre cálculo pode ser um bom lugar para começar. Você também pode acompanhar cursos universitários gravados: o cálculo de uma variável do MIT (que requer somente álgebra e trigonometria de ensino médio) seguido do curso do MIT de cálculo vetorial e multivariável.
• Álgebra linear: novamente, sugerimos a série de vídeos de 3blue1brown sobre álgebra linear como um lugar onde começar. No seu post sobre carreiras de alinhamento técnico, Rogers-Smith recomenda Álgebra Linear Feita Corretamente de Sheldon Axler. Por fim, se preferir palestras, experimente o curso de graduação do MIT de álgebra linear (mas observe que esse curso pressupõe conhecimento sobre cálculo multivariável).
• Probabilidade: dê uma olhada no curso de graduação do MIT de probabilidade e variáveis aleatórias.

Você pode ser capaz de encontrar recursos que abrangem todas essas áreas, como o Matemática para Aprendizado de Máquina do Imperial College.

Aprendendo o básico do aprendizado de máquina

Provavelmente, você irá precisar de um entendimento decente de como os sistemas de IA estão sendo desenvolvidos atualmente. Isso envolverá aprender sobre aprendizado de máquina e redes neurais, antes de mergulhar em quaisquer subáreas específicas do aprendizado de máquina.

Novamente, existe a opção de estudar isso na universidade. Se você está atualmente na faculdade, vale a pena verificar se pode fazer um curso de aprendizado de máquina mesmo se não estiver se formando em ciência da computação.

Há uma qualificação importante aqui: você vai aprender muito no trabalho, e o quanto você precisará saber com antecedência para qualquer função ou curso, vai variar muito! Nem sequer os melhores acadêmicos sabem tudo sobre os seus campos. Vale a pena descobrir o quanto você precisará saber para a função que deseja cumprir, antes de investir centenas de horas estudando sobre aprendizado de máquina.

Com essa ressalva em mente, aqui estão algumas sugestões de lugares onde você pode começar se quiser estudar sozinho o básico:

• A série de 3blue1brown sobre redes neurais é um lugar realmente ótimo para começar para iniciantes.
• Quando estava aprendendo, usei Neural Networks and Deep Learning; é um livro-texto on-line, bom se você conhecer  matemática, com alguns exercícios úteis também.
• Cursos introdutórios on-line como o fast.ai (focado em aplicações práticas), o Full Stack Deep Learning e os vários cursos em deeplearning.ai.
• Para mais detalhes, veja cursos universitários como a *Introdução ao Aprendizado de Máquina do MIT e o Aprendizado Profundo da NYU para ainda mais detalhes. Também recomendamos as séries de palestras da Google DeepMind.

O PyTorch é um pacote muito comum usado para implementar redes neurais, e provavelmente vale a pena aprender! Quando comecei a aprender sobre aprendizado de máquina, minha primeira rede neural foi uma rede neural convolucional de 3 camadas com caracteres classificadores de regularização L2 da base de dados MNIST. Esse é um primeiro desafio bem comum, e um bom modo de aprender PyTorch.

Aprendendo sobre segurança da IA

Se você vai trabalhar como pesquisador em segurança da IA, geralmente ajuda saber sobre segurança da IA.

Isso nem sempre é verdade: algumas funções de engenharia não necessitarão de muito conhecimento de segurança da IA. Mas mesmo assim, saber o básico, provavelmente te ajudará a conseguir uma posição, e também pode ajudar com coisas como fazer julgamentos difíceis e evitar causar danos. E se você quer ser capaz de identificar e fazer um trabalho útil, você vai precisar eventualmente aprender sobre a área.

Devido à área ainda ser tão nova, provavelmente não há (ainda) cursos universitários que você possa fazer. Então, você precisará estudar sozinho um pouco. Aqui estão alguns lugares onde você pode começar.

• A seção 3 do nosso perfil de problema sobre prevenir uma catástrofe relacionada à IA fornece uma introdução aos problemas que a segurança da IA tenta resolver (com um foco particular no alinhamento).
• O canal do YouTube de Rob Miles está cheio de vídeos introdutórios e bem explicados, que não precisam de muito conhecimento básico de aprendizado de máquina.
• O AXRP – AI X-risk Research Podcast – está cheio de conversas aprofundadas (e divertidas) com pesquisadores sobre suas pesquisas.
• Os cursos dos Fundamentos da Segurança da IGA, em particular o Curso de Alinhamento da IA (traduzido em português), possivelmente seguido do Alinhamento 201, que fornece uma introdução à pesquisa sobre o problema do alinhamento.
• A Introdução à Segurança do Aprendizado de Máquina, um curso do Center for AI Safety, foca em resistir a ameaças (“robustez”), identificar ameaças (“monitoramento”) e reduzir ameaças sistemáticas (“segurança sistêmica”), assim como alinhamento.

Para mais sugestões — especialmente no que se refere à leitura sobre a natureza dos riscos que podemos encarar vindo de sistemas de IA — dê uma olhada nos melhores recursos para saber mais do nosso perfil de problema.

Você devia fazer um doutorado?

Algumas funções em pesquisa técnica necessitarão de um doutorado, mas muitas não, e doutorados não são a melhor opção para todos.

O principal benefício de fazer um doutorado, provavelmente é praticar a definição e execução da sua própria pauta de pesquisa. Como resultado, conseguir um doutorado é praticamente o padrão, se você quiser ser líder de pesquisa. 

Dito disso, você também pode se tornar líder de pesquisa sem um doutorado: em particular, fazendo uma transição a partir de uma função como contribuidor de pesquisa. Em alguns grandes laboratórios, a fronteira entre ser contribuidor e líder está cada vez mais tênue.

Muitas pessoas acham doutorados muito difíceis. Podem isolar e frustrar um indivíduo, e levam muito tempo (de 4 a 6 anos). Além disso, tanto a sua qualidade de vida, como o quanto você aprende, dependerá do seu orientador: e pode ser bem difícil descobrir com antecedência se você está fazendo uma boa escolha.

Então, se você está considerando fazer um doutorado, aqui estão algumas coisas para considerar:

• A sua visão de longo prazo: se está buscando ser líder de pesquisa, isso sugere que você pode querer fazer um doutorado: a vasta maioria dos líderes de pesquisa têm doutorados. Se deseja principalmente ser contribuidor (p. ex., engenheiro de aprendizado de máquina ou software), isso sugere que talvez você não queira. Se você está incerto, devia tentar fazer algo para testar a sua adequação para cada função, como tentar um projeto ou estágio. Você pode tentar uma função de assistente de pesquisa pré-doutoral; se a pesquisa que você fizer for relevante para a sua carreira futura, essas coisas podem ser um bom capital de carreira, quer você faça ou não um doutorado.  
• O tema da sua pesquisa: é fácil deixar-se ficar preso a um tema de doutorado sobre o qual você não está confiante. Se o doutorado que está considerando, deixaria você trabalhar em algo que parece útil para a segurança da IA, provavelmente é — todo o resto constante  — melhor para a sua carreira, e a própria pesquisa pode ter um impacto positivo também.
• Orientação: como são os orientadores ou gerentes nas oportunidades abertas para você? Você pode ser capaz de encontrar funções em engenharia de aprendizado de máquina ou pesquisa na indústria, nas quais você poderia aprender muito mais do que aprenderia em um doutorado — ou vice-versa. Para escolher um orientador, tente entrar em contato com os alunos atuais ou antigos de um orientador potencial e lhes fazer algumas perguntas francas. (Além disso, veja este artigo sobre como escolher um orientador de doutorado.)
• A sua adequação para o ambiente de trabalho: fazer um doutorado significa trabalhar sozinho, com muito pouca supervisão ou feedback por longos períodos de tempo. Algumas pessoas prosperam nessas condições! Mas alguns realmente não prosperam, e acham doutorados extremamente difíceis.

Leia mais na nossa análise mais detalhada (porém menos atualizada) de doutorados em aprendizado de máquina.

Vale a pena lembrar que a maioria dos empregos não precisam de um doutorado. E para alguns empregos, especialmente funções de contribuidor de pesquisa empírica, ainda que um doutorado seja de ajuda, muitas vezes há modos melhores de conseguir o capital de carreira de que você precisaria (por exemplo, trabalhando como engenheiro de software ou aprendizado de máquina). Já entrevistamos dois engenheiros de aprendizado de máquina que tiveram carreiras muito bem-sucedidas sem fazerem um doutorado.

Se você deveria fazer um doutorado não depende (muito) das linhas do tempo

Achamos plausível que iremos desenvolver IA que poderia ser extremamente transformadora para a sociedade até o fim de 2030.

Todo o resto constante , essa possibilidade poderia argumentar em defesa de tentar ter um impacto imediatamente, em vez de passar cinco anos (ou mais) fazendo um doutorado.

Em última análise, quão bem você, em particular, está apto para um doutorado em particular provavelmente é um fator muito mais importante do que quando a IA será desenvolvida.

Ou seja, achamos que o aumento no impacto causado por escolher um caminho que é adequado para você, provavelmente é maior do que qualquer diminuição no impacto causado por atrasar o seu trabalho. Isso se deve em parte à difusão do impacto causado pelas funções específicas disponíveis para você, assim como a sua adequação pessoal para elas, geralmente é muito grande. Algumas funções (especialmente funções em liderança) simplesmente vão necessitar ter um doutorado, e outras (especialmente funções mais intensas em termos de engenharia) não — e a adequação das pessoas para esses caminhos varia bastante.

Também estamos altamente incertos sobre estimativas de quando podemos desenvolver a IA transformadora. Essa incerteza reduz o custo esperado de qualquer atraso.

O mais importante é que achamos que doutorados não devem ser concebidos como um puro atraso no seu impacto. Você pode fazer trabalhos úteis em um doutorado, e em geral, os primeiros anos em qualquer caminho de carreira envolvem muito aprendizado sobre o básico e atualização. Então, se você tiver um bom orientador, um bom ambiente de trabalho e uma boa escolha de tema, o seu trabalho de doutorado pode ser tão bom quanto o trabalho que você faria, se fosse trabalhar em outro lugar no início da sua carreira, ou possivelmente melhor que nesse trabalho. E se de repente você receber evidências de que tem menos tempo do que pensava, é relativamente fácil sair.

Há muitas outras considerações aqui; para uma visão geral aproximada, e algumas discussões, veja este post do conselheiro do 80.000 Horas Alex Lawson, e também os comentários.

No geral, sugerimos, em vez de se preocupar com um atraso no seu impacto, pensar sobre qual caminho mais prolongado você deseja seguir e como as oportunidades específicas à sua frente levarão você até lá.

Como conseguir um doutorado

Doutorados em aprendizado de máquina podem ser bem competitivos. Para entrar, você provavelmente irá precisar de algumas publicações (como dissemos acima, algo como um artigo de workshop de primeiro autor, assim como um artigo de conferência de terceiro autor numa grande conferência de aprendizado de máquina (como a NeurIPS ou a ICML), e referências, provavelmente de acadêmicos de aprendizado de máquina (embora publicações também pareçam boas seja lá qual for o caminho que você acabe seguindo!)

Para acabar nesse estágio, você precisará de uma boa quantidade de sorte, e também  precisará encontrar modos de conseguir alguma experiência de pesquisa.

Uma opção é fazer um mestrado em aprendizado de máquina, mas garanta que seja um mestrado de pesquisa, pois a maioria dos mestrados focam principalmente na preparação para a indústria.

Melhor ainda, tente conseguir um estágio num grupo de pesquisa de aprendizado de máquina. Oportunidades incluem o RISS na Universidade Carnegie Mellon, o UROP no Imperial College London, o programa internacional de pesquisa de verão do Aalto Science Institute, o Data Science Summer Institute, o programa de estágio do Toyota Technological Institute e o MILA. Você pode também tentar fazer um estágio especificamente em segurança da IA, por exemplo no CHAI. No entanto, às vezes há desvantagens em fazer estágios especificamente em segurança da IA diretamente: em geral, pode ser mais difícil publicar e a orientação pode ser mais limitada.

Outro modo de conseguir experiência de pesquisa é perguntando se você pode trabalhar com pesquisadores. Se já está numa das melhores universidades, pode ser mais fácil contatar pessoas que trabalhem na universidade onde está estudando.

Doutorandos ou pós-doutorandos podem ser mais responsivos do que professores, mas eventualmente, você vai querer que alguns professores com quem você trabalhou forneçam referências, de modo que você precisará entrar em contato. Os professores tendem a receber vários e-mails sem contato prévio; então tente conseguir a atenção deles! Você pode:

• Conseguir uma indicação de um professor que tenha te ensinado, por exemplo.
• Mencionar coisas que você já fez (suas notas, cursos relevantes que você fez, o seu GitHub, quaisquer artigos de pesquisa de aprendizado de máquina que você tenha tentado reproduzir como prática). 
• Ler alguns dos seus artigos e os principais artigos na área, e mencioná-los no e-mail.
• Candidatar-se para financiamento que esteja disponível para estudantes que queiram trabalhar em segurança da IA e avisar às pessoas que você recebeu financiamento para trabalhar com elas. 

Idealmente, você encontrará alguém que te oriente bem e tenha tempo para trabalhar com você (isso não significa necessariamente o professor mais famoso, embora ajude muito se ele estiver publicando regularmente nas melhores conferências). Dessa forma, eles chegarão a conhecer você, você poderá impressioná-los e fornecerão uma incrível referência quando você se candidatar para doutorados.

É muito possível que, para conseguir as publicações e referências de que precisará para entrar em um doutorado, você vai precisar passar um ano ou dois, trabalhando como assistente de pesquisa, embora essas posições também possam ser bem competitivas. 

Este guia de Adam Gleave também entra em alguns detalhes sobre como conseguir um doutorado, inclusive onde se candidatar e dicas sobre o próprio processo de candidatura. Discutimos sobre doutorados em aprendizado de máquina com mais detalhes em nossa análise de carreira sobre doutorados em aprendizado de máquina (embora esteja desatualizado em comparação com esta análise de carreira).

Arranjando um emprego em pesquisa em  segurança da IA empírica

Em última análise, a melhor maneira de aprender a fazer pesquisa empírica — especialmente em funções de contribuidor e focada em engenharia — é trabalhar em algum lugar que faça tanto engenharia de alta qualidade, quanto pesquisa de ponta.

Os três melhores laboratórios provavelmente são a Google DeepMind (que oferece estágios para estudantes), a OpenAI (que tem um programa de residência de 6 meses) e a Anthropic. (Trabalhar em um dos principais laboratórios de IA traz algum risco de causar danos, de modo que é importante pensar com cuidado sobre as suas opções. Escrevemos um artigo distinto passando pelas principais considerações relevantes.)

Para conseguir trabalhar em uma função em pesquisa empírica, você provavelmente precisa construir algum capital de carreira.

Quer você deseje ser líder de pesquisa ou contribuidor, vai ajudar tornar-se um engenheiro de software muito bom. As melhores maneiras de fazer isso geralmente envolvem conseguir um emprego como engenheiro de software em uma empresa de tecnologia ou em uma startup promissora. (Escrevemos um artigo inteiro sobre tornar-se engenheiro de software.)

Muitas funções exigirão que você seja um bom engenheiro de aprendizado de máquina, o que significa ir além do que só o básico que vimos acima. O melhor modo de tornar-se um bom engenheiro de aprendizado de máquina é conseguir um emprego fazendo engenharia de aprendizado de máquina, e os melhores lugares para isso provavelmente são os principais laboratórios de IA.

Para funções de líder de pesquisa, você precisará de relativamente mais experiência de pesquisa. Você vai querer ou se tornar contribuidor de pesquisa primeiro, ou entrar pelo meio acadêmico (por exemplo, fazendo um doutorado).

Apesar disso, é importante lembrar-se de que você não precisa saber tudo para começar a se candidatar, visto que você inevitavelmente vai aprender bastante no trabalho; então, tente descobrir o que você vai precisar aprender, para conseguir as funções específicas que está considerando. 

De quanta experiência você precisa para conseguir um emprego? Vale a pena reiterar os testes que vimos acima para funções de contribuidor: 

• Em uma postagem sobre contratações de pesquisadores em segurança, a equipe da DeepMind disse: “como um teste aproximado para a função de Engenheiro de Pesquisa, se você consegue reproduzir um artigo típico de aprendizado de máquina em algumas centenas de horas e os seus interesses se alinham com os nossos, provavelmente estamos interessados em entrevistar você.”
• Analisando a engenharia de software em específico, um gerente de recrutamento na Anthropic disse que, se você conseguisse, com algumas semanas de trabalho, escrever uma nova característica complexa ou corrigir um bug muito sério em uma grande biblioteca de aprendizado de máquina, ele iria querer entrevistar você imediatamente. (Leia mais.)

No processo de conseguir essa experiência, você pode acabar trabalhando em funções que avançam as capacidades da IA. Há uma variedade de opiniões sobre se isso pode ser nocivo; então sugerimos ler o nosso artigo sobre trabalhar nos principais laboratórios de IA e o nosso artigo que contém conselhos anônimos de especialistas sobre trabalhar em funções que avançam capacidades. Também vale a pena falar com a nossa equipe sobre quaisquer oportunidades específicas que você tenha.

Se você estiver fazendo outro trabalho, ou faculdade, ou pensa que precisa aprender um pouco mais, antes de tentar mudar de carreira, há alguns bons modos de conseguir mais experiência fazendo engenharia de aprendizado de máquina, que vão além do básico que já abordamos. 

• Conseguir alguma experiência em engenharia de software / aprendizado de máquina. Por exemplo, se você está fazendo faculdade, pode tentar um estágio como engenheiro de software durante o verão. A DeepMind oferece estágios para estudantes com pelo menos dois anos de estudo em uma disciplina técnica.
• Reproduzir artigos. Um ótimo modo de conseguir experiência fazendo engenharia de aprendizado de máquina é reproduzir alguns artigos em qualquer subárea em que você queira trabalhar. Richard Ngo, pesquisador em governança da IA na OpenAI, escreveu sobre conselhos sobre reprodução de artigos. Mas tenha em mente que reproduzir artigos pode ser bem difícil: dê uma olhada no blog de Amid Fish sobre o que ele aprendeu ao reproduzir um artigo de aprendizado por reforço. Por fim, Rogers-Smith tem algumas sugestões sobre artigos para reproduzir. Se você passar algum tempo reproduzndo artigos, lembre-se de que, quando chegar a se candidatar para funções, será muito útil ser capaz de provar que você fez o trabalho. Então, tente subir o seu trabalho para o GitHub ou escrever um blog sobre o seu progresso. E se você estiver pensando em passar um longo tempo nisso (digamos, mais de 100 horas), tente conseguir algum feedback sobre os artigos que você pode reproduzir antes de começar — você poderia até entrar em contato com um laboratório para o qual você queira trabalhar.
• Fazer ou seguir um curso mais aprofundado em segurança da IA empírica. A Redwood Research dirigiu o programa intensivo MLAB, e você pode se candidatar para ter acesso ao currículo deles aqui. Você pode também dar uma olhada neste Currículo de Aprendizado de Máquina de Jacob Hilton, pesquisador no Alignment Research Center — embora provavelmente seja bem desafiador sem orientação.[4] O Acelerador de Engenheiros de Pesquisa de Alinhamento é um programa que usa esse currículo. Alguns orientadores no Programa SERI de Eruditos em Teoria do Alinhamento de Aprendizado de Máquina focam na pesquisa empírica.
• Aprender sobre uma subárea do aprendizado de máquina. Em particular, sugerimos o processamento de linguagem natural (em particular os transformadores  — veja esta palestra como ponto de partida) e aprendizado por reforço (dê uma olhada em Pong from Pixels de Andrej Karpathy e Spinning up in Deep RL da OpenAI). Tente chegar ao ponto onde você saiba dos avanços mais recentes.

Por fim, o Athena é um programa de orientação em alinhamento da IA para mulheres com formação técnica à procura de conseguir empregos na área do alinhamento. 

Conseguindo um emprego em pesquisa em segurança da IA teórica

Existem menos empregos disponíveis em pesquisa em segurança da IA teórica, de modo que é mais difícil dar conselhos concretos. Ter um doutorado em matemática e ciência da computação teórica nem sempre é necessário, mas é bastante comum entre os pesquisadores na indústria, e é basicamente necessário para ser um acadêmico.

Se você fizer um doutorado, idealmente será numa área pelo menos um tanto relacionada à pesquisa em segurança da IA teórica . Por exemplo, poderia ser em teoria da probabilidade aplicada à IA ou em ciência da computação teórica (procure pesquisadores que publiquem na COLT ou no FOCS).

Por outro lado, um caminho é tornar-se líder de pesquisa empírica, antes de mudar para a pesquisa teórica.

Em comparação com a pesquisa empírica, você vai precisar saber relativamente menos sobre engenharia e relativamente mais sobre segurança da IA como uma área. 

Quando tiver feito o básico, um possível próximo passo que você poderia dar, é ler artigos de um pesquisador em particular, ou em um tema em particular, e resumir o que você descobriu.

Você poderia também tentar passar algum tempo (talvez 10-100 horas) lendo sobre um tema e então um pouco mais tempo (talvez outras 10-100 horas) tentando elaborar algumas novas ideias sobre esse tema. Por exemplo, você poderia tentar elaborar propostas para resolver o problema de elicitar conhecimento latente. Por outro lado, se você quisesse focar no lado mais matemático, você poderia tentar a sorte na tarefa no fim desta palestra de Michael Cohen, pós-graduando na universidade de Oxford.

Se você deseja entrar para o meio acadêmico, ler uma tonelada de artigos parece particularmente importante. Talvez seja bom tentar escrever um levantamento sobre certo tema no seu tempo livre. É uma ótima maneira de dominar um tema, despertar novas ideias, detectar lacunas e elaborar ideias de pesquisa. Ao se candidatar para a pós-graduação ou empregos, o seu artigo é um modo fantástico de mostrar que você ama a pesquisa tanto, que faz por diversão.  

Há alguns programas de pesquisa direcionados a pessoas novas no campo, como o Programa SERI de Eruditos em Teoria do Alinhamento de Aprendizado de Máquina, para o qual você pode se candidatar.

Outras formas de conseguir experiência mais concreta incluem fazer estágios de pesquisa, trabalhar como assistente de pesquisa ou fazer um doutorado, tudo o qual escrevemos acima, na seção sobre se e como você pode ingressar em um programa de doutorado.

Uma observação é que muitas pessoas com quem falamos, tentam aprender de forma independente. Isso pode ser uma ótima ideia para algumas pessoas, mas é bastante difícil para outras, porque há substancialmente menos estrutura e orientação.

Organizações recomendadas

Laboratórios na indústria que possuem equipes de segurança técnica empírica, ou que focam inteiramente em segurança:

• A Anthropic é uma empresa de segurança da IA que trabalha na construção de sistemas de IA seguros e interpretáveis. Ela foca em pesquisa em segurança da IA empírica. Os cofundadores da Anthropic Daniela e Dario Amodei deram uma entrevista sobre o laboratório no podcast do Future of Life Institute. No nosso podcast, falamos com Chris Olah, que lidera a pesquisa da Anthropic em interpretabilidade, e Nova DasSarma, que trabalha em infraestrutura de sistemas na Anthropic.
• O METR trabalha avaliando se sistemas de ponta poderiam apresentar riscos catastróficos à civilização, inclusive trabalhos em estágio inicial e experimentais para desenvolver técnicas e avaliar sistemas produzidos pela Anthropic e pela OpenAI.  
• O Center for AI Safety é uma ONG que faz pesquisa técnica e promoção de segurança na comunidade mais ampla de aprendizado de máquina.
• A FAR AI é uma ONG focada em pesquisa, que incuba e acelera pautas de pesquisa que não exigem recursos demais para a universidade, mas não estão prontas para a comercialização pela indústria, incluindo pesquisa em robustez adversária, interpretabilidade e aprendizado de preferências.
• A Google DeepMind provavelmente é o grupo de pesquisa maior e mais conhecido, desenvolvendo inteligência geral artificial, e é famosa pelo seu trabalho de criar o AlphaGo, o AlphaZero e o AlphaFold. Não foca principalmente em segurança, mas tem duas equipes focadas em segurança da IA, com a Equipe de IA Amplificada focada em alinhar sistemas de ponta existentes e a Equipe de Alinhamento focada em apostas de pesquisa para alinhar sistemas futuros.
• A OpenAI, fundada em 2015, é um laboratório que está tentando construir inteligência artificial geral que seja segura e beneficie toda a humanidade. A OpenAI é conhecida por seus modelos de linguagem como o GPT-4. Como a DeepMind, não está focada principalmente em segurança, mas tem uma equipe de segurança e uma equipe de governança. Jan Leike (colíder da equipe de superalinhamento) tem algumas postagens sobre como ele pensa sobre alinhamento da IA e falou no nosso podcast sobre os tipos de pessoas que ele gostaria de contratar para a sua equipe.
• O Ought é um laboratório de aprendizado de máquina que está construindo o Elicit, um assistente de pesquisa de IA. A sua meta é alinhar o raciocínio aberto aprendendo etapas de raciocínio humano e direcionar o progresso da IA para ajudar na avaliação de evidências e argumentos.
• A Redwood Research é uma organização de pesquisa em segurança da IA, cujo primeiro grande projeto tentou garantir que modelos de linguagem (como o GPT-3) produzissem saídas que seguissem certas regras com probabilidade muito alta, a fim de lidar com modos de falha muito raros para aparecerem no treinamento-padrão.

Laboratórios de segurança de IA teórica / conceitual:

• O Alignment Research Center (ARC) está tentando produzir estratégias de alinhamento que poderiam ser adotadas na indústria hoje, enquanto também sejam capazes de se amplificar para sistemas futuros. Foca em trabalhos conceituais, desenvolvendo estratégias que poderiam funcionar para o alinhamento e que possam ser direções promissoras para o trabalho empírico, em vez de fazer trabalho empírico por conta própria. O seu primeiro projeto foi lançar um relatório sobre Elicitar Conhecimento Latente, o problema de conseguir que sistemas de IA avançados digam honestamente o que eles acreditam (ou “acreditam”) sobre o mundo. No nosso podcast, entrevistamos o fundador do ARC Paul Christiano sobre a sua pesquisa (antes de ele ter fundado o ARC).
• O Center on Long-Term Risk trabalha para lidar com os riscos da IA avançada. Ele foca no conflito entre sistemas de IA.
• O Machine Intelligence Research Institute foi um dos primeiros grupos a se preocuparem com os riscos da inteligência de máquina no início dos anos 2000s,  e a sua equipe já publicou vários artigos sobre questões de segurança e como resolvê-las.
• Algumas equipes em laboratórios comerciais também fazem trabalhos mais teóricos e conceituais em alinhamento, como o trabalho da Anthropic em condicionar modelos preditivos e o Grupo de Trabalho Incentivos Causais na Google DeepMind.

Segurança da IA na universidade (uma lista muito incompleta; embora o número de acadêmicos explícita e publicamente focados em segurança da IA seja pequeno, é possível fazer trabalho relevante em um conjunto muito mais amplo de lugares):

• O Grupo de Alinhamento Algorítmico no Laboratório de Ciência da Computação e Inteligência Artificial no MIT, liderado por Dylan Hadfield-Menell
• O Center for Human-Compatible AI na UC Berkeley, liderado por Stuart Russell, foca em pesquisa acadêmica para garantir que a IA seja segura e benéfica para os humanos. (O nosso podcast com Stuart Russell examina a sua abordagem à IA comprovadamente benéfica.)
• O grupo de pesquisa de Jacob Steinhardt no Departamento de Estatística na UC Berkeley
• O  Grupo de pesquisa em Alinhamento da NYU liderado por Sam Bowman
• O grupo de pesquisa de David Krueger no Laboratório de Aprendizado Computacional e Biológico na Universidade de Cambridge
• O Laboratório Fundamentos da IA Cooperativa na Universidade Carnegie Mellon
• O Future of Humanity Institute na Universidade de Oxford tem um grupo de pesquisa em segurança da IA
• O grupo de pesquisa Alinhamento de Sistemas Complexos na Universidade Charles, em Praga

Quer conselho individualizado sobre seguir este caminho?

Achamos que os riscos apresentados pelo desenvolvimento da IA podem ser o problema mais urgente que o mundo enfrenta atualmente. Se você acha que pode ser adequado para qualquer um dos caminhos de carreira acima, que contribuem para resolver este problema, estaríamos especialmente animados para aconselhar você sobre os próximos passos, individualmente.

Podemos ajudar você a considerar as suas opções, fazer conexões com outras pessoas que trabalham na redução de riscos da IA e possivelmente até ajudar você a encontrar empregos ou oportunidades de financiamento, tudo de graça.

CANDIDATE-SE PARA FALAR COM A NOSSA EQUIPE

Encontre um emprego neste caminho

Se você acha que pode ser adequado para este caminho e está pronto para começar a procurar oportunidades de emprego que estejam aceitando candidaturas atualmente, veja a nossa lista selecionada de oportunidades para este caminho.VEJA TODAS AS OPORTUNIDADES.

Saiba mais sobre a pesquisa técnica em segurança da IA

Melhores recomendações

• O currículo de alinhamento técnico dos fundamentos da segurança da IGA (tradução em português)
• O Podcast do 80.000 Horas sobre Inteligência Artificial (uma coleção de 10 episódios-chave do nosso podcast)
• O guia passo a passo de Charlie Rogers-Smith para carreiras de segurança da IA (no qual este artigo se baseia em grande parte) fornece alguns conselhos concretos úteis, inclusive modos como você pode conseguir algum financiamento para mudar para uma carreira de pesquisa técnica em segurança da IA.

Recomendações adicionais

Artigos e recursos

Aqui estão algumas sugestões sobre onde você pode saber mais:

• Para ajudar você a se orientar no campo, recomendamos o pacote do iniciante em segurança da IA.
• Carreiras de Pesquisa em IA Benéfica de Adam Gleave, diretor-executivo da FAR AI
• Nosso perfil de problema sobre risco da IA
• Esta sequência de postagens sobre alinhamento técnico de segurança da IA de Richard Ngo
• Nossa análise de carreira de doutorados em aprendizado de máquina
• Nossa análise de carreira da engenharia de software
• Nossa análise de carreira do trabalho em um dos principais laboratórios de IA

Episódios do podcast

Se preferir podcasts, há alguns episódios relevantes do podcast do 80.000 Horas que você pode achar úteis.

• O Dr. Paul Christiano sobre como a OpenAi está desenvolvendo soluções reais para o “problema do alinhamento da IA”, e a sua visão sobre como a humanidade entregará progressivamente a tomada de decisão para os sistemas de IA
• Engenharia de aprendizado de máquina para segurança da IA e robustez: um guia para ingressar no campo de um engenheiro da Google Brain
• O mundo precisa de pesquisadores de IA. Aqui está como se tornar um
• Chris Olah sobre trabalhar nos principais laboratórios de IA sem um diploma de graduação e Que diabos está acontecendo dentro das redes neurais
• Jan Leike sobre como se tornar um pesquisador de alinhamento de aprendizado de máquina e o enorme empurrão da OpenAI para tornar a superinteligência segura em 4 anos ou menos
• Richard Ngo sobre grandes modelos de linguagem, a OpenAI e empenhar-se para fazer o mundo ir bem
• Nathan Labenz sobre o empurrão final para a IGA, compreender o drama da liderança da OpenAI, e fazer equipe-vermelha em modelos de fronteira e recentes avanços, e navegar o crescente racha entre as facções da segurança da IA e do aceleracionismo

Notas e referências

1. Estimar esse número é muito difícil. Idealmente, queremos estimar o número de ETIs (“equivalentes a tempo integral“) trabalhando no problema da redução de riscos existenciais da IA usando métodos técnicos. Após fazer várias pressuposições, estimei que há de 76 a 536 ETIs trabalhando em segurança da IA técnica (90% de confiança). Para saber mais, leia a seção sobre negligência em nosso perfil de problema sobre IA, junto com a nota de rodapé 3.
2. Holden Karnosfky é o cofundador da Open Philanthropy, a maior financiadora do 80.000 Horas.
3. Dados do Levels.fyi (visitado em 27 de janeiro de 2022).
4. Jacob é meu irmão.