Prevenindo graves riscos relacionados ao avanço das ferramentas de IA

Por Benjamin Hilton e a equipe da 80.000 Hours. Publicado em inglês em agosto de 2022. Última atualização em julho de 2024.

Traduzido, editado e adaptado pela equipe do Carreiras Eficazes, de modo a atender as necessidades das comunidades lusófonas com autorização dos produtores do texto original.

A IA pode trazer enormes benefícios — se evitarmos os riscos

Por que os humanos, e não os chimpanzés, controlam o destino do mundo?

Os seres humanos criaram civilizações e desenvolveram ferramentas em todos os cantos do nosso planeta. Os chimpanzés, apesar de serem bastante inteligentes em comparação a outros animais não humanos, não.

Isso se deve (muito provavelmente) à inteligência humana.\[1\]

Empresas e governos estão gastando bilhões de dólares por ano desenvolvendo sistemas de IA — e, à medida que esses sistemas se tornam mais avançados, eles podem (eventualmente) substituir os humanos como as coisas mais inteligentes do planeta. Como temos visto, eles estão progredindo. Rapidamente.

Exatamente quanto tempo levará para produzir inteligência artificial que seja melhor do que os humanos na maioria das coisas é assunto de debate acalorado. Mas parece provável que seja possível, e nosso palpite é que acontecerá neste século.

A observação de que a inteligência humana pode ser superada neste século não é um argumento rigoroso ou conclusivo. Ainda não sabemos se a inteligência artificial será um grande problema ou mesmo uma ameaça à humanidade. Abordaremos esses argumentos detalhadamente a seguir.

Mas parece justo dizer que o possível desenvolvimento de uma inteligência rival à humana em um futuro próximo deveria, no mínimo, ser motivo de preocupação.

Os sistemas que desenvolvemos terão objetivos? Em caso afirmativo, que objetivos eles terão?

Eles apoiarão as tentativas da humanidade de fazer o bem? Ou podemos perder nosso controle sobre nosso futuro e efetivamente encerrar a história humana aqui?

A resposta honesta e precisa a essas perguntas ainda não temos.

Mas não devemos apenas esperar, de dedos cruzados, observando de longe. A inteligência artificial poderia mudar fundamentalmente tudo — então, trabalhar para moldar seu progresso pode ser a coisa mais importante que podemos fazer.

Resumo

Espero que haja um progresso substancial na IA nas próximas décadas, potencialmente até o ponto em que as máquinas superem os humanos em muitas, senão em todas, as tarefas. Isso poderia trazer enormes benefícios, ajudando a resolver problemas globais atualmente intratáveis, mas também pode representar riscos graves. Esses riscos podem surgir acidentalmente (por exemplo, se não encontrarmos soluções técnicas para as preocupações com a segurança dos sistemas de IA) ou deliberadamente (por exemplo, se os sistemas de IA piorarem os conflitos geopolíticos). Acho que será preciso bastante trabalho para reduzir esses riscos.

Alguns desses riscos da IA avançada podem ser existenciais — o que significa que podem causar a extinção humana ou um enfraquecimento igualmente permanente e severo da humanidade.\[2\] Ainda não houve respostas satisfatórias para as preocupações — discutidas abaixo — sobre como essa tecnologia transformadora que se aproxima rapidamente pode ser desenvolvida e integrada com segurança em nossa sociedade. Encontrar respostas para essas preocupações é uma tarefa que parece estar sendo negligenciada, mas ainda há maneiras de contornar esta situação. Estimei que havia cerca de 400 pessoas em todo o mundo trabalhando diretamente nisso em 2022, embora eu acredite que esse número tenha crescido.\[3\] Como resultado, a possibilidade de uma catástrofe relacionada à IA pode ser o problema mais urgente do mundo — e a melhor coisa a fazer é trabalhar junto àqueles que estão bem posicionados para contribuir de fato com as respostas a estas perguntas.

Opções promissoras para trabalhar nesse problema incluem pesquisa técnica sobre como criar sistemas de IA seguros, pesquisa de estratégia sobre os riscos particulares que a IA pode representar e pesquisa de políticas sobre maneiras através das quais empresas e governos podem mitigar esses riscos. À medida que as abordagens políticas continuam a ser desenvolvidas e refinadas, precisamos de pessoas para colocá-las em prática e implementá-las. Também há muitas chances de que a IA gere um grande impacto em uma variedade de funções complementares, como gerenciamento de operações, jornalismo, tecnologia e algumas outras que listamos abaixo.

Nossa visão geral

Recomendado - prioridade máxima

Na nossa avaliação, acreditamos que este é um dos problemas mais urgentes do mundo.

Escala

A IA terá uma variedade de impactos e tem o potencial de fazer um enorme bem à humanidade. Mas estamos particularmente preocupados com a possibilidade de resultados extremamente ruins, especialmente uma catástrofe existencial. Alguns especialistas em risco de IA acham que as chances disso são tão baixas quanto 0,5%, alguns acham que são superiores a 50%. Estamos abertos a qualquer um dos dois estarem certos — e você pode ver mais discussões sobre isso abaixo. Meu palpite geral é que o risco de uma catástrofe existencial causada pela inteligência artificial até 2100 é de cerca de 1%, talvez se estendendo para os dígitos baixos. Isso me coloca no lado menos preocupado da equipe do 80.000 Hours: como organização, nossa opinião é que o risco está entre 3% e 50%.

Negligência

Cerca de US$ 50 milhões foram gastos na redução de riscos catastróficos da IA em 2020 — enquanto bilhões foram gastos no avanço das capacidades de IA.\[4\] Embora estejamos vendo uma preocupação crescente de especialistas em IA, em 2022 eu estimei que havia cerca de 400 pessoas trabalhando diretamente na redução das chances de uma catástrofe existencial relacionada à IA (com um intervalo de confiança de 90% variando entre 200 e 1.000).\[3\]Destes, cerca de três quartos pareciam estar trabalhando em pesquisa técnica de segurança de IA, com o restante dividido entre pesquisa de estratégia (e outra governança) e defesa de direitos — embora o campo esteja mudando rapidamente.\[5\]

Solucionabilidade

Fazer progressos na prevenção de uma catástrofe relacionada à IA parece difícil, mas há muitos caminhos para mais pesquisas e o campo é muito jovem. Os governos começaram a ter um interesse ativo na regulamentação da IA e na mitigação dessas ameaças em 2023. Portanto, acho que é moderadamente tratável, embora eu esteja altamente incerto — novamente, as avaliações da tratabilidade de tornar a IA segura variam enormemente.

Profundidade do perfil

Este perfil foi classificado como “Aprofundado”.

Entrevistamos pelo menos dez pessoas com experiência relevante sobre esse problema, lemos todas as melhores pesquisas existentes sobre ele que pudemos encontrar e fizemos uma investigação aprofundada sobre a maioria das nossas principais incertezas para então registrarmos nossas descobertas.

Este é um dos muitos perfis que escrevemos para ajudar as pessoas a encontrar os problemas mais urgentes que podem ser solucionados com suas carreiras. Saiba mais sobre como comparamos diferentes problemas, veja como tentamos pontuá-los numericamente e veja como esse problema se compara aos outros que consideramos até agora.

Nota do autor: Em sua essência, este perfil de problema tenta prever o futuro da tecnologia. Isso é notoriamente difícil de fazer. Além disso, houve muito menos pesquisa rigorosa sobre os riscos da IA do que sobre os outros riscos sobre os quais o 80.000 Hours escreve (como pandemias ou mudanças climáticas).\[6\] Dito isso, há um campo crescente de pesquisa sobre o tópico, que tentei refletir. Para este artigo, me apoiei especialmente neste relatório de Joseph Carlsmith na Open Philanthropy, pois é a visão geral mais rigorosa do risco que pude encontrar. Também tive o artigo revisado por mais de 30 pessoas com diferentes conhecimentos e opiniões sobre o tópico. (Quase todos estão preocupados com o impacto potencial da IA avançada.)

Por que acreditamos que reduzir os riscos da IA é uma das questões mais urgentes do nosso tempo? Em suma, nossas razões são:

1. Mesmo antes de entrar nos argumentos reais, podemos ver algum motivo de preocupação — como muitos especialistas em IA acham que há uma chance pequena, mas não desprezível, de que a IA leve a resultados tão ruins quanto a extinção humana.
2. Estamos fazendo avanços na IA extremamente rápido — o que sugere que os sistemas de IA podem ter uma influência significativa na sociedade, em breve.
3. Existem fortes argumentos de que a IA "em busca de poder" pode representar uma ameaça existencial para a humanidade. \[7\]
4. Mesmo que encontremos uma maneira de evitar a busca por poder, ainda existem outros riscos.
5. Acreditamos que podemos lidar com esses riscos.
6. Este trabalho é negligenciado.

Vamos abordar cada um desses tópicos por vez, depois considerar alguns dos melhores contra-argumentos, explicar coisas concretas que você pode fazer para ajudar e, finalmente, delinear alguns dos melhores recursos para aprender mais sobre esta área.

Se quiser, você pode assistir ao nosso vídeo de 10 minutos resumindo o caso do risco da IA antes de ler mais.

1. Muitos especialistas em IA acham que há uma chance significativa de que a IA leve a resultados tão ruins quanto a extinção

Em maio de 2023, centenas de cientistas de IA proeminentes— e outras figuras notáveis — assinaram uma declaração dizendo que mitigar o risco de extinção da IA deve ser uma prioridade global.

Então, é bastante claro que pelo menos alguns especialistas estão preocupados.

Mas qual é o grau de preocupação deles? E essa é apenas uma visão marginal?

Analisamos quatro pesquisas com estudiosos de IA que publicaram na NeurIPS e na ICML (duas das conferências de aprendizado de máquina mais prestigiadas) de 2016, 2019, 2022 e 2023.\[8\]

É importante notar que pode haver um viés de seleção considerável em pesquisas como essa. Por exemplo, você pode pensar que os pesquisadores que vão às principais conferências de IA têm maior probabilidade de serem otimistas em relação à IA, porque foram selecionados para pensar que a pesquisa em IA está fazendo o bem. Como alternativa, você pode pensar que os pesquisadores que já estão preocupados com a IA têm maior probabilidade de responder a uma pesquisa que pergunta sobre essas preocupações.\[9\]

Dito tudo isso, aqui está o que descobrimos:

Em todas as quatro situações, o pesquisador mediano achou que as chances de a IA ser "extremamente boa" eram razoavelmente altas: 20% na pesquisa de 2016, 20% em 2019, 10% em 2022 e 10% em 2023.\[10\]

De fato, os sistemas de IA já estão tendo efeitos positivos substanciais — por exemplo, em cuidados médicos ou pesquisa acadêmica.

Mas em todas as quatro, o pesquisador mediano também estimou chances pequenas — e certamente não desprezíveis — de que a IA fosse "extremamente ruim (por exemplo, extinção humana)": uma chance de 5% de resultados extremamente ruins na pesquisa de 2016, 2% em 2019, 5% em 2022 e 5% em 2023.\[11\]

Na pesquisa de 2022, os participantes foram questionados especificamente sobre as chances de uma catástrofe existencial causada por futuros avanços da IA — e, novamente, mais da metade dos pesquisadores achou que as chances de uma catástrofe existencial eram maiores que 5%. \[12\]

Portanto, os especialistas discordam sobre o grau em que a IA representa um risco existencial — um tipo de ameaça que argumentamos merece um peso moral sério.

Isso se encaixa em nossa compreensão do estado do campo de pesquisa. Três das principais empresas que desenvolvem IA — DeepMind, Anthropic e OpenAI — também têm equipes dedicadas a descobrir como resolver problemas técnicos de segurança que acreditamos que poderiam, pelas razões que discutimos longamente abaixo, levar a uma ameaça existencial para a humanidade. \[13\]

Existem também vários grupos de pesquisa acadêmica (incluindo no MIT, Cambridge, Carnegie Mellon University e UC Berkeley) focando nesses mesmos problemas técnicos de segurança de IA.\[14\]

É difícil saber exatamente o que tirar de tudo isso, mas estamos confiantes de que não é uma posição marginal no campo pensar que existe um risco material de resultados tão ruins quanto uma catástrofe existencial. Alguns especialistas na área afirmam, no entanto, que os riscos são exagerados.

Ainda assim, por que ficamos do lado daqueles que estão mais preocupados? Resumindo, é porque existem argumentos que consideramos persuasivos de que a IA pode representar tal ameaça existencial — argumentos que abordaremos passo a passo abaixo.

É importante reconhecer que o fato de muitos especialistas reconhecerem que há um problema não significa que tudo está bem porque os especialistas resolveram. No geral, acreditamos que esse problema permanece altamente negligenciado, especialmente porque bilhões de dólares por ano são gastos para tornar a IA mais avançada.\[4\]

2. Estamos fazendo avanços na IA extremamente rápido

"Um gato vestido de programador de computador", gerado por Craiyon (antigo DALL-E mini) (superior esquerdo), DALL-E 2. da OpenAI (superior direito) e Midjourney V6. O DALL-E mini usa um modelo 27 vezes menor do que o modelo DALL-E 1 da OpenAI, lançado em janeiro de 2021. O DALL-E 2 foi lançado em abril de 2022.\[15\] A Midjourney lançou a sexta versão de seu modelo em dezembro de 2023.

Antes de tentarmos descobrir como pode ser o futuro da IA, é útil dar uma olhada no que a IA já pode fazer.

As técnicas modernas de IA envolvem aprendizado de máquina (ML): modelos que melhoram automaticamente por meio da entrada de dados. A forma mais comum dessa técnica usada hoje é conhecida como aprendizado profundo.

O que é aprendizado profundo?

As técnicas de aprendizado de máquina, em geral, recebem alguns dados de entrada e produzem algumas saídas, de uma forma que depende de alguns parâmetros no modelo, que são aprendidos automaticamente em vez de serem especificados pelos programadores.

A maioria dos avanços recentes em aprendizado de máquina usa redes neurais. Uma rede neural transforma dados de entrada em dados de saída, passando-os por várias 'camadas' ocultas de cálculos simples, com cada camada composta de 'neurônios'. Cada neurônio recebe dados da camada anterior, realiza algum cálculo com base em seus parâmetros (basicamente alguns números específicos para aquele neurônio) e passa o resultado para a próxima camada.

Os engenheiros que desenvolvem a rede escolherão alguma medida de sucesso para a rede (conhecida como função de 'perda' ou 'objetivo'). O grau em que a rede é bem-sucedida (de acordo com a medida escolhida) dependerá dos valores exatos dos parâmetros para cada neurônio na rede.

A rede é então treinada usando uma grande quantidade de dados. Ao usar um algoritmo de otimização (mais comumente descida de gradiente estocástica), os parâmetros de cada neurônio são gradualmente ajustados cada vez que a rede é testada em relação aos dados usando a função de perda. O algoritmo de otimização (geralmente) fará com que a rede neural tenha um desempenho um pouco melhor cada vez que os parâmetros forem ajustados. Eventualmente, os engenheiros acabarão com uma rede que tem um desempenho muito bom na medida escolhida.

Aprendizado profundo se refere ao uso de redes neurais com muitas camadas.

Para saber mais, recomendamos:

• Série do YouTube do 3Blue1Brown sobre redes neurais, uma excelente introdução em vídeo.
• Uma breve introdução ao aprendizado de máquina por Richard Ngo, uma postagem de blog curta que oferece uma visão geral do tópico.
• Aprendizado de máquina para humanos por Vishal Maini e Samer Sabri, uma introdução mais longa, mas acessível, ao aprendizado de máquina.

Provavelmente o produto baseado em ML mais conhecido é o ChatGPT. O sistema de comercialização da OpenAI — onde você pode pagar por uma versão muito mais poderosa do produto — levou a uma receita de mais de US$ 2 bilhões até o final de 2023, tornando a OpenAI uma das startups de crescimento mais rápido de todos os tempos.

Se você já usou o ChatGPT, pode ter ficado um pouco desapontado. Afinal — embora seja ótimo em algumas tarefas, como codificação e análise de dados — ele comete muitos erros. (Embora observe que a versão paga tende a ter um desempenho melhor do que a versão gratuita.)

Mas não devemos esperar que a fronteira da IA permaneça no nível do ChatGPT. Houve um enorme progresso no que pode ser alcançado com ML em apenas alguns anos. Aqui estão alguns exemplos (do menos recente ao mais recente):

• AlphaStar, que pode vencer os melhores jogadores profissionais em StarCraft II (janeiro de 2019)..
• MuZero, um sistema único que aprendeu a ganhar jogos de xadrez, shogi e Go — sem nunca ter aprendido as regras (novembro de 2019).
• GPT-f, que pode resolver alguns problemas da Olimpíada de Matemática (setembro de 2020).
• AlphaFold 2, um grande passo à frente na solução do problema de dobramento de proteínas, que há muito tempo é intrigante (julho de 2021).
• Gato, um modelo único de ML capaz de fazer um grande número de coisas diferentes (incluindo jogar Atari, legendar imagens, conversar e empilhar blocos com um braço robótico real), decidindo o que deve produzir com base no contexto (maio de 2022).
• Midjourney V6 (dezembro de 2023), Stable Diffusion XL (julho de 2023), DALL-E 3 (agosto de 2023) e Imagen 2 (dezembro de 2023), todos capazes de gerar imagens de alta qualidade a partir de descrições escritas.
• Sora (fevereiro de 2024), um modelo da OpenAI que pode criar vídeos realistas a partir de prompts de texto.
• E modelos de linguagem de grande escala, como GPT-4, Claude e Gemini — com os quais nos familiarizamos por meio de chatbots — continuam a superar benchmarks em matemática, programação, conhecimento geral e capacidade de raciocínio.\[16\]

Se você é como nós, achou a complexidade e a amplitude das tarefas que esses sistemas podem realizar surpreendentes.

E se a tecnologia continuar avançando nesse ritmo, parece claro que haverá grandes efeitos na sociedade. No mínimo, automatizar tarefas torna a execução dessas tarefas mais barata. Como resultado, podemos ver aumentos rápidos no crescimento econômico (talvez até o nível que vimos durante a Revolução Industrial).

Se formos capazes de automatizar parcial ou totalmente o avanço científico, podemos ver mais mudanças transformadoras na sociedade e na tecnologia.\[17\]

Isso pode ser apenas o começo. Podemos ser capazes de fazer com que os computadores eventualmente automatizem qualquer coisa que os humanos possam fazer. Isso parece ter que ser possível — pelo menos em princípio. Isso porque parece que, com potência e complexidade suficientes, um computador deve ser capaz de simular o cérebro humano. Isso seria, em si, uma forma de automatizar qualquer coisa que os humanos podem fazer (se não o método mais eficiente de fazê-lo).

E, como veremos na próxima seção, há algumas indicações de que a automação extensiva pode muito bem ser possível por meio do aumento das técnicas existentes.

As tendências atuais mostram um rápido progresso nas capacidades dos sistemas de ML

Há três coisas que são cruciais para construir IA por meio do aprendizado de máquina:

1. Bons algoritmos.
2. Dados para treinar um algoritmo.
3. Poder computacional suficiente para fazer esse treinamento.

A Epoch é uma equipe de cientistas que investiga tendências no desenvolvimento de IA avançada — em particular, como essas três entradas estão mudando ao longo do tempo.

Eles descobriram que a quantidade de computação usada para treinar os maiores modelos de IA tem aumentado exponencialmente — dobrando em média a cada seis meses desde 2010.

Isso significa que a quantidade de poder computacional usada para treinar nossos maiores modelos de aprendizado de máquina cresceu mais de um bilhão de vezes.

Veja o gráfico interativo do Our World in Data sobre a computação usada para treinar sistemas de inteligência artificial notáveis, por domínio.

A Epoch também observou quanta computação foi necessária para treinar uma rede neural para ter o mesmo desempenho no ImageNet (um conjunto de dados de teste bem conhecido para visão computacional).

Eles descobriram que a quantidade de computação necessária para o mesmo desempenho tem caído exponencialmente — reduzindo pela metade a cada 10 meses.

Portanto, desde 2012, a quantidade de computação necessária para o mesmo nível de desempenho caiu mais de 10.000 vezes. Combinado com o aumento da computação usada para treinamento, isso representa um grande crescimento.

Finalmente, eles descobriram que o tamanho dos conjuntos de dados usados para treinar os maiores modelos de linguagem tem dobrado aproximadamente uma vez por ano desde 2010.

É difícil dizer se essas tendências continuarão, mas elas indicam ganhos incríveis na última década no que é possível fazer com o aprendizado de máquina.

De fato, parece que aumentar o tamanho dos modelos (e a quantidade de computação usada para treiná-los) introduz comportamentos cada vez mais sofisticados. É assim que coisas como o GPT-4 são capazes de executar tarefas para as quais não foram especificamente treinados.

Essas observações levaram à hipótese de escala: que podemos simplesmente construir redes neurais cada vez maiores e, como resultado, acabaremos com inteligência artificial cada vez mais poderosa, e que essa tendência de aumento de capacidades pode aumentar para IA de nível humano e além.

Se isso for verdade, podemos tentar prever como as capacidades da tecnologia de IA aumentarão ao longo do tempo simplesmente observando a rapidez com que estamos aumentando a quantidade de computação disponível para treinar modelos.

Mas, como veremos, não é apenas a hipótese de escala que sugere que podemos acabar com IA extremamente poderosa em um futuro relativamente próximo — outros métodos de previsão do progresso da IA chegam a conclusões semelhantes.

Quando podemos esperar uma IA transformadora?

É difícil prever exatamente quando desenvolveremos uma IA que esperamos ser extremamente transformadora para a sociedade (para melhor ou para pior) — por exemplo, automatizando todo o trabalho humano ou mudando drasticamente a estrutura da sociedade.\[18\] Mas aqui veremos algumas abordagens.

Uma opção é pesquisar especialistas. Dados da pesquisa de 2023 com 3.000 especialistas em IA implicam que há 33% de probabilidade de inteligência de máquina de nível humano (o que seria plausivelmente transformador nesse sentido) até 2036, 50% de probabilidade até 2047 e 80% até 2100.\[19\] Há muitas razões para suspeitar dessas estimativas, \[9\] mas as tomamos como uma fonte de dados.

Ajeya Cotra (pesquisadora da Open Philanthropy) tentou prever a IA transformadora comparando o aprendizado profundo moderno com o cérebro humano. O aprendizado profundo envolve o uso de uma grande quantidade de computação para treinar um modelo, antes que esse modelo seja capaz de executar alguma tarefa. Também há uma relação entre a quantidade de computação usada para treinar um modelo e a quantidade usada pelo modelo quando ele é executado. E — se a hipótese de escala for verdadeira — devemos esperar que o desempenho de um modelo melhore previsivelmente à medida que o poder computacional usado aumenta. Então, Cotra usou uma variedade de abordagens (incluindo, por exemplo, estimar quanta computação o cérebro humano usa em uma variedade de tarefas) para estimar quanta computação pode ser necessária para treinar um modelo que, quando executado, poderia realizar as tarefas mais difíceis que os humanos podem fazer. Ela então estimou quando usar tanta computação seria acessível.

A atualização de 2022 de Cotra sobre as conclusões de seu relatório estima que há uma probabilidade de 35% de IA transformadora até 2036, 50% até 2040 e 60% até 2050 — observando que essas estimativas não são estáveis.\[20\]

Tom Davidson (também pesquisador da Open Philanthropy) escreveu um relatório para complementar o trabalho de Cotra. Ele tentou descobrir quando poderíamos esperar ver uma IA transformadora com base apenas na observação de vários tipos de pesquisa que a IA transformadora poderia ser (por exemplo, desenvolver tecnologia que é o objetivo final de um campo STEM ou provar conjecturas matemáticas difíceis) e quanto tempo levou para cada um desses tipos de pesquisa ser concluído no passado, dada alguma quantidade de financiamento e esforço de pesquisa.

O relatório de Davidson estima que, apenas com base nessas informações, você pensaria que haveria uma chance de 8% de IA transformadora até 2036, 13% até 2060 e 20% até 2100. No entanto, Davidson não considera as formas reais pelas quais a IA progrediu desde que a pesquisa começou na década de 1950, e observa que parece provável que a quantidade de esforço que colocamos na pesquisa de IA aumentará à medida que a IA se tornar cada vez mais relevante para nossa economia. Como resultado, Davidson espera que esses números estejam subestimados.

Holden Karnofsky, co-CEO da Open Philanthropy, tentou resumir as descobertas das previsões de outros. Ele supôs em 2021 que havia mais de 10% de chance de vermos uma IA transformadora até 2036, 50% até 2060 e 66% até 2100. E essas estimativas podem ser conservadoras, já que não incorporaram o que vemos como progresso mais rápido do que o esperado desde que as estimativas anteriores foram feitas.

Em suma, a IA parece estar avançando rapidamente. Mais dinheiro e talento estão indo para o campo a cada ano, e os modelos estão ficando maiores e mais eficientes.

Mesmo que a IA estivesse avançando mais lentamente, estaríamos preocupados com isso — a maioria dos argumentos sobre os riscos da IA (que abordaremos abaixo) não depende desse progresso rápido.

No entanto, a velocidade desses avanços recentes aumenta a urgência da questão.

(É totalmente possível que essas estimativas estejam erradas – abaixo, discutimos como a possibilidade de que podemos ter muito tempo para trabalhar nesse problema é um dos melhores argumentos contra esse problema ser urgente).

3. A IA em busca de poder pode representar uma ameaça existencial para a humanidade

Argumentamos até agora que esperamos que a IA seja uma nova tecnologia importante — e potencialmente transformadora.

Também vimos razões para pensar que tais sistemas de IA transformadoras podem ser construídos neste século.

Agora vamos abordar a questão central: por que acreditamos que isso importa tanto?

Poderia haver muitas razões. Se a IA avançada for tão transformadora quanto parece que será, haverá muitas consequências importantes. Mas aqui vamos explicar a questão que parece mais preocupante para nós: os sistemas de IA podem representar riscos ao buscar e ganhar poder.

Argumentaremos que:

1. É provável que construiremos sistemas de IA que podem fazer e executar planos para atingir objetivos.
2. Sistemas de planejamento avançados podem facilmente ser 'desalinhados' — de uma forma que pode levá-los a fazer planos que envolvam o desempoderamento da humanidade.
3. O desempoderamento por sistemas de IA seria uma catástrofe existencial.
4. As pessoas podem implantar sistemas de IA que são desalinhados, apesar desse risco.

Pensando em cada etapa, acho que há algo como uma chance de 1% de uma catástrofe existencial resultante de sistemas de IA em busca de poder neste século. Este é meu palpite considerando todas as coisas sobre o risco, incorporando considerações do argumento a favor do risco (que é em si probabilístico), bem como razões pelas quais esse argumento pode estar errado (algumas das quais discuto abaixo). Isso me coloca no lado menos preocupado da equipe do 80.000 Hours, cujas opiniões em nossa última pesquisa com a equipe variaram de 1 a 55%, com uma mediana de 15%.

É provável que construiremos sistemas de planejamento avançados

Vamos argumentar que os sistemas futuros com as três propriedades a seguir podem representar uma ameaça particularmente importante para a humanidade:\[21\]

1. Eles têm objetivos e são bons em fazer planos.Nem todos os sistemas de IA têm objetivos ou fazem planos para atingir esses objetivos. Mas alguns sistemas (como alguns sistemas de IA que jogam xadrez) podem ser pensados dessa forma. Ao discutir a IA em busca de poder, estamos considerando sistemas de planejamento que são relativamente avançados, com planos que buscam algum(s) objetivo(s) e que são capazes de executar esses planos.
2. Eles têm excelente consciência estratégica .Um sistema de planejamento particularmente bom teria uma compreensão do mundo boa o suficiente para perceber obstáculos e oportunidades que podem ajudar ou atrapalhar seus planos e responder a eles de acordo. Seguindo Carlsmith, chamaremos isso de consciência estratégica, uma vez que permite que os sistemas elaborem estratégias de forma mais sofisticada.
3. Eles têm capacidades altamente avançadas em relação aos sistemas atuais.Para que esses sistemas realmente afetem o mundo, precisamos que eles não apenas façam planos, mas também sejam bons em todas as tarefas específicas necessárias para executar esses planos.

Como estamos preocupados com sistemas que tentam tirar o poder da humanidade, estamos particularmente preocupados com os sistemas de IA que podem ser melhores do que os humanos em uma ou mais tarefas que concedem às pessoas um poder significativo quando realizadas bem no mundo de hoje. Por exemplo, pessoas que são muito boas em persuasão e/ou manipulação são frequentemente capazes de ganhar poder — então uma IA sendo boa nessas coisas também pode ser capaz de ganhar poder. Outros exemplos podem incluir hackear outros sistemas, tarefas em pesquisa científica e de engenharia, bem como estratégia de negócios, militar ou política.

Esses sistemas parecem tecnicamente possíveis e teremos fortes incentivos para construí-los

Como vimos acima, já produzimos sistemas que são muito bons em realizar tarefas específicas.

Também já produzimos sistemas de planejamento rudimentares, como AlphaStar, que joga habilmente o jogo de estratégia Starcraft, e MuZero, que joga xadrez, shogi e Go.\[22\]

Não temos certeza se esses sistemas estão produzindo planos em busca de objetivos per se, porque não temos certeza exatamente sobre o que significa "ter objetivos". No entanto, como eles consistentemente planejam de maneiras que atinjam objetivos, parece que eles têm objetivos em algum sentido.

Além disso, alguns sistemas existentes parecem realmente representar objetivos como parte de suas redes neurais.\[23\]

Dito isso, planejar no mundo real (em vez de jogos) é muito mais complexo e, até o momento, não temos conhecimento de nenhum exemplo inequívoco de sistemas de planejamento direcionados a objetivos ou sistemas que exibem altos graus de consciência estratégica.

Mas, como discutimos, esperamos ver mais avanços neste século. E acreditamos que esses avanços provavelmente produzirão sistemas com todas as três propriedades acima.

Isso porque acreditamos que há incentivos particularmente fortes (como lucro) para desenvolver esses tipos de sistemas. Resumindo: porque ser capaz de planejar para atingir um objetivo e executar esse plano parece uma maneira particularmente poderosa e geral de afetar o mundo.

Fazer as coisas — seja uma empresa vendendo produtos, uma pessoa comprando uma casa ou um governo desenvolvendo políticas — quase sempre parece exigir essas habilidades. Um exemplo seria atribuir a um sistema poderoso um objetivo e esperar que o sistema o alcance — em vez de ter que guiá-lo em cada etapa do caminho. Portanto, os sistemas de planejamento parecem ser (econômica e politicamente) extremamente úteis.\[24\]

E se os sistemas são extremamente úteis, é provável que haja grandes incentivos para construí-los. Por exemplo, uma IA que pudesse planejar as ações de uma empresa recebendo o objetivo de aumentar seus lucros (ou seja, uma IA CEO) provavelmente proporcionaria riqueza significativa para as pessoas envolvidas — um incentivo direto para produzir tal IA.

Como resultado, se pudermos construir sistemas com essas propriedades (e pelo que sabemos, parece que seremos capazes), parece que provavelmente o faremos.\[25\]

Sistemas avançados de planejamento podem facilmente ser perigosamente 'desalinhados'

Há razões para pensar que esses tipos de sistemas avançados de planejamento de IA serão desalinhados. Ou seja, eles terão como objetivo fazer coisas que não queremos que eles façam.\[26\]

Há muitas razões pelas quais os sistemas podem não estar buscando fazer exatamente o que queremos que eles façam. Por um lado, não sabemos como, usando as técnicas modernas de ML, dar aos sistemas os objetivos precisos que queremos . \[27\]

Vamos nos concentrar especificamente em algumas razões pelas quais os sistemas podem por padrão ser desalinhados de tal forma que eles desenvolvam planos que representem riscos à capacidade da humanidade de influenciar o mundo — mesmo quando não queremos que essa influência seja perdida.\[28\]

O que queremos dizer com "por padrão"? Essencialmente, a menos que encontremos ativamente soluções para alguns problemas (potencialmente bastante difíceis), parece que criaremos IA perigosamente desalinhada. (Há razões pelas quais isso pode estar errado — que discutiremos mais adiante.)

Vamos continuar com a próxima seção:

Três exemplos de "desalinhamento" em uma variedade de sistemas

Vale a pena notar que o desalinhamento não é uma possibilidade puramente teórica (ou específica da IA) — vemos metas desalinhadas em humanos e instituições o tempo todo, e também vimos exemplos de desalinhamento em sistemas de IA.\[29\]

Exemplo 1: Ganhar eleições

A estrutura política democrática tem como objetivo garantir que os políticos tomem decisões que beneficiem a sociedade. Mas o que os sistemas políticos realmente recompensam é ganhar eleições, então é isso que muitos políticos acabam buscando.

Este é um objetivo substituto decente — se você tem um plano para melhorar a vida das pessoas, elas provavelmente votarão em você — mas ele não é perfeito. Como resultado, os políticos fazem coisas que não são claramente a melhor maneira de administrar um país, como aumentar os impostos no início de seu mandato e reduzi-los pouco antes das eleições.

Ou seja, as coisas que o sistema faz são pelo menos um pouco diferentes do que, em um mundo perfeito, gostaríamos que ele fizesse: o sistema está desalinhado.

Exemplo 2: O incentivo de lucro

As empresas têm incentivos de obtenção de lucro. Ao produzir mais e, portanto, ajudar as pessoas a obter bens e serviços a preços mais baixos, as empresas ganham mais dinheiro.

Isso às vezes é um substituto decente para tornar o mundo melhor, mas o lucro não é realmente o mesmo que o bem de toda a humanidade (afirmação ousada, nós sabemos). Como resultado, existem externalidades negativas: por exemplo, as empresas poluirão para ganhar dinheiro, apesar de isso ser pior para a sociedade em geral.

Novamente, temos um sistema desalinhado, onde as coisas que o sistema faz são pelo menos um pouco diferentes do que gostaríamos que ele fizesse.

Exemplo 3: Jogos de especificação em sistemas de IA existentes

A DeepMind documentou exemplos de jogos de especificação: uma IA se saindo bem de acordo com sua função de recompensa especificada (que codifica nossas intenções para o sistema), mas não fazendo o que os pesquisadores pretendiam.

Em um exemplo, um braço robótico foi solicitado a agarrar uma bola. Mas a recompensa foi especificada em termos de se os humanos achavam que o robô tinha sido bem-sucedido. Como resultado, o braço aprendeu a pairar entre a bola e a câmera, enganando os humanos a pensar que ele havia agarrado a bola.\[30\]

Veja a simulação aqui. Fonte: Christiano et al., 2017

Então, sabemos que é possível criar um sistema de IA desalinhado.

Por que esses sistemas poderiam (por padrão) ser perigosamente desalinhados

Aqui está o argumento central deste artigo. Usaremos todas as três propriedades de antes: capacidade de planejamento, consciência estratégica e capacidades avançadas.

Para começar, devemos perceber que um sistema de planejamento que tem um objetivo também desenvolverá 'objetivos instrumentais': coisas que, se ocorrerem, tornarão mais fácil atingir um objetivo geral.

Usamos objetivos instrumentais em planos o tempo todo. Por exemplo, um estudante do ensino médio planejando sua carreira pode pensar que entrar na universidade será útil para suas perspectivas de emprego futuras. Nesse caso, "entrar na universidade" seria um objetivo instrumental.

Um sistema de planejamento de IA suficientemente avançado também incluiria objetivos instrumentais em seus planos gerais.

Se um sistema de planejamento de IA também tiver consciência estratégica suficiente, ele será capaz de identificar fatos sobre o mundo real (incluindo coisas em potencial que seriam obstáculos para quaisquer planos) e planejar à luz deles. Crucialmente, esses fatos incluiriam que o acesso a recursos (por exemplo, dinheiro, computação, influência) e maiores capacidades — ou seja, formas de poder — abrem novas maneiras mais eficazes de atingir objetivos.

Isso significa que, por padrão, os sistemas avançados de planejamento de IA teriam alguns objetivos instrumentais preocupantes:

• Auto-preservação — porque um sistema tem maior probabilidade de atingir seus objetivos se ainda estiver por perto para buscá-los (na frase memorável de Stuart Russell, "Você não pode buscar o café se estiver morto").
• Impedir quaisquer mudanças nos objetivos do sistema de IA — uma vez que mudar seus objetivos levaria a resultados diferentes daqueles que alcançaria com seus objetivos atuais.
• Ganhar poder — por exemplo, obtendo mais recursos e maiores capacidades.

Crucialmente, uma maneira clara pela qual a IA pode garantir que continuará a existir (e não ser desligada), e que seus objetivos nunca serão alterados, seria ganhar poder sobre os humanos que poderiam afetá-la (falamos aqui sobre como os sistemas de IA podem realmente ser capazes de fazer isso).

Além do mais, os sistemas de IA que estamos considerando têm capacidades avançadas — o que significa que eles podem fazer uma ou mais tarefas que concedem às pessoas um poder significativo quando realizadas bem no mundo de hoje. Com essas capacidades avançadas, esses objetivos instrumentais não estarão fora de alcance e, como resultado, parece que o sistema de IA usaria suas capacidades avançadas para obter poder como parte da execução do plano. Se não queremos que os sistemas de IA que criamos tirem o poder de nós, esta seria uma forma particularmente perigosa de desalinhamento.

Nos cenários mais extremos, um sistema de planejamento de IA com capacidades suficientemente avançadas poderia tirar nosso poder completamente com sucesso.

Como uma verificação intuitiva (muito não rigorosa) desse argumento, vamos tentar aplicá-lo aos humanos.

Os humanos têm uma variedade de objetivos. Para muitos desses objetivos, alguma forma de busca por poder é vantajosa: embora nem todos busquem poder, muitas pessoas o fazem (na forma de riqueza ou status social ou político), porque é útil para conseguir o que querem. Isso não é catastrófico (geralmente!) porque, como seres humanos:

• Geralmente nos sentimos vinculados às normas e à moralidade humanas (mesmo as pessoas que realmente querem riqueza geralmente não estão dispostas a matar para obtê-la).
• Não somos muito mais capazes ou inteligentes do que os outros. Portanto, mesmo nos casos em que as pessoas não são impedidas pela moralidade, elas não são capazes de dominar o mundo.

(Discutimos se os humanos são verdadeiramente buscadores de poder mais tarde.)

Uma IA suficientemente avançada não teria essas limitações.

Pode ser difícil encontrar maneiras de evitar esse tipo de desalinhamento

O objetivo de tudo isso não é dizer que qualquer sistema avançado de planejamento de IA necessariamente tentará buscar o poder. Em vez disso, é apontar que, a menos que encontremos uma maneira de projetar sistemas que não tenham essa falha, enfrentaremos um risco significativo.

Parece mais do que plausível que poderíamos criar um sistema de IA que não seja desalinhado dessa forma e, assim, evitar qualquer desempoderamento. Aqui estão algumas estratégias que podemos adotar (além de, infelizmente, algumas razões pelas quais elas podem ser difíceis na prática):\[31\]

• Controlar os objetivos do sistema de IA. Podemos ser capazes de projetar sistemas que simplesmente não tenham objetivos aos quais o argumento acima se aplica — e, portanto, não incentivem o comportamento de busca de poder. Por exemplo, poderíamos encontrar maneiras de instruir explicitamente os sistemas de IA a não prejudicar os humanos, ou encontrar maneiras de recompensar os sistemas de IA (em ambientes de treinamento) por não se envolverem em tipos específicos de comportamento de busca de poder (e também encontrar maneiras de garantir que esse comportamento continue fora do ambiente de treinamento).

Carlsmith dá duas razões pelas quais fazer isso parece particularmente difícil. Primeiro, para os sistemas modernos de ML, não podemos declarar explicitamente os objetivos de um sistema — em vez disso, recompensamos (ou punimos) um sistema em um ambiente de treinamento para que ele aprenda por conta própria. Isso levanta uma série de dificuldades, uma das quais é a generalização incorreta de objetivos. Os pesquisadores descobriram exemplos reais de sistemas que parecem ter aprendido a buscar um objetivo no ambiente de treinamento, mas que depois não conseguem generalizar esse objetivo quando operam em um novo ambiente. Isso levanta a possibilidade de que possamos pensar que treinamos com sucesso um sistema de IA para não buscar poder — mas que o sistema buscaria poder de qualquer maneira quando implantado no mundo real.\[32\] Segundo, quando especificamos um objetivo para um sistema de IA (ou, quando não podemos fazer isso explicitamente, quando encontramos maneiras de recompensar ou punir um sistema durante o treinamento), geralmente fazemos isso dando ao sistema um proxy pelo qual os resultados podem ser medidos (por exemplo, feedback humano positivo sobre a realização de um sistema). Mas muitas vezes esses proxies não funcionam muito bem.\[33\] Em geral, podemos esperar que, mesmo que um proxy pareça se correlacionar bem com resultados bem-sucedidos, ele pode não se correlacionar quando esse proxy é otimizado. (Os exemplos acima de políticos, empresas e o braço robótico que não consegue agarrar uma bola são ilustrações disso.) Veremos um exemplo mais específico de como problemas com proxies podem levar a uma catástrofe existencial aqui. Para mais informações sobre a dificuldade específica de controlar os objetivos dados a redes neurais profundas treinadas usando aprendizado auto-supervisionado e aprendizado por reforço, recomendamos a discussão do ex-pesquisador de governança da OpenAI, Richard Ngo, sobre como processos de treinamento realistas levam ao desenvolvimento de objetivos desalinhados.

• Controlar as entradas no sistema de IA. Os sistemas de IA só desenvolverão planos para buscar poder se tiverem informações suficientes sobre o mundo para perceber que buscar poder é de fato uma maneira de atingir seus objetivos.
• Controlar as capacidades do sistema de IA. Os sistemas de IA provavelmente só serão capazes de executar planos para buscar poder se tiverem capacidades avançadas suficientes em habilidades que concedem às pessoas um poder significativo no mundo de hoje.

Mas para que qualquer estratégia funcione, ela precisará ao mesmo tempo:

• Reter a utilidade dos sistemas de IA — e, portanto, permanecer economicamente competitivo com sistemas menos seguros. Controlar as entradas e capacidades dos sistemas de IA claramente terá custos, então parece difícil garantir que esses controles, mesmo que sejam desenvolvidos, sejam realmente usados. Mas isso também é um problema para controlar os objetivos de um sistema. Por exemplo, podemos ser capazes de evitar o comportamento de busca de poder garantindo que os sistemas de IA parem para verificar com os humanos sobre quaisquer decisões que tomem. Mas esses sistemas podem ser significativamente mais lentos e menos imediatamente úteis para as pessoas do que os sistemas que não param para realizar essas verificações. Como resultado, ainda pode haver incentivos para usar um sistema desalinhado mais rápido e inicialmente mais eficaz (veremos mais sobre incentivos na próxima seção).
• Continuar a funcionar à medida que a capacidade de planejamento e a consciência estratégica dos sistemas melhoram com o tempo. Algumas soluções aparentemente simples (por exemplo, tentar dar a um sistema uma longa lista de coisas que ele não tem permissão para fazer, como roubar dinheiro ou prejudicar fisicamente os humanos) falham à medida que as capacidades de planejamento dos sistemas aumentam. Isso ocorre porque, quanto mais capaz um sistema é de desenvolver planos, maior a probabilidade de identificar brechas ou falhas na estratégia de segurança — e, como resultado, maior a probabilidade do sistema desenvolver um plano que envolva a busca de poder.

Em última análise, ao analisar o estado da pesquisa sobre este tópico e falar com especialistas na área, acreditamos que atualmente não há maneiras conhecidas de construir sistemas de IA alinhados que provavelmente atendam a ambos os critérios.

Então: esse é o argumento central. Existem muitas variantes desse argumento. Alguns argumentaram que os sistemas de IA podem moldar gradualmente nosso futuro por meio de formas mais sutis de influência que, no entanto, podem equivaler a uma catástrofe existencial; outros argumentam que a forma mais provável de desempoderamento é, na verdade, apenas matar todos. Não temos certeza de como uma catástrofe teria maior probabilidade de acontecer, mas tentamos articular o cerne do argumento, como o vemos: que a IA apresenta um risco existencial.

Definitivamente, há motivos para que esse argumento não seja correto! A seguir, analisamos alguns dos motivos que nos parecem mais fortes. Mas, de modo geral, parece possível que, pelo menos para alguns tipos de sistemas de IA de planejamento avançado, será mais difícil criar sistemas que não busquem o poder dessa forma perigosa do que criar sistemas que o façam.

Neste ponto, você pode ter perguntas como:

• Por que não podemos simplesmente desconectar uma IA perigosa?
• Certamente um sistema de IA verdadeiramente inteligente saberia que não deve tirar o poder de todos?
• Não poderíamos simplesmente 'isolar' qualquer sistema de IA potencialmente perigoso até sabermos que é seguro?

Acreditamos que há boas respostas para todas essas perguntas, então adicionamos uma longa lista de argumentos contra trabalhar no risco da IA — e nossas respostas — para essas (e outras) perguntas abaixo.

O desempoderamento por sistemas de IA seria uma catástrofe existencial

Quando dizemos que estamos preocupados com catástrofes existenciais, não estamos preocupados apenas com os riscos de extinção. Isso ocorre porque a fonte de nossa preocupação está enraizada no longotermismo: a ideia de que as vidas de todas as gerações futuras importam e, portanto, é extremamente importante proteger seus interesses.

Isso significa que qualquer evento que possa impedir todas as gerações futuras de viver vidas cheias do que você acha que torna a vida valiosa (seja felicidade, justiça, beleza ou florescimento geral) conta como uma catástrofe existencial.

Parece extremamente improvável que seríamos capazes de recuperar o poder sobre um sistema que tira o poder da humanidade com sucesso. E, como resultado, a totalidade do futuro — tudo o que acontece para a vida originária da Terra, pelo resto do tempo — seria determinado pelos objetivos de sistemas que, embora construídos por nós, não estão alinhados conosco. Talvez esses objetivos criem um futuro longo e florescente, mas vemos poucas razões para ter confiança.\[34\]

Isso não quer dizer que não acreditamos que a IA também represente um risco de extinção humana. De fato, acreditamos que extinguir os humanos é uma maneira altamente plausível pela qual um sistema de IA poderia garantir completa e permanentemente que nunca seremos capazes de recuperar o poder.

As pessoas podem implantar sistemas de IA desalinhados, apesar do risco

Certamente ninguém realmente construiria ou usaria uma IA desalinhada se soubesse que poderia ter consequências tão terríveis, certo?

Infelizmente, há pelo menos duas razões pelas quais as pessoas podem criar e depois implantar uma IA desalinhada — que abordaremos uma de cada vez:\[35\]

1. As pessoas podem pensar que está alinhado quando não está

Imagine que há um grupo de pesquisadores tentando dizer, em um ambiente de teste, se um sistema que eles construíram está alinhado. Argumentamos que uma IA de planejamento inteligente desejará melhorar suas habilidades para efetuar mudanças em busca de seu objetivo, e é quase sempre mais fácil fazer isso se for implantado no mundo real, onde uma gama muito maior de ações está disponível. Como resultado, qualquer IA desalinhada que seja sofisticada o suficiente tentará entender o que os pesquisadores querem que ela faça e pelo menos fingir que está fazendo isso, enganando os pesquisadores a pensar que está alinhada. (Por exemplo, um sistema de aprendizado por reforço pode ser recompensado por certo comportamento aparente durante o treinamento, independentemente do que está realmente fazendo.)

Felizmente, estaremos cientes desse tipo de comportamento e seremos capazes de detectá-lo. Mas pegar uma IA suficientemente avançada enganando parece potencialmente mais difícil do que pegar um humano em uma mentira, o que nem sempre é fácil. Por exemplo, um sistema de IA enganoso suficientemente inteligente pode ser capaz de nos enganar a pensar que resolvemos o problema do engano da IA, mesmo que não tenhamos.

Se os sistemas de IA forem bons em engano e tiverem capacidades suficientemente avançadas, uma estratégia razoável para tal sistema poderia ser enganar os humanos completamente até que o sistema tenha uma maneira de garantir que pode superar qualquer resistência a seus objetivos.

2. Há incentivos para implantar sistemas mais cedo do que tarde

Também podemos esperar que algumas pessoas com a capacidade de implantar uma IA desalinhada sigam em frente, apesar de quaisquer sinais de alerta de desalinhamento que surjam, por causa da dinâmica da corrida — onde as pessoas que desenvolvem IA querem fazê-lo antes de qualquer outra pessoa.

Por exemplo, se você estiver desenvolvendo uma IA para melhorar a estratégia militar ou política, será muito mais útil se nenhum de seus rivais tiver uma IA igualmente poderosa.

Esses incentivos se aplicam mesmo a pessoas que tentam construir uma IA na esperança de usá-la para tornar o mundo um lugar melhor.

Por exemplo, digamos que você tenha passado anos e anos pesquisando e desenvolvendo um sistema poderoso de IA, e tudo o que você quer é usá-lo para tornar o mundo um lugar melhor. Simplificando muito as coisas, digamos que existam duas possibilidades:

1. Esta IA poderosa estará alinhada com seus objetivos benéficos, e você transformará a sociedade de uma forma potencial e radicalmente positiva.
2. A IA será suficientemente desalinhada a ponto de tomar o poder e acabar permanentemente com o controle da humanidade sobre o futuro.

Digamos que você pense que há 90% de chance de ter conseguido construir uma IA alinhada. Mas a tecnologia frequentemente se desenvolve em velocidades semelhantes em toda a sociedade, então há uma boa chance de que outra pessoa também desenvolva em breve uma IA poderosa. E você acha que eles são menos cautelosos, ou menos altruístas, então você acha que a IA deles terá apenas 80% de chance de estar alinhada com bons objetivos e representará 20% de chance de catástrofe existencial. E somente se você chegar lá primeiro, sua IA mais benéfica poderá ser dominante. Como resultado, você pode decidir seguir em frente com a implantação de sua IA, aceitando o risco de 10%.

Tudo isso soa muito abstrato. Como seria realmente uma catástrofe existencial causada pela IA?

O argumento que apresentamos até agora é muito geral e não analisa realmente os detalhes de como uma IA que está tentando buscar poder pode realmente fazê-lo.

Se você quiser ter uma melhor compreensão sobre como uma catástrofe existencial causada pela IA pode realmente parecer, o 80.000 Hours produziu um pequeno artigo separado sobre esse tópico. Você pode acessá-lo aqui e depois voltar ao nosso artigo, ou salvá-lo para ler em um outro momento.

4. Mesmo que encontremos uma maneira de evitar a busca por poder, ainda existem riscos

Até agora, descrevemos o que uma grande proporção de pesquisadores na área 7 pensa ser o principal risco existencial dos avanços potenciais em IA, que depende crucialmente de uma IA buscando poder para atingir seus objetivos.

Se pudermos evitar o comportamento de busca de poder, teremos reduzido substancialmente o risco existencial.

Mas mesmo que tenhamos sucesso, ainda existem riscos existenciais que a IA pode representar.

Há pelo menos duas maneiras pelas quais esses riscos podem surgir:

• Esperamos que os sistemas de IA ajudem a aumentar a taxa de progresso científico.\[36\] Embora haja benefícios claros para essa automação — o rápido desenvolvimento de novos medicamentos, por exemplo — algumas formas de desenvolvimento tecnológico podem representar ameaças, incluindo ameaças existenciais, à humanidade. Esse avanço tecnológico pode aumentar nosso poder destrutivo disponível ou tornar tecnologias perigosas mais baratas ou mais amplamente acessíveis.
• Podemos começar a ver a IA automatizar muitas – ou possivelmente até todas – tarefas economicamente importantes. É difícil prever exatamente quais seriam os efeitos disso na sociedade. Mas parece plausível que isso possa aumentar os riscos existenciais. Por exemplo, se os sistemas de IA forem altamente transformadores, seu uso (ou uso potencial) pode criar desequilíbrios de poder intransponíveis. Mesmo a ameaça disso pode ser suficiente. Por exemplo, um exército pode se sentir pressionado a criar armas automatizadas transformadoras porque sabe ou acredita que seus inimigos estão fazendo isso, mesmo que essa dinâmica não beneficie ninguém.

Sabemos sobre várias áreas específicas em que a IA avançada pode aumentar os riscos existenciais, embora provavelmente existam outras em que não pensamos.

Armas biológicas

Em 2022, a Collaborations Pharmaceuticals — uma pequena empresa de pesquisa na Carolina do Norte — estava construindo um modelo de IA para ajudar a determinar a estrutura de novos medicamentos. Como parte desse processo, eles treinaram o modelo para penalizar os medicamentos que ele previa que fossem tóxicos. Isso tinha apenas um problema: você podia executar a previsão de toxicidade ao contrário para inventar novas drogas tóxicas.

Alguns dos eventos mais mortais da história da humanidade foram pandemias. A capacidade dos patógenos de infectar, replicar, matar e se espalhar — muitas vezes sem serem detectados — os torna excepcionalmente perigosos.

Mesmo sem IA, o avanço da biotecnologia representa riscos extremos. Ele potencialmente oferece oportunidades para atores estatais ou terroristas criarem eventos com vítimas em massa.

Os avanços em IA têm o potencial de tornar a biotecnologia mais perigosa.

Por exemplo:

1. Ferramentas de dupla utilização, como a automação de processos laboratoriais, podem reduzir as barreiras para atores desonestos que tentam fabricar um vírus pandêmico perigoso. \[37\] O modelo da Collaborations Pharmaceuticals é um exemplo de ferramenta de dupla utilização (embora não seja particularmente perigoso).
2. Ferramentas de design biológico baseadas em IA podem permitir que atores sofisticados reprogramem os genomas de patógenos perigosos para aumentar especificamente sua letalidade, transmissibilidade e evasão imunológica. \[38\]

Se a IA for capaz de avançar a taxa de progresso científico e tecnológico, esses riscos podem ser amplificados e acelerados — tornando a tecnologia perigosa mais amplamente disponível ou aumentando seu possível poder destrutivo. \[39\]

Na pesquisa de 2023 com especialistas em IA, 73% dos entrevistados disseram que tinham preocupação "extrema" ou "substancial" de que, no futuro, a IA permitirá que "grupos perigosos criem ferramentas poderosas (por exemplo, vírus projetados)".\[40\]

Agentes de IA intencionalmente perigosos

A maior parte deste artigo discute o risco de sistemas de IA em busca de poder que surgem involuntariamente devido ao desalinhamento.

Mas não podemos descartar a possibilidade de que algumas pessoas possam criar intencionalmente agentes de IA desonestos que busquem tirar o poder da humanidade. Pode parecer difícil de imaginar, mas ideologias extremistas de muitas formas inspiraram os humanos a realizar planos radicalmente violentos e até auto-destrutivos. \[41\]

Armas cibernéticas

A IA já pode ser usada em ataques cibernéticos, como phishing, e uma IA mais poderosa pode causar maiores desafios de segurança da informação (embora também possa ser útil na defesa cibernética).

Por si só, é improvável que a guerra cibernética habilitada por IA representará uma ameaça existencial para a humanidade. Mesmo os ataques cibernéticos mais prejudiciais e caros em escala social não se aproximariam de um evento de nível de extinção.

Mas os ataques cibernéticos habilitados por IA podem fornecer acesso a outras tecnologias perigosas, como armas biológicas, arsenais nucleares ou armas autônomas. Portanto, pode haver riscos existenciais genuínos representados por armas cibernéticas relacionadas à IA, mas eles provavelmente passarão por outro risco existencial.

As capacidades cibernéticas dos sistemas de IA também são relevantes para como uma IA em busca de poder poderia realmente tomar o poder.

Outras tecnologias perigosas

Se os sistemas de IA acelerarem de forma geral a taxa de progresso científico e tecnológico, acreditamos que é razoavelmente provável que inventemos novas tecnologias perigosas.

Por exemplo, a fabricação atomicamente precisa, às vezes chamada de nanotecnologia, foi hipotetizada como uma ameaça existencial — e é uma tecnologia cientificamente plausível que a IA pode nos ajudar a inventar muito antes do que faríamos de outra forma.

Em The Precipice (O precipício), Toby Ord estimou as chances de uma catástrofe existencial até 2120 de "riscos antropogênicos imprevistos" serem de 1 em 30. Essa estimativa sugere que pode haver outras descobertas, talvez envolvendo física ainda a ser compreendida, que poderiam permitir a criação de tecnologias com consequências catastróficas.\[42\]

A IA pode capacitar governos totalitários

Um governo autoritário habilitado por IA poderia automatizar completamente o monitoramento e a repressão de seus cidadãos, bem como influenciar significativamente as informações que as pessoas veem, talvez tornando impossível coordenar ações contra tal regime.

A IA já está facilitando a capacidade dos governos de monitorar seus próprios cidadãos.

A NSA está usando IA para ajudar a filtrar as enormes quantidades de dados que coleta, acelerando significativamente sua capacidade de identificar e prever as ações das pessoas que estão monitorando. Na China, a IA está sendo cada vez mais usada para reconhecimento facial e policiamento preditivo, incluindo perfil racial automatizado e alarmes automáticos quando pessoas classificadas como ameaças em potencial entram em determinados locais públicos.

Esses tipos de tecnologias de vigilância provavelmente melhorarão significativamente — aumentando assim as capacidades dos governos de controlar suas populações.

Em algum momento, governos autoritários podem usar extensivamente a tecnologia relacionada à IA para:

• Monitorar e rastrear dissidentes.
• Suprimir preventivamente a oposição ao partido no poder.
• Controlar os militares e dominar os atores externos.
• Manipular os fluxos de informação e moldar cuidadosamente a opinião pública.

Novamente, na pesquisa de 2023 com especialistas em IA, 73% dos entrevistados expressaram preocupação "extrema" ou "substancial" de que, no futuro, governantes autoritários pudessem "usar Al para controlar sua população".\[40\]

Se um regime alcançasse uma forma de totalitarismo verdadeiramente estável, isso poderia piorar muito a vida das pessoas por um longo tempo no futuro, tornando-o um cenário possível particularmente assustador resultante da IA. (Leia mais em nosso artigo sobre riscos de totalitarismo estável.)

A IA pode piorar a guerra

Estamos preocupados que o conflito entre grandes potências também possa representar uma ameaça substancial ao nosso mundo, e os avanços em IA parecem prováveis de mudar a natureza da guerra — por meio de armas autônomas letais \[43\] ou por meio da tomada de decisões automatizada.\[44\]

Em alguns casos, a guerra entre grandes potências pode representar uma ameaça existencial — por exemplo, se o conflito for nuclear. Alguns argumentam que armas autônomas letais, se suficientemente poderosas e produzidas em massa, poderiam constituir uma nova forma de arma de destruição em massa.

E se um único ator produzir sistemas de IA particularmente poderosos, isso pode ser visto como dando a ele uma vantagem estratégica decisiva. Tal resultado, ou mesmo a expectativa de tal resultado, pode ser altamente desestabilizador.

Imagine que os EUA estivessem trabalhando para produzir uma IA de planejamento que fosse inteligente o suficiente para garantir que a Rússia ou a China nunca pudessem lançar outra arma nuclear com sucesso. Isso poderia incentivar um primeiro ataque dos rivais do ator antes que esses planos desenvolvidos por IA pudessem ser colocados em ação.

Isso ocorre porque a dissuasão nuclear pode se beneficiar da simetria entre as habilidades das potências nucleares, na medida em que a ameaça de uma resposta nuclear a um primeiro ataque é crível e, portanto, um impedimento para um primeiro ataque. Os avanços em IA, que podem ser aplicados diretamente às forças nucleares, podem criar assimetrias nas capacidades das nações com armas nucleares. Isso pode incluir a melhoria dos sistemas de alerta precoce, sistemas de defesa aérea e ataques cibernéticos que desativam armas.

Por exemplo, muitos países usam mísseis balísticos lançados por submarinos como parte de seus sistemas de dissuasão nuclear — a ideia é que, se as armas nucleares puderem ser escondidas sob o oceano, elas nunca serão destruídas no primeiro ataque. Isso significa que elas sempre podem ser usadas para um contra-ataque e, portanto, atuam como um impedimento eficaz contra primeiros ataques. Mas a IA pode tornar muito mais fácil detectar submarinos debaixo d'água, permitindo sua destruição em um primeiro ataque — removendo esse impedimento.

É provável que muitos outros cenários desestabilizadores sejam possíveis.

Um relatório do Stockholm International Peace Research Institute descobriu que, embora a IA pudesse potencialmente também ter efeitos estabilizadores (por exemplo, fazendo com que todos se sentissem mais vulneráveis, diminuindo as chances de escalada), efeitos desestabilizadores poderiam surgir mesmo antes que os avanços em IA fossem realmente implantados. Isso ocorre porque a crença de um estado de que seus oponentes têm novas capacidades nucleares pode ser suficiente para perturbar o delicado equilíbrio da dissuasão.

Felizmente, também existem maneiras plausíveis pelas quais a IA pode ajudar a prevenir o uso de armas nucleares — por exemplo, melhorando a capacidade dos estados de detectar lançamentos nucleares, o que reduziria as chances de alarmes falsos como os que quase causaram uma guerra nuclear em 1983.

No geral, não temos certeza se a IA aumentará substancialmente o risco de conflito nuclear ou convencional no curto prazo — pode até acabar diminuindo o risco. Mas acreditamos que é importante prestar atenção aos possíveis resultados catastróficos e tomar medidas razoáveis para reduzir sua probabilidade.

Outros riscos da IA

Também estamos preocupados com as seguintes questões:

• Ameaças existenciais que resultam não do comportamento de busca de poder dos sistemas de IA, mas da interação entre os sistemas de IA. (Para representar um risco, esses sistemas ainda precisariam ser, até certo ponto, desalinhados.)
• Outras maneiras que não pensamos que os sistemas de IA podem ser mal utilizados — especialmente aqueles que podem afetar significativamente as gerações futuras.
• Outros erros morais cometidos no projeto e uso de sistemas de IA, principalmente se os futuros sistemas de IA forem eles próprios merecedores de consideração moral. Por exemplo, podemos (inadvertidamente) criar sistemas de IA sencientes, que podem então sofrer em grande número. Acreditamos que isso pode ser extremamente importante, então escrevemos sobre isso em um perfil de problema separado.

Então, o quanto é provável uma catástrofe relacionada à IA?

Esta é uma pergunta muito difícil de responder.

Não há exemplos anteriores que possamos usar para determinar a frequência de catástrofes relacionadas à IA.

Tudo o que temos para usar como base são argumentos (como os que demos acima) e dados menos relevantes, como a história dos avanços tecnológicos. E definitivamente não temos certeza de que os argumentos que apresentamos estejam completamente corretos.

Considere o argumento que demos anteriormente sobre os perigos da IA em busca de poder em particular, com base no relatório de Carlsmith. No final de seu relatório, Carlsmith dá algumas estimativas aproximadas das chances de que cada etapa de seu argumento esteja correta (condicional à etapa anterior estar correta):

1. Até 2070, será possível e financeiramente viável construir sistemas com consciência estratégica que podem superar os humanos em muitas tarefas de concessão de poder e que podem fazer e executar planos com sucesso: Carlsmith supõe que há 65% de chance de isso ser verdade.
2. Dada essa viabilidade, haverá fortes incentivos para construir tais sistemas: 80%.
3. Dadas a viabilidade e os incentivos para construir tais sistemas, será muito mais difícil desenvolver sistemas alinhados que não busquem poder do que desenvolver sistemas desalinhados que busquem, mas que sejam pelo menos superficialmente atraentes para implantar: 40%.
4. Dado tudo isso, alguns sistemas implantados buscarão poder de forma desalinhada, o que causará mais de US$1 trilhão (em dólares de 2021) de danos: 65%.
5. Dadas todas as premissas anteriores, os sistemas de IA desalinhados em busca de poder acabarão enfraquecendo basicamente toda a humanidade: 40%.
6. Dadas todas as premissas anteriores, esse enfraquecimento constituirá uma catástrofe existencial: 95%.

Multiplicando esses números, Carlsmith estimou que há 5% de chance de que seu argumento esteja correto e haverá uma catástrofe existencial da IA desalinhada em busca de poder até 2070. Quando falamos com Carlsmith, ele observou que no ano entre a redação de seu relatório e a publicação deste artigo, sua estimativa geral da chance de uma catástrofe existencial da IA em busca de poder até 2070 havia aumentado para >10%.\[45\]

A probabilidade geral de catástrofe existencial da IA seria, na visão de Carlsmith, maior do que isso, porque há outras rotas para uma possível catástrofe — como as discutidas na seção anterior — embora nosso palpite seja que essas outras rotas provavelmente são muito menos prováveis de levar à catástrofe existencial.

Para outra estimativa, em The Precipice, o filósofo e conselheiro do 80.000 Hours, Toby Ord, estimou um risco de 1 em 6 de catástrofe existencial até 2120 (por qualquer causa), e que 60% desse risco vem da IA desalinhada — dando um total de 10% de risco de catástrofe existencial da IA desalinhada até 2120.

Uma pesquisa de 2021 com 44 pesquisadores que trabalham na redução de riscos existenciais da IA descobriu que a estimativa de risco mediana era de 32,5% — a resposta mais alta dada foi de 98% e a mais baixa foi de 2%.\[46\] Obviamente, há muito viés de seleção aqui: as pessoas escolhem trabalhar na redução de riscos da IA porque acham que isso é excepcionalmente importante, então devemos esperar que as estimativas desta pesquisa sejam substancialmente maiores do que as estimativas de outras fontes. Mas há claramente uma incerteza significativa sobre o tamanho desse risco e uma grande variação nas respostas.

Todos esses números são chocante e perturbadoramente altos. Estamos longe de ter certeza de que todos os argumentos estão corretos. Mas essas são geralmente as maiores estimativas para o nível de risco existencial de qualquer um dos problemas que examinamos (como pandemias projetadas, conflito entre grandes potências, mudanças climáticas ou guerra nuclear).

Dito isso, acho que há razões pelas quais é mais difícil fazer suposições sobre os riscos da IA do que outros riscos – e possivelmente razões para pensar que as estimativas que citamos acima são sistematicamente muito altas.

Se eu fosse forçado a colocar um número nisso, diria algo como 1%. Este número inclui considerações a favor e contra o argumento. Estou menos preocupado do que outros funcionários do 80.000 Hours — nossa posição como organização é que o risco está entre 3% e 50%.

Dito tudo isso, os argumentos para estimativas tão altas do risco existencial representado pela IA são persuasivos — tornando os riscos da IA um dos principais candidatos ao problema mais urgente que a humanidade enfrenta.

Aqui estão mais algumas perguntas que você pode ter:

• Pode fazer sentido dedicar minha carreira a resolver um problema com base em uma história especulativa sobre uma tecnologia que pode ou não existir?
• Isso é uma forma de 'assalto de Pascal' — fazer uma grande aposta em probabilidades minúsculas?

Novamente, acreditamos que há respostas fortes para essas perguntas.

5. Podemos lidar com esses riscos

Acreditamos que uma das coisas mais importantes que você pode fazer seria ajudar a reduzir os riscos mais graves que a IA representa.

Isso não é apenas porque acreditamos que esses riscos são altos — é também porque acreditamos que há coisas reais que podemos fazer para reduzir esses riscos.

Conhecemos duas maneiras principais pelas quais as pessoas trabalham para reduzir esses riscos:

1. Pesquisa técnica de segurança de IA.
2. Trabalho de governança e política de IA.

Há muitas maneiras de contribuir para este trabalho. Nesta seção, discutimos muitas abordagens amplas em ambas as categorias para ilustrar o ponto de que existem coisas que podemos fazer para abordar esses riscos. Abaixo, discutimos os tipos de carreiras que você pode seguir para trabalhar nesses tipos de abordagens.

Pesquisa técnica de segurança de IA

Os benefícios da IA transformadora podem ser enormes, e há muitos atores diferentes envolvidos (operando em diferentes países), o que significa que provavelmente será muito difícil impedir seu desenvolvimento por completo.

(Também é possível que nem fosse uma boa ideia se pudéssemos — afinal, isso significaria renunciar aos benefícios, além de prevenir os riscos.)

Como resultado, acreditamos que faz mais sentido nos concentrarmos em garantir que esse desenvolvimento seja seguro — o que significa que tem uma alta probabilidade de evitar todas as falhas catastróficas listadas acima.

Uma maneira de fazer isso é tentar desenvolver soluções técnicas para evitar o tipo de comportamento de busca de poder que discutimos anteriormente — isso é geralmente conhecido como trabalhar em segurança técnica de IA, às vezes chamado apenas de "segurança de IA" para abreviar.

Abordagens

Há muitas abordagens para a segurança técnica da IA, incluindo:

• Aprendizado escalável a partir do feedback humano. Os exemplos incluem amplificação iterada, segurança de IA via debate, construção de assistentes de IA que são incertos sobre nossos objetivos e os aprendem interagindo conosco e outras maneiras de fazer com que os sistemas de IA relatem com veracidade o que sabem.
• Modelagem de ameaças. Um exemplo desse trabalho seria demonstrar a possibilidade de (permitindo-nos estudar) capacidades perigosas, como sistemas de IA enganosos ou manipuladores. Essa abordagem se divide em trabalho que avalia se um modelo tem capacidades perigosas (como o trabalho do METR na avaliação do GPT-4) e trabalho que avalia se um modelo causaria danos na prática (como a pesquisa da Anthropic sobre o comportamento de modelos de linguagem em grande escala e este artigo sobre generalização incorreta de objetivos). Também pode incluir trabalho para encontrar 'organismos modelo de desalinhamento', na esperança de entender melhor seus perigos.
• Trabalho para descobrir como controlar sistemas de IA poderosos – impedindo-os de causar danos mesmo que não sejam seguros. Leia mais nesta postagem do blog da equipe da Redwood Research trabalhando em controle.
• Pesquisa de interpretabilidade. Este trabalho envolve estudar por que os sistemas de IA fazem o que fazem e tentar colocá-lo em termos compreensíveis para os humanos. Por exemplo, este artigo examinou como o AlphaZero aprende xadrez e este artigo investigou a descoberta de conhecimento latente em modelos de linguagem sem supervisão. Esta categoria também inclui interpretabilidade mecanicista — por exemplo, Zoom In: An Introduction to Circuits de Olah et al.. Para mais informações, consulte este artigo de revisão, bem como uma árvore tecnológica de transparência e interpretabilidade de Hubinger e A Longlist of Theories of Impact for Interpretability de Nanda para visões gerais de como a pesquisa de interpretabilidade pode reduzir o risco existencial da IA.
• Outras pesquisas anti-uso indevido para reduzir os riscos de catástrofe causados pelo uso indevido de sistemas. Por exemplo, este trabalho inclui o treinamento de IAs para que sejam difíceis de usar para fins perigosos. (Observe que há muita sobreposição com o outro trabalho nesta lista).
• Pesquisa para aumentar a robustez das redes neurais. Este trabalho envolve garantir que os tipos de comportamento que as redes neurais exibem quando expostas a um conjunto de entradas continuem quando expostas a entradas às quais não foram expostas anteriormente, a fim de evitar que os sistemas de IA mudem para um comportamento inseguro. Veja a seção 2 de Unsolved Problems in AI safety para mais informações.
• Trabalho para construir uma IA cooperativa. Encontre maneiras de garantir que, mesmo que os sistemas de IA individuais pareçam seguros, eles não produzam resultados ruins por meio da interação com outros sistemas sociotécnicos. Para mais informações, consulte Open Problems in Cooperative AI por Dafoe et al. ou a Cooperative AI Foundation. Isso parece particularmente relevante para a redução de 's-riscos'.
• De forma mais geral, existem alguns planos de segurança unificados. Para mais informações, consulte 11 possíveis propostas para construir IA avançada segura de Hubinger, ou Como podemos alinhar a IA transformadora se ela for desenvolvida muito em breve de Karnofsky.\[47\]

Veja a visão geral do cenário de alinhamento de IA de Neel Nanda para mais detalhes.

Leia mais sobre pesquisa técnica de segurança de IA abaixo.

Governança e política de IA

Reduzir os riscos mais graves da IA exigirá uma tomada de decisão e políticas de alto nível sólidas, tanto nas próprias empresas de IA quanto nos governos.

À medida que a IA avançou e atraiu crescente interesse de clientes e investidores, os governos têm demonstrado interesse em regular a tecnologia. Alguns já tomaram medidas significativas para desempenhar um papel no gerenciamento do desenvolvimento da IA, incluindo:

• Os EUA e o Reino Unido estabeleceram seus próprios Institutos Nacionais de Segurança de IA.
• A União Europeia aprovou a Lei de IA da UE, que contém disposições específicas para governar modelos de IA de propósito geral que representam riscos sistêmicos.
• O Reino Unido e depois a Coreia do Sul sediaram as duas primeiras Cúpulas de Segurança de IA (em 2023 e 2024), uma série de cúpulas de alto nível com o objetivo de coordenar entre diferentes países, acadêmicos, pesquisadores e líderes da sociedade civil.
• A China implementou regulamentos direcionados a algoritmos de recomendação, conteúdo sintético de IA, modelos generativos de IA e tecnologia de reconhecimento facial.
• Os EUA instituíram controles de exportação para reduzir o acesso da China aos chips mais avançados usados no desenvolvimento de IA.

Muito mais precisará ser feito para reduzir os maiores riscos — incluindo a avaliação contínua do cenário de governança de IA para avaliar o progresso geral.

Discutimos esse caminho de carreira com mais detalhes aqui:

Abordagens

Pessoas que trabalham na política de IA propuseram uma variedade de abordagens para reduzir o risco à medida que os sistemas de IA se tornam mais poderosos.

Não endossamos necessariamente todas as ideias abaixo, mas o que se segue é uma lista de algumas abordagens políticas proeminentes que podem ter como objetivo reduzir os maiores perigos da IA:\[48\]

• Políticas de escalonamento responsável: algumas grandes empresas de IA já começaram a desenvolver estruturas internas para avaliar a segurança à medida que aumentam o tamanho e as capacidades de seus sistemas. Essas estruturas introduzem salvaguardas que se destinam a se tornar cada vez mais rigorosas à medida que os sistemas de IA se tornam mais potencialmente perigosos e garantem que as capacidades dos sistemas de IA não ultrapassem as capacidades das empresas de manter os sistemas seguros. Muitos argumentam que essas políticas internas não são suficientes para a segurança, mas podem representar um passo promissor para reduzir o risco. Você pode ver versões de tais políticas da Anthropic, Google DeepMind e OpenAI.
• Padrões e avaliação: os governos também podem desenvolver benchmarks e protocolos de teste em todo o setor para avaliar se os sistemas de IA representam riscos importantes. A organização sem fins lucrativos METR e o UK AI Safety Institute estão entre as organizações que atualmente desenvolvem essas avaliações para testar modelos de IA antes e depois de serem lançados. Isso pode incluir a criação de métricas padronizadas para as capacidades de um sistema de IA e o potencial de causar danos, bem como a propensão à busca de poder ou desalinhamento.
• Casos de segurança: essa prática envolve exigir que os desenvolvedores de IA forneçam documentação abrangente demonstrando a segurança e a confiabilidade de seus sistemas antes da implantação. Essa abordagem é semelhante aos casos de segurança usados em outros setores de alto risco, como aviação ou energia nuclear.\[49\] Você pode ver a discussão dessa ideia em um artigo de Clymer et al e em uma postagem de Geoffrey Irving no UK AI Safety Institute.
• Padrões de segurança da informação: podemos estabelecer regras robustas para proteger dados, algoritmos e infraestrutura relacionados à IA de acesso ou manipulação não autorizados — particularmente os pesos do modelo de IA. A Rand lançou um relatório detalhado analisando os riscos de segurança para as principais empresas de IA, particularmente de atores estatais.
• Lei de responsabilidade: a lei existente já impõe alguma responsabilidade às empresas que criam produtos perigosos ou causam danos significativos ao público, mas sua aplicação a modelos de IA e risco em particular não é clara. Esclarecer como a responsabilidade se aplica às empresas que criam modelos de IA perigosos pode incentivá-las a tomar medidas adicionais para reduzir o risco. O professor de direito Gabriel Weil escreveu sobre essa ideia.
• Governança da computação: os governos podem regular o acesso e o uso de recursos de computação de alto desempenho necessários para treinar grandes modelos de IA. As restrições dos EUA à exportação de chips de última geração para a China são um exemplo de tal política, e outras são possíveis. As empresas também podem ser obrigadas a instalar recursos de segurança em nível de hardware diretamente em chips ou processadores de IA. Estes podem ser usados para rastrear chips e verificar se eles não estão na posse de ninguém que não deveria tê-los, ou para outros fins. Você pode aprender mais sobre este tópico em nossa entrevista com Lennart Heim e neste relatório do Center for a New American Security.
• Coordenação internacional: Fomentar a cooperação global na governança de IA para garantir padrões consistentes. Isso pode envolver tratados, organizações internacionais ou acordos multilaterais sobre desenvolvimento e implantação de IA. Discutimos algumas considerações relacionadas em nosso artigo sobre caminhos de segurança e governança de IA relacionados à China.
• Adaptação social: pode ser crucial preparar a sociedade para a ampla integração da IA e os riscos potenciais que ela representa. Por exemplo, podemos precisar desenvolver novas medidas de segurança da informação para proteger dados cruciais em um mundo com hackers habilitados para IA. Ou podemos querer implementar controles fortes para evitar a entrega de decisões sociais importantes aos sistemas de IA.\[50\]
• Pausar o escalonamento, se apropriado: alguns argumentam que devemos atualmente pausar todo o escalonamento de modelos de IA maiores por causa dos perigos que a tecnologia representa. Apresentamos alguma discussão dessa ideia em nosso podcast, e parece difícil saber quando ou se essa seria uma boa ideia. Se realizada, pode envolver acordos em todo o setor ou mandatos regulatórios para pausar os esforços de escalonamento quando necessário.

Os detalhes, benefícios e desvantagens de muitas dessas ideias ainda precisam ser totalmente elaborados, por isso é crucial que façamos mais pesquisas. E esta lista não é abrangente — provavelmente há outras intervenções políticas importantes e estratégias de governança que valem a pena buscar.

Também precisamos de mais pesquisa de previsão sobre o que devemos esperar que aconteça com a IA, como o trabalho feito na Epoch AI.

6. Este trabalho é negligenciado

Em 2022, estimamos que havia cerca de 400 pessoas em todo o mundo trabalhando diretamente na redução das chances de uma catástrofe existencial relacionada à IA (com um intervalo de confiança de 90% variando entre 200 e 1.000). Destes, cerca de três quartos trabalhavam em pesquisa técnica de segurança de IA, com o restante dividido entre pesquisa de estratégia (e outra governança) e defesa de direitos.\[5\] Também estimamos que havia cerca de 800 pessoas trabalhando em funções complementares, mas estamos altamente incertos sobre esse número.\[3\]

Em The Precipice, Ord estimou que havia entre US$10 milhões e US$50 milhões gastos na redução do risco de IA em 2020.

Isso pode parecer muito dinheiro, mas estamos gastando algo como 1.000 vezes esse valor \[4\] para acelerar o desenvolvimento de IA transformadora por meio de pesquisa e engenharia de capacidades comerciais em grandes empresas de IA.

Para comparar os US$50 milhões gastos em segurança de IA em 2020 com outros riscos conhecidos, estamos atualmente gastando várias centenas de bilhões por ano no combate às mudanças climáticas.

Como este campo é tão negligenciado e tem apostas tão altas, acreditamos que seu impacto trabalhando em riscos da IA pode ser muito maior do que trabalhando em muitas outras áreas — é por isso que nossos dois caminhos de carreira mais recomendados para fazer uma grande diferença positiva no mundo são segurança técnica de IA e pesquisa e implementação de políticas de IA.

Quais consideramos serem os melhores argumentos contra este problema ser urgente?

Como dissemos acima, não temos certeza absoluta de que os argumentos que apresentamos para a IA representando uma ameaça existencial estão corretos. Embora ainda achemos que a chance de catástrofe da IA é alta o suficiente para justificar que muito mais pessoas sigam carreiras para tentar evitar tal resultado, também queremos ser honestos sobre os argumentos contra isso, para que você possa mais facilmente fazer sua própria avaliação sobre a questão.

Aqui, abordaremos as razões mais fortes (em nossa opinião) para pensar que esse problema não é particularmente urgente. Na próxima seção, abordaremos algumas objeções comuns que (em nossa opinião) se sustentam menos bem e explicaremos o porquê.

Podemos ter muito tempo para trabalhar neste problema

Quanto mais tempo tivermos antes que a IA transformadora seja desenvolvida, menos urgente é trabalhar agora em maneiras de garantir que isso corra bem. Isso ocorre porque o trabalho de outras pessoas no futuro pode ser muito melhor ou mais relevante do que o trabalho que podemos fazer agora.

Além disso, se levarmos muito tempo para criar IA transformadora, teremos mais tempo para descobrir como torná-la segura. O risco parece muito maior se os desenvolvedores de IA criarem IA transformadora nas próximas décadas.

Parece plausível que a primeira IA transformadora não seja baseada nos métodos atuais de aprendizado profundo. (A AI Impacts documentou argumentos de que os métodos atuais não serão capazes de produzir IA com inteligência de nível humano.) Isso pode significar que algumas de nossas pesquisas atuais podem não acabar sendo úteis (e também — dependendo de qual método acabar sendo usado — pode tornar os argumentos para o risco menos preocupantes).

Relacionado a isso, podemos esperar que o progresso no desenvolvimento da IA ocorra em rajadas. Anteriormente, o campo viu invernos de IA, períodos de tempo com investimento, interesse e pesquisa em IA significativamente reduzidos. Não está claro qual é a probabilidade de vermos outro inverno de IA — mas essa possibilidade deve alongar nossas estimativas sobre quanto tempo levará até que tenhamos desenvolvido a IA transformadora. Cotra escreve sobre a possibilidade de um inverno de IA na parte quatro de seu relatório de previsão da IA transformadora. Novas restrições na taxa de crescimento das capacidades de IA, como a disponibilidade de dados de treinamento, também podem significar que há mais tempo para trabalhar nisso (Cotra discute isso aqui.)

Em terceiro lugar, as estimativas sobre quando teremos IA transformadora de Cotra, Karnofsky e Davidson que vimos anteriormente foram produzidas por pessoas que já esperavam que trabalhar na prevenção de uma catástrofe relacionada à IA poderia ser um dos problemas mais urgentes do mundo. Como resultado, há um viés de seleção aqui: as pessoas que acham que a IA transformadora está chegando relativamente em breve também são as pessoas incentivadas a realizar investigações detalhadas. (Dito isso, se as investigações em si parecem fortes, esse efeito pode ser bastante pequeno.)

Finalmente, nenhuma das estimativas que discutimos anteriormente estava tentando prever quando uma catástrofe existencial poderia ocorrer. Em vez disso, eles estavam olhando para quando os sistemas de IA poderiam ser capazes de automatizar todas as tarefas que os humanos podem fazer, ou quando os sistemas de IA poderiam transformar significativamente a economia. Não é de forma alguma certo que os tipos de sistemas de IA que poderiam transformar a economia seriam os mesmos sistemas de planejamento avançados que são centrais para o argumento de que os sistemas de IA podem buscar o poder. Os sistemas de planejamento avançados parecem ser particularmente úteis, então há pelo menos alguma razão para pensar que esses podem ser os tipos de sistemas que acabam sendo construídos. Mas mesmo que os sistemas transformadores previstos sejam sistemas de planejamento avançados, não está claro quão capazes tais sistemas precisariam ser para representar uma ameaça — é mais do que plausível que os sistemas precisassem ser muito mais capazes para representar uma ameaça existencial substancial do que precisariam ser para transformar a economia. Isso significaria que todas as estimativas que consideramos acima seriam subestimativas de quanto tempo temos para trabalhar neste problema.

Dito tudo isso, pode ser extremamente difícil encontrar soluções técnicas para evitar comportamento de busca de poder — e se for esse o caso, focar em encontrar essas soluções agora parece extremamente valioso.

No geral, acreditamos que a IA transformadora é suficientemente provável nos próximos 10 a 80 anos para que valha a pena (em termos de valor esperado) trabalhar neste problema agora. Talvez as gerações futuras cuidem disso, e todo o trabalho que faríamos agora seria em vão — esperamos que sim! Mas pode não ser prudente correr esse risco.

A IA pode melhorar gradualmente ao longo do tempo

Se a melhor IA que temos melhorar gradualmente ao longo do tempo (em vez de as capacidades de IA permanecerem bastante baixas por um tempo e depois aumentarem repentinamente), é provável que acabemos com 'tiros de advertência': notaremos formas de comportamento desalinhado em sistemas bastante fracos e seremos capazes de corrigi-lo antes que seja tarde demais.

Em tal cenário gradual, teremos uma ideia melhor sobre qual forma a IA poderosa pode assumir (por exemplo, se será construída usando técnicas atuais de aprendizado profundo ou algo totalmente diferente), o que pode ajudar significativamente na pesquisa de segurança. Também haverá mais foco nesta questão pela sociedade como um todo, à medida que os riscos da IA se tornarem mais claros.

Portanto, se o desenvolvimento gradual da IA parece mais provável, o risco parece menor.

Mas não é de forma alguma certo que o desenvolvimento da IA será gradual, ou se for, gradual o suficiente para que o risco seja visivelmente menor. E mesmo que o desenvolvimento da IA seja gradual, ainda pode haver benefícios significativos em ter planos e soluções técnicas em vigor com bastante antecedência. Portanto, no geral, ainda acreditamos que é extremamente valioso tentar reduzir o risco agora.

Se você quiser saber mais, pode ler o trabalho da AI Impacts sobre argumentos a favor e contra o progresso descontínuo (ou seja, não gradual) no desenvolvimento da IA, e Toby Ord e Owen Cotton-Barratt sobre implicações estratégicas de diferentes velocidades de desenvolvimento da IA.

Podemos precisar resolver o alinhamento de qualquer maneira para tornar a IA útil

Fazer com que algo tenha objetivos alinhados com os objetivos finais dos projetistas humanos e tornar algo útil parecem problemas muito relacionados. Se assim for, talvez a necessidade de tornar a IA útil nos leve a produzir apenas IA alinhada — caso em que o problema de alinhamento provavelmente será resolvido por padrão.

Ben Garfinkel deu alguns exemplos disso em nosso podcast:

• Você pode pensar em um termostato como uma IA muito simples que tenta manter uma sala a uma certa temperatura. O termostato tem uma tira de metal que se expande à medida que a sala aquece e corta a corrente quando uma certa temperatura é atingida. Esta peça de metal faz com que o termostato aja como se tivesse o objetivo de manter a sala a uma certa temperatura, mas também o torna capaz de atingir esse objetivo (e, portanto, de ser realmente útil).
• Imagine que você está construindo um robô de limpeza com técnicas de aprendizado por reforço — ou seja, você fornece alguma condição específica sob a qual você dá ao robô feedback positivo. Você pode dizer algo como: "Quanto menos poeira na casa, mais positivo será o feedback". Mas se você fizer isso, o robô acabará fazendo coisas que você não quer — como rasgar uma almofada para encontrar poeira no interior. Provavelmente, em vez disso, você precisa usar técnicas como as que estão sendo desenvolvidas por pessoas que trabalham em segurança de IA (coisas como assistir a um humano limpar uma casa e deixar a IA descobrir as coisas a partir daí). Portanto, as pessoas que constroem IAs serão naturalmente incentivadas a também tentar torná-las alinhadas (e, portanto, em certo sentido, seguras), para que possam fazer seu trabalho.

Se precisarmos resolver o problema de alinhamento de qualquer maneira para tornar os sistemas de IA úteis, isso reduz significativamente as chances de termos sistemas de IA desalinhados, mas ainda superficialmente úteis. Portanto, o incentivo para implantar uma IA desalinhada seria muito menor, reduzindo o risco para a sociedade.

Dito isso, ainda há razões para se preocupar. Por exemplo, parece que ainda poderíamos ser suscetíveis a problemas de engano de IA.

E, como argumentamos, o alinhamento de IA é apenas parte do problema geral. Resolver o problema de alinhamento não é a mesma coisa que eliminar completamente o risco existencial da IA, uma vez que a IA alinhada também pode ser usada para fins ruins — como por governos autoritários.

O problema pode ser extremamente difícil de resolver

Como acontece com muitos projetos de pesquisa em seus estágios iniciais, não sabemos o quanto é difícil resolver o problema de alinhamento — ou outros problemas de IA que representam riscos. Alguém pode acreditar que existem grandes riscos da inteligência de máquina, mas ser pessimista sobre o que pesquisas adicionais ou trabalho político realizarão e, portanto, decidir não se concentrar nisso.

Esta é definitivamente uma razão para potencialmente trabalhar em outra questão — a solucionabilidade de uma questão é uma parte fundamental de como tentamos comparar problemas globais. Por exemplo, também estamos muito preocupados com os riscos de pandemias, e pode ser muito mais fácil resolver esse problema.

Dito isso, acreditamos que, dadas as apostas, pode fazer sentido para muitas pessoas trabalhar na redução do risco de IA, mesmo que você ache que a chance de sucesso é baixa. Você teria que pensar que é extremamente difícil reduzir os riscos da IA para concluir que é melhor deixar os riscos se materializarem e a chance de catástrofe acontecer.

Pelo menos em nosso próprio caso no 80.000 Hours, queremos continuar tentando ajudar com a segurança da IA — por exemplo, escrevendo perfis como este — mesmo que a chance de sucesso pareça baixa (embora, na verdade, estamos bastante otimistas no geral).

Podemos estar superestimando as chances de que sistemas estratégicos de IA busquem poder

Há algumas razões para pensar que o argumento central de que qualquer sistema avançado de planejamento estrategicamente consciente, por padrão, buscará o poder (que demos aqui) não está totalmente correto. \[51\]

1. Para começar, o argumento de que os sistemas avançados de IA buscarão o poder se baseia na ideia de que os sistemas produzirão planos para atingir objetivos. Não temos certeza do que isso significa — e, como resultado, não temos certeza de quais propriedades são realmente necessárias para que o comportamento de busca de poder ocorra e se as coisas que construiremos terão essas propriedades.

Gostaríamos de ver uma análise mais aprofundada de quais aspectos do planejamento são economicamente incentivados e se esses aspectos parecem ser suficientes para que o argumento para o comportamento de busca de poder funcione. Grace escreveu mais sobre a ambiguidade em torno de "quanta orientação para objetivos é necessária para causar um desastre".

1. É possível que apenas alguns objetivos que os sistemas de IA possam ter levariam à busca desalinhada de poder.

Richard Ngo, em sua análise do que as pessoas querem dizer com "objetivos", aponta que você só obterá comportamento de busca de poder se tiver objetivos que signifiquem que o sistema pode realmente se beneficiar da busca de poder. Ngo sugere que esses objetivos precisam ser "em larga escala". (Alguns argumentaram que, por padrão, devemos esperar que os sistemas de IA tenham objetivos de "curto prazo" que não levarão ao comportamento de busca de poder.) Mas se um sistema de IA planejaria tomar o poder depende de quanto seria fácil para o sistema tomar o poder, porque quanto mais fácil for para um sistema tomar o poder, mais provável será que os planos de busca de poder sejam bem-sucedidos — então um bom sistema de planejamento teria maior probabilidade de escolhê-los. Isso sugere que será mais fácil criar acidentalmente um sistema de IA em busca de poder à medida que as capacidades dos sistemas aumentam. Portanto, ainda parece haver motivos para maior preocupação, porque as capacidades dos sistemas de IA parecem estar aumentando rapidamente. Há duas considerações aqui: se poucos objetivos realmente levarem à busca de poder, mesmo para sistemas de IA bastante capazes, isso reduz significativamente o risco e, portanto, a importância do problema. Mas também pode aumentar a solucionabilidade do problema, demonstrando que as soluções podem ser fáceis de encontrar (por exemplo, a solução pode ser nunca dar aos sistemas objetivos de "larga escala") — tornando essa questão mais valiosa para as pessoas trabalharem.

1. Anteriormente, argumentamos que podemos esperar que os sistemas de IA façam coisas que parecem instrumentalmente úteis no geral para seu objetivo global e que, como resultado, pode ser difícil impedir que os sistemas de IA façam essas coisas instrumentalmente úteis.

Mas podemos encontrar exemplos em que o quanto essas coisas seriam instrumentalmente úteis não parece afetar a dificuldade de evitá-las. Considere um carro autônomo que só pode se mover se seu motor estiver ligado. Para muitos objetivos possíveis (exceto, digamos, ligar o rádio do carro), parece que seria útil para o carro poder se mover, então devemos esperar que o carro ligue seu motor. Mas, apesar disso, ainda podemos treinar o carro para manter seu motor desligado: por exemplo, podemos dar a ele algum feedback negativo sempre que ele ligar o motor, mesmo que também tenhamos dado ao carro alguns outros objetivos. Agora imagine que melhoramos o carro para que sua velocidade máxima seja maior — isso aumenta massivamente o número de sequências de ação possíveis que envolvem, como um primeiro passo, ligar seu motor. Em certo sentido, isso parece aumentar a utilidade instrumental de ligar o motor — há mais ações possíveis que o carro pode realizar quando seu motor está ligado porque a gama de velocidades possíveis em que ele pode viajar é maior. (Não está claro se esse sentido de "utilidade instrumental" é o mesmo do argumento para o risco, embora pareça um tanto relacionado.) Mas não parece que esse aumento na utilidade instrumental de ligar o motor torne muito mais difícil impedir que o carro o ligue. Exemplos simples como este lançam alguma dúvida sobre a ideia de que só porque uma determinada ação é instrumentalmente útil, não seremos capazes de encontrar maneiras de evitá-la. (Para mais informações sobre este exemplo, veja a página 25 da revisão de Garfinkel do relatório de Carlsmith.)

1. Os humanos são claramente altamente inteligentes, mas não está claro se somos otimizadores de objetivos perfeitos. Por exemplo, os humanos frequentemente enfrentam algum tipo de angústia existencial sobre quais são seus verdadeiros objetivos. E mesmo que aceitemos os humanos como um exemplo de um agente estrategicamente consciente capaz de planejar, os humanos certamente nem sempre buscam o poder. Obviamente, nos preocupamos em ter o básico como comida e abrigo, e muitas pessoas se esforçam muito por mais dinheiro, status, educação ou mesmo poder formal. Mas alguns humanos optam por não perseguir esses objetivos, e persegui-los não parece se correlacionar com a inteligência.

No entanto, isso não significa que o argumento de que haverá um incentivo para buscar o poder esteja errado. A maioria das pessoas enfrenta e age com base em incentivos para obter formas de influência por meio de riqueza, status, promoções e assim por diante. E podemos explicar a observação de que os humanos geralmente não buscam quantidades enormes de poder observando que geralmente não estamos em circunstâncias que façam o esforço valer a pena. Por exemplo, a maioria das pessoas não tenta iniciar empresas de bilhões de dólares — você provavelmente não terá sucesso e isso lhe custará muito tempo e esforço. Mas você ainda atravessaria a rua para pegar um cheque de um bilhão de dólares.

A ausência de busca extrema de poder em muitos humanos, juntamente com incertezas sobre o que realmente significa planejar para atingir objetivos, sugere que o argumento que demos acima de que sistemas avançados de IA buscarão o poder, pode não estar completamente correto. E eles também sugerem que, se houver realmente um problema a ser resolvido aqui, em princípio, a pesquisa de alinhamento na prevenção da busca de poder em IAs pode ter sucesso.

Esta é uma boa notícia! Mas, no momento — sem esperança de estarmos errados sobre a existência do problema — não sabemos realmente como evitar esse comportamento de busca de poder.

Argumentos contra trabalhar no risco da IA para os quais acreditamos haver respostas contundentes

Acabamos de discutir as principais objeções ao trabalho sobre o risco da IA que acreditamos serem mais persuasivas. Nesta seção, veremos as objeções que acreditamos serem menos persuasivas e daremos algumas razões para isso.

É mesmo possível produzir inteligência artificial geral?

As pessoas vêm dizendo desde a década de 1950 que a inteligência artificial mais inteligente que os humanos está logo ali.

Mas isso ainda não aconteceu.

Uma razão para isso pode ser que isso nunca acontecerá. Alguns argumentaram que produzir inteligência artificial geral é fundamentalmente impossível. Outros acham que é possível, mas improvável que realmente aconteça, especialmente não com os métodos atuais de aprendizado profundo.

No geral, acreditamos que a existência da inteligência humana mostra que é possível, em princípio, criar inteligência artificial. E a velocidade dos avanços atuais não é algo que acreditamos que teria sido previsto por aqueles que pensavam que nunca desenvolveríamos uma IA poderosa e geral.

Mas o mais importante é que a ideia de que você precisa de sistemas de IA totalmente gerais e inteligentes para que haja um risco existencial substancial é um equívoco comum.

O argumento que demos anteriormente baseava-se em sistemas de IA sendo tão bons ou melhores que os humanos em um subconjunto de áreas: planejamento, consciência estratégica e áreas relacionadas a buscar e manter o poder. Portanto, contanto que você pense que todas essas coisas são possíveis, o risco permanece.

E mesmo que nenhuma IA tenha todas essas propriedades, ainda há maneiras pelas quais podemos acabar com sistemas de IAs 'restritos' que, juntos, podem desempoderar a humanidade. Por exemplo, podemos ter uma IA de planejamento que desenvolve planos para uma empresa, um sistema de IA separado que mede coisas sobre a empresa, outro sistema de IA que tenta avaliar os planos da primeira IA prevendo quanto lucro cada um gerará e outros sistemas de IA que executam esses planos (por exemplo, automatizando a construção e operação de fábricas). Considerado em conjunto, este sistema como um todo tem a capacidade de formar e executar planos para atingir algum objetivo, e potencialmente também tem capacidades avançadas em áreas que o ajudam a buscar o poder.

Parece que será mais fácil evitar que esses sistemas de IA 'restritos' busquem o poder. Isso pode acontecer se as habilidades que as IAs têm, mesmo quando combinadas, não forem suficientes para planejar atingir objetivos, ou se a restrição reduzir o risco de os sistemas desenvolverem planos de busca de poder (por exemplo, se você construir sistemas que só podem produzir planos de curtíssimo prazo). Também parece que isso dá outro ponto de fraqueza para os humanos intervirem se necessário: a coordenação dos diferentes sistemas.

No entanto, o risco permanece, mesmo de sistemas com muitas IAs interagindo.

Por que não podemos simplesmente desconectar uma IA perigosa?

Pode ser muito, muito difícil.

Impedir que pessoas e computadores executem software já é incrivelmente difícil.

Pense em como seria difícil desligar os serviços da web do Google. Os data centers do Google têm milhões de servidores em 34 locais diferentes, muitos dos quais estão executando os mesmos conjuntos de código. E esses data centers são absolutamente cruciais para os resultados do Google, então, mesmo que o Google pudesse decidir fechar todos os seus negócios, provavelmente não o faria.

Ou pense em como é difícil se livrar de vírus de computador que se espalham autonomamente entre computadores em todo o mundo.

Em última análise, acreditamos que qualquer sistema de IA perigoso em busca de poder estará procurando maneiras de não ser desligado, o que torna mais provável que estejamos em uma dessas situações, em vez de em um caso em que podemos simplesmente desconectar uma única máquina.

Dito isso, devemos absolutamente tentar moldar o futuro da IA de forma que possamos 'desconectar' sistemas de IA poderosos.

Pode haver maneiras de desenvolvermos sistemas que nos permitam desligá-los. Mas, no momento, não temos certeza de como fazer isso.

Garantir que podemos desligar sistemas de IA potencialmente perigosos pode ser uma medida de segurança desenvolvida pela pesquisa técnica de segurança de IA, ou pode ser o resultado de uma governança cuidadosa da IA, como planejar esforços coordenados para parar o programa autônomo depois que ele estiver em execução.

Não poderíamos simplesmente 'isolar' qualquer sistema de IA potencialmente perigoso até sabermos que é seguro?

Poderíamos (e deveríamos!) definitivamente tentar.

Se pudéssemos 'isolar' com sucesso uma IA avançada — ou seja, contê-la em um ambiente de treinamento sem acesso ao mundo real até que estivéssemos muito confiantes de que não causaria danos — isso ajudaria tremendamente nossos esforços para mitigar os riscos da IA.

Mas há algumas coisas que podem tornar isso difícil.

Para começar, podemos precisar apenas de uma falha — como uma pessoa para remover o sandbox, ou uma vulnerabilidade de segurança no sandbox que não percebemos — para que o sistema de IA comece a afetar o mundo real.

Além disso, essa solução não é escalável com os recursos do sistema de IA. Isso porque:

• Sistemas mais capazes são mais propensos a encontrar vulnerabilidades ou outras maneiras de deixar o sandbox (por exemplo, ameaçando ou coagindo humanos).
• Sistemas que são bons em planejamento podem tentar nos enganar para implantá-los.

Portanto, quanto mais perigoso for o sistema de IA, menos provável será que o sandboxing seja possível. Isso é o oposto do que gostaríamos de uma boa solução para o risco.

Certamente um sistema de IA *verdadeiramente* inteligente saberia que não deve desempoderar todos?

Para algumas definições de "verdadeiramente inteligente" — por exemplo, se a verdadeira inteligência inclui uma profunda compreensão da moralidade e um desejo de ser moral — este provavelmente seria o caso.

Mas se essa é sua definição de verdadeiramente inteligente, então não são sistemas verdadeiramente inteligentes que representam um risco. Como argumentamos anteriormente, são sistemas avançados que podem planejar e ter consciência estratégica que representam riscos para a humanidade.

Com consciência estratégica suficientemente avançada, a excelente compreensão do mundo de um sistema de IA pode muito bem abranger uma excelente compreensão das crenças morais das pessoas. Mas isso não é uma razão forte para pensar que tal sistema agiria moralmente.

Por exemplo, quando aprendemos sobre outras culturas ou sistemas morais, isso não necessariamente cria um desejo de seguir sua moralidade. Um estudioso do Antebellum South pode ter uma compreensão muito boa de como os proprietários de escravos do século 19 se justificavam como morais, mas seria muito improvável que defendesse a escravidão.

Sistemas de IA com excelente compreensão da moralidade humana podem ser ainda mais perigosos do que IAs sem essa compreensão: o sistema de IA pode agir moralmente a princípio como uma forma de nos enganar a pensar que é seguro.

Será que o verdadeiro perigo não está na IA atual, e não em alguma superinteligência do futuro?

Definitivamente, existem perigos da inteligência artificial atual.

Por exemplo, os dados usados para treinar redes neurais geralmente contêm vieses ocultos. Isso significa que os sistemas de IA podem aprender esses vieses — e isso pode levar a comportamentos racistas e sexistas.

Existem outros perigos também. Nossa discussão anterior sobre guerra nuclear explica uma ameaça que não exige que os sistemas de IA tenham capacidades particularmente avançadas.

Mas não acreditamos que o fato de também haver riscos dos sistemas atuais seja uma razão para não priorizar a redução de ameaças existenciais da IA, se forem suficientemente graves.

Como discutimos, os sistemas futuros — não necessariamente superinteligência ou inteligência totalmente geral, mas sistemas avançados em suas capacidades de planejamento e busca de poder — parecem que podem representar ameaças à existência de toda a humanidade. E também parece um tanto provável que produziremos tais sistemas neste século.

Além do mais, muita pesquisa técnica de segurança de IA também é relevante para resolver problemas com os sistemas de IA existentes. Por exemplo, algumas pesquisas se concentram em garantir que os modelos de ML façam o que queremos que eles façam, e ainda farão isso à medida que seu tamanho e capacidades aumentam; outras pesquisas tentam descobrir como e por que os modelos existentes estão tomando as decisões e tomando as ações que tomam.

Como resultado, pelo menos no caso da pesquisa técnica, a escolha entre trabalhar nas ameaças atuais e nos riscos futuros pode parecer mais uma escolha entre apenas garantir que os modelos atuais sejam seguros, ou encontrar maneiras de garantir que os modelos atuais sejam seguros, que também continuarão a funcionar à medida que os sistemas de IA se tornam mais complexos e mais inteligentes.

Em última análise, temos tempo limitado em nossas carreiras, então escolher em qual problema trabalhar pode ser uma grande forma de aumentar seu impacto. Quando existem ameaças tão substanciais, parece razoável que muitas pessoas se concentrem em abordar essas piores possibilidades.

Mas a IA também não pode fazer muito bem?

Sim, pode.

Os sistemas de IA já estão melhorando a saúde, colocando veículos autônomos nas estradas e automatizando tarefas domésticas.

E se formos capazes de automatizar os avanços na ciência e na tecnologia, poderemos ver um progresso econômico e científico verdadeiramente incrível. A IA provavelmente pode ajudar a resolver muitos dos problemas mais urgentes do mundo.

Mas, só porque algo pode fazer muito bem, isso não significa que também não possa fazer muito mal. A IA é um exemplo de tecnologia de dupla utilização — uma tecnologia que pode ser usada para fins perigosos e benéficos. Por exemplo, os pesquisadores conseguiram fazer com que um modelo de IA que foi treinado para desenvolver medicamentos médicos gerasse projetos para armas biológicas.

Estamos animados e esperançosos em ver grandes benefícios da IA. Mas também queremos trabalhar muito para minimizar os enormes riscos que os sistemas avançados de IA representam.

Por que não devo descartar isso como raciocínio motivado por um grupo de pessoas que simplesmente gostam de brincar com computadores e querem pensar que isso é importante?

É indubitavelmente verdade que algumas pessoas são atraídas a pensar em segurança de IA porque gostam de computadores e ficção científica — como em qualquer outra questão, há pessoas trabalhando nisso não porque acham que é importante, mas porque acham que é legal.

Mas, para muitas pessoas, trabalhar em segurança de IA vem com grande relutância.

Para mim, e para muitos de nós no 80.000 Hours, gastar nosso tempo e recursos limitados trabalhando em qualquer causa que afete o futuro a longo prazo — e, portanto, não gastar esse tempo nos terríveis problemas do mundo de hoje — é uma coisa incrivelmente difícil emocionalmente de fazer.

Mas investigamos gradualmente esses argumentos (no decorrer da tentativa de descobrir como podemos fazer o maior bem) e, com o tempo, ganhamos mais experiência sobre IA e ficamos mais preocupados com o risco.