Governança e políticas de IA

Por Cody Fenwick e a equipe da 80.000 Hours ·
Última atualização em fevereiro de 2024
Publicado em inglês pela primeira vez em julho de 2023

Traduzido, editado e adaptado pela equipe do Carreiras Eficazes, de modo a atender as necessidades das comunidades lusófonas com autorização dos produtores do texto original.

Conforme as capacidades avançadas da IA ganharam uma atenção generalizada no final de 2022 e em 2023, cresceu o interesse em governar e regulamentar esses sistemas. A discussão sobre o potencial de riscos catastróficos da IA desalinhada ou incontrolável, se tornou mais proeminente, potencialmente abrindo oportunidades para políticas que poderiam mitigar as ameaças.

Ainda há muita incerteza sobre quais estratégias de governança seriam as melhores. Mas algumas ideias para políticas que reduziriam o risco, nos parecem promissoras. Veja, por exemplo, uma lista de ideias potenciais de políticas de Luke Muehlhauser da Open Philanthropy [1] e uma pesquisa de opinião com especialistas sobre melhores práticas em segurança e governança da IA.

Mas não existe roteiro aqui. Há muito espaço para debate sobre o que é necessário e talvez ainda não tenhamos encontrado as melhores ideias ainda neste espaço. De qualquer forma, ainda há muito trabalho a ser feito para descobrir como políticas e estratégias promissoras funcionariam na prática. Esperamos ver mais pessoas ingressarem neste campo para desenvolverem conhecimento e habilidades que contribuam para a governança e políticas da IA que reduzam os riscos.

Resumo

Em suma: sistemas de IA avançados poderiam ter enormes impactos na humanidade e têm o potencial de apresentar riscos catastróficos globais. Há oportunidades no campo mais amplo da governança da IA de moldar positivamente o modo como a sociedade responde aos desafios apresentados pela tecnologia e se prepara para eles.

Dado o quanto que está em jogo, seguir este caminho de carreira poderia ser a opção de maior impacto de muitas pessoas. Mas elas devem ser muito cuidadosas para não exacerbar por acidente as ameaças, em vez de mitigá-las.

Por que este poderia ser um caminho de carreira de alto impacto

A inteligência artificial avançou rápido. Em 2022 e 2023, novos modelos de linguagem e geração de imagem ganharam atenção generalizada para as suas capacidades, ultrapassando referenciais anteriores.

E as aplicações desses modelos ainda são novas; com mais ajustes e integração à sociedade, os sistemas de IA existentes podem se tornar mais fáceis de usar e mais ubíquos.

Não sabemos onde todos esses desenvolvimentos nos levarão. Há razão para ser otimista sobre o fato de que a IA acabará nos ajudando a resolver muitos dos problemas do mundo, elevando os padrões de vida e ajudando-nos a construir uma sociedade mais próspera.

Mas também há riscos substanciais. A IA avançada poderia ser usada para causar muitos danos. E nos preocupamos que ela leve acidentalmente a uma catástrofe de grandes proporções, e talvez até cause a perda de poder ou extinção humana. Discutimos sobre os argumentos de que esses riscos existem em nosso perfil de problema em profundidade.

Por causa desses riscos, incentivamos as pessoas a trabalhar para descobrir modos de reduzir o perigo por meio da pesquisa e da engenharia.

Mas precisamos de uma gama de estratégias para a redução de riscos. Políticas públicas e a governança corporativa em particular, podem ser necessárias para garantir que a IA avançada seja amplamente benéfica e de baixo risco.

Governança geralmente se refere aos processos, estruturas e sistemas que efetuam a tomada de decisões para organizações e sociedades em um nível elevado. No caso da IA, esperamos que as estruturas de governança que mais importam, sejam governos e organizações que desenvolvem IA, assim como organizações internacionais e talvez governos subnacionais.

Alguns objetivos da governança da IA poderiam incluir:

Prevenir a implementação de quaisquer sistemas de IA que apresentem uma ameaça significativa e direta de catástrofe.
Mitigar o impacto negativo da tecnologia de IA sobre outros riscos catastróficos, como as armas nucleares ou a biotecnologia.
Orientar a integração da tecnologia de IA à nossa sociedade e economia, com danos limitados e para a vantagem de todos.
Reduzir os riscos de uma “corrida armamentista de IA” entre nações e entre empresas.
Garantir que os desenvolvedores de IA avançada sejam incentivados a ser cooperativos e preocupados com a segurança.
Desacelerar o desenvolvimento e a implementação de novos sistemas, se os avanços superarem a nossa capacidade de mantê-los seguros e sob controle.

Precisamos de uma comunidade de especialistas que entendam políticas e sistemas de IA modernos, assim como as severas ameaças e soluções potenciais. Este campo ainda é jovem e muitos dos caminhos dentro dele não são claros e não têm garantia de dar certo. Mas há caminhos profissionais relevantes que lhe fornecerão capital de carreira valioso para uma variedade de posições e tipos de funções.

O resto deste artigo explica que trabalhos nesta área podem funcionar, como você pode desenvolver capital de carreira e testar a sua adequação, e alguns lugares promissores onde você pode trabalhar.

Quais tipos de trabalho podem contribuir para a governança da IA?

Há uma variedade de maneiras de buscar estratégias de governança da IA, e conforme o campo se torna mais maduro, os caminhos tendem a se tornar mais claros e mais estabelecidos.

De forma geral, não achamos que as pessoas no início de suas carreiras deveriam buscar um emprego específico de alto impacto. Elas devem, em vez disso, procurar desenvolver habilidades, experiência, conhecimento, juízo crítico, conexões e credenciais — o que chamamos de capital de carreira — que elas possam usar posteriormente para ter impacto.

Isso pode envolver seguir uma trajetória de carreira padrão ou circular por diferentes tipos de funções. Às vezes, você só precisa se candidatar para muitas funções e testar a sua adequação para vários tipos de trabalho, antes de saber no que você será bom. O mais importante é que você deveria tentar ficar excelente em algo para o qual você tem uma forte adequação pessoal e que lhe permitirá contribuir para a resolução de problemas urgentes.

No espaço da governança da IA, vemos pelo menos seis amplas categorias de trabalho que achamos que são importantes:

Pensar sobre os diferentes tipos de capital de carreira que são úteis para as categorias de trabalho que apelam a você, pode sugerir alguns próximos passos no seu caminho. (Discutimos abaixo como avaliar a sua adequação e ingressar neste campo.)

Pode ser que você queira circular entre essas diferentes categorias de trabalho em diferentes pontos na sua carreira. Você também pode testar a sua adequação para várias funções, aconseguindo estágios, bolsas, empregos de nível iniciante, posições temporárias ou até fazer pesquisa independente, sendo que tudo isso pode servir como capital de carreira para uma gama de caminhos.

Também analisamos caminhos de carreira em pesquisa em segurança técnica da IA e engenharia, segurança da informação e conhecimento em hardware de IA, que podem ser cruciais para reduzir riscos da IA. Esses campos podem também ter um papel significativo em uma pauta de governança eficaz. Pessoas comprometidas em seguir uma carreira em governança da IA devem se familiarizar com esses assuntos também.

Trabalho no governo

Arranjar uma função no governo poderia ajudar você a ter um papel importante no desenvolvimento, promulgação e aplicação de políticas de IA.

Em geral, esperamos que o governo federal dos EUA venha a ser o ator mais importante na governança da IA para o futuro previsível. Isso se deve à sua influência global e sua jurisdição da indústria da IA, incluindo as empresas de IA mais proeminentes como a Anthropic, a OpenAI e a Google DeepMind. Também tem jurisdição sobre partes fundamentais da cadeia de suprimento de chips. Muito deste artigo foca nas políticas e governo dos EUA. [2]

Mas outros governos e instituições internacionais importam também. Por exemplo, o governo do Reino Unido, União Europeia, China e outros, podem apresentar oportunidades para trabalhos impactantes de governança da IA. Alguns governos nos EUA a nível estadual, como a Califórnia, podem ter oportunidades de impacto e ganho de capital de carreira.

O que este trabalho envolveria? As seções abaixo discutem como ingressar no trabalho de políticas dos EUA e quais áreas do governo você pode buscar.

Em 2023, tanto o governo dos EUA, e quanto o do Reino Unido anunciaram novos institutos para segurança da IA, ambos os quais devem fornecer oportunidades valiosas de capital de carreira e impacto potencial.

Mas no nível mais amplo, as pessoas interessadas em moldar positivamente as políticas de IA devem ganhar habilidades e experiência para trabalhar em áreas do governo com alguma conexão com políticas de IA e tecnologias emergentes.

Isso inclui funções em: poderes legislativos, regulamentação doméstica, segurança nacional, diplomacia, fundos e orçamentos e outras áreas relativas a políticas.

Se você pode conseguir uma função já trabalhando diretamente nesta questão, como em um dos institutos de segurança da IA ou trabalhando como legislador focado em IA, isso seria uma grande oportunidade.

Do contrário, você deve buscar aprender, tanto quanto puder, sobre como políticas funcionam e quais funções no governo poderiam te permitir ter o maior impacto. Tente se estabelecer como alguém que seja bem-informado sobre o panorama das políticas de IA. Ter quase qualquer função no governo que toque em algum aspecto da IA, ou ter alguma credencial impressionante relacionada à IA, pode ser suficiente para ir bem longe.

Um modo de avançar a sua carreira no governo em um tema particular é o que alguns chamam de “ganhar visibilidade”. Isso envolve usar a sua posição para aprender sobre o panorama e se conectar com os atores e instituições na área de políticas. Você pode querer se envolver socialmente com outros indivíduos no campo das políticas, ser convidado para reuniões com outras autoridades e agências, e ser solicitado para dar contribuições em decisões. Se você puder se estabelecer como um especialista bem considerado sobre um aspecto importante, porém negligenciado da questão, você terá uma chance melhor de ser incluído nas discussões e eventos cruciais.

Trajetórias de carreira dentro do governo podem ser decompostas aproximadamente assim:

Trajetória-padrão no governo: isto envolve entrar para o governo em um nível relativamente baixo e escalar a escada da senioridade. Para o maior impacto, idealmente você alcançaria níveis seniores ficando por lá, formando relacionamentos, ganhando habilidades e experiência e sendo promovido. Você pode circular entre agências, departamentos ou poderes.
Capital de carreira especializado: você também pode entrar e sair do governo durante a sua carreira. As pessoas nesta trajetória, também trabalham em ONGs, em centros de pesquisa, no setor privado, com contratantes governamentais, partidos políticos e outras organizações. Mas elas focam principalmente em tornarem-se especialistas em um tema, como a IA. Pode ser mais difícil conseguir senioridade assim, mas o valor do conhecimento pode às vezes ser maior do que o valor da senioridade.
Trabalho de impacto direto: algumas pessoas entram para empregos no governo sem um plano mais longo para construir capital de carreira, porque veem uma oportunidade para impacto direto e imediato. Isso pode envolver ser selecionado para liderar uma comissão importante ou prover contribuições valiosas para um projeto urgente. Esta não é necessariamente uma estratégia em torno da qual você possa planejar a sua carreira, mas é bom estar ciente dela, como uma opção que pode valer a pena escolher em algum ponto.

Leia mais sobre como avaliar a sua adequação e começar a construir o capital de carreira relevante em nosso artigo sobre habilidades políticas e em políticas.

Pesquisa em políticas e estratégias de IA

Há ainda muita pesquisa a ser feita sobre estratégia e implementação da governança da IA. O mundo precisa de políticas mais concretas, que realmente começariam a lidar com as maiores ameaças; desenvolver tais políticas e aprofundar o nosso entendimento das necessidades estratégicas do espaço da governança da IA são altas prioridades.

Outras pesquisas relevantes envolvem pesquisa sobre a opinião do público e dos especialistas, pesquisa legal sobre a viabilidade de políticas propostas, pesquisa técnica sobre questões como governança computacional e pesquisa teórica de nível ainda mais alto sobre as implicações sociais da IA avançada.

Algumas pesquisas, como a feita pela Epoch AI, focam na previsão do percurso futuro dos desenvolvimentos da IA, que podem influenciar decisões de governança da IA.

No entanto, vários especialistas com quem falamos alertam que muitas pesquisas em segurança da IA podem se provar inúteis. Então, é importante ser ponderado e buscar informações de outros indivíduos no campo, sobre qual tipo de contribuição você pode fazer. Listamos várias organizações de pesquisa abaixo, que acreditamos que realizam pesquisas promissoras neste tema e poderiam prover orientação útil.

Uma abordagem para testar a sua adequação para este trabalho — especialmente no início — é escrever análises e respostas a trabalhos existentes sobre políticas de IA, ou investigar algumas questões nesta área que não tenham recebido muita atenção. Você pode então compartilhar o seu trabalho amplamente, enviá-lo para receber feedback de pessoas no campo e avaliar como você gosta do trabalho e como você pode contribuir para este campo.

Mas não passe tempo demais testando sua adequação sem fazer muito progresso e observe que alguns são mais capazes de contribuir quando trabalham em uma equipe. Então, não invista demais em trabalho independente, especialmente se houver poucos sinais de que isso está funcionando especialmente bem para você. Esse tipo de projeto pode fazer sentido talvez por um mês ou um pouco mais tempo, mas é improvável que seja uma boa ideia passar muito mais tempo do que isso, sem financiamento ou algum feedback bem encorajador de pessoas que trabalhem no campo.

Se você tem experiência para ser contratado como pesquisador, o trabalho em governança pode ser feito no meio acadêmico, organizações sem fins lucrativos e em think tanks (centros de pesquisa). Algumas agências do governo e comitês também realizam pesquisas valiosas.

Observe que as universidades e o meio acadêmico têm as suas próprias prioridades e incentivos, que muitas vezes não estão alinhados com a produção do trabalho mais impactante. Se você já é um pesquisador estabelecido com tenure (estabilidade no emprego), pode ser altamente valioso mudar para o trabalho em governança da IA — sua posição pode até te dar uma plataforma da qual você possa defender ideias importantes com credibilidade.

Mas se você só está começando uma carreira de pesquisa e deseja focar nesta questão, deve considerar com cuidado se o seu trabalho será melhor apoiado dentro do meio acadêmico. Por exemplo, se você sabe sobre um programa específico, com orientadores em particular, que ajudarão você a buscar respostas a questões cruciais neste campo, pode valer a pena fazer. Estamos menos inclinados a incentivar as pessoas neste caminho a buscar funções de trajetória acadêmica genéricas, sem uma ideia clara de como podem fazer pesquisa importante em governança da IA.

No entanto, diplomas avançados em políticas ou campos técnicos relevantes podem bem ser valiosos — veja mais discussões sobre isso na seção sobre como avaliar a sua adequação e começar.

Você também pode saber mais no nosso artigo sobre como tornar-se pesquisador.

Trabalho na indústria

Políticas internas e governança corporativa nos próprios maiores laboratórios de IA, também são importantes para a redução de riscos da IA.

No nível mais alto, decidir quem se senta nos conselhos corporativos, que tipo de influência esses conselhos têm e os incentivos que as organizações encaram, pode ter um grande impacto nas escolhas das empresas. Muitas dessas funções são preenchidas por pessoas com extensa experiência em gestão e liderança organizacional, como na fundação e direção de empresas.

Se você for capaz de se juntar a uma equipe em uma grande empresa, pode modelar ameaças e ajudar a desenvolver, implementar e avaliar propostas para a redução de riscos. E você pode construir um consenso em torno das melhores práticas, como uma forte segurança da informação, usando avaliadores externos para descobrir vulnerabilidades e comportamentos perigosos em sistemas de IA (equipe-vermelha) e testando as últimas técnicas dos campos da segurança da IA.

E se, como esperamos, as empresas de IA encararem uma crescente supervisão governamental, garantir o cumprimento das leis e regulamentações relevantes, terá uma alta prioridade. Comunicar-se com os atores governamentais e facilitar a coordenação de dentro das empresas, será um trabalho impactante.

Em geral, parece melhor para as empresas de IA serem altamente cooperativas umas com as outras [3] e com grupos externos que buscam minimizar os riscos. E essa não parece ser uma esperança esdrúxula: muitos líderes da indústria expressaram preocupação com riscos catastróficos e pediram a regulamentação da tecnologia de fronteira que estão criando.

Apesar disso, a cooperação provavelmente necessitará muito esforço. As empresas que estão criando poderosos sistemas de IA podem resistir a algumas políticas de redução de riscos, porque têm fortes incentivos para comercializar os seus produtos. Então, conseguir a adesão dos principais atores, aumentar a confiança e a partilha de informações e construir um consenso em torno de estratégias de segurança de alto nível, serão coisas valiosas.

Defesa e lobismo

Pessoas fora do governo e das empresas de IA podem influenciar e moldar as políticas públicas e a governança corporativa com a defesa e o lobismo.

Defesa é o termo geral para o esforço para promover certas ideias e moldar o discurso público, muitas vezes em torno de temas relacionados a políticas. O lobismo é um esforço mais direcionado que visa influenciar a legislação e as políticas, muitas vezes envolvendo-se com legisladores e outras autoridades.

Se você acredita que as empresas de IA podem estar dispostas a defender regulamentações benéficas em termos gerais, você pode trabalhar com elas para pressionar o governo a adotar políticas específicas. É plausível que as empresas de IA tenham o melhor entendimento da tecnologia, assim como dos riscos, modos de falha e caminhos de segurança, e assim estejam melhor posicionadas para informar os elaboradores de políticas.

Por outro lado, as empresas de IA podem ter interesse pessoal demais, na modelação das regulamentações para defenderem políticas amplamente benéficas de forma confiável. Se isso estiver correto, pode ser melhor criar ou juntar-se a organizações não ligadas à indústria — talvez sustentadas por doações — que possam tomar posições contrárias aos interesses comerciais.

Por exemplo, alguns creem que o melhor pode ser desacelerar deliberadamente ou interromper o desenvolvimento de modelos de IA cada vez mais poderosos. Os defensores poderiam fazer essa exigência das próprias empresas ou do governo. Mas fazer pressão para esse passo, pode ser difícil para aqueles envolvidos com as empresas que estão criando sistemas de IA avançados.

Também é possível que os melhores resultados sejam consequência de um equilíbrio de perspectivas de dentro e fora da indústria.

A defesa também pode:

Destacar abordagens negligenciadas, porém promissoras, à governança, que foram descobertas na pesquisa.
Facilitar o trabalho dos elaboradores de políticas demonstrando o apoio público pelas medidas de governança.
Construir pontes entre os pesquisadores, elaboradores de políticas, a mídia e o público ao comunicar ideias complicadas de um modo acessível.
Pressionar empresas a procederem com mais cautela.
Modificar o sentimento do público em torno da IA e desestimular o comportamento irresponsável da parte de atores individuais.

No entanto, observe que a defesa pode às vezes produzir efeitos negativos, porque prever como a informação será recebida não é algo simples. Tenha consciência de que:

Chamar atenção para uma área de causa, pode às vezes provocar uma reação negativa.
Certos estilos de retórica podem alienar as pessoas ou polarizar a opinião pública.
Difundir mensagens equivocadas pode desacreditar você e outros indivíduos.

É importante manter esses riscos em mente e consultar outros indivíduos (em particular aqueles que você respeita, porém podem discordar de você taticamente). E você deveria se educar profundamente sobre o tema antes de explicar para o público.

Você pode ler mais na seção sobre causar danos abaixo. Também recomendamos ler nosso artigo sobre modos como as pessoas que tentam fazer o bem pioram as coisas acidentalmente e como evitá-los. E você pode achar útil ler o nosso artigo sobre as habilidades necessárias para comunicar ideias importantes.

Estudo de caso: a declaração do Center for AI Safety

Em maio de 2023, o Center for AI Safety fez uma declaração dizendo: “mitigar o risco de extinção da IA deveria ser uma prioridade global, juntamente com outros riscos de escala social, como pandemias e guerra nuclear.”

O mais notável é que a declaração foi apoiada por mais de 100 signatários, inclusive líderes das maiores empresas de IA, entre elas a OpenAI, a Google Deepmind e a Anthropic, assim como os melhores pesquisadores no campo, Geoffrey Hinton e Yoshua Bengio. Também inclui um membro do Congresso dos EUA, outras autoridades públicas, economistas, filósofos, líderes empresariais, entre outros.

Essa declaração atraiu a atenção da mídia na época, e tanto o Primeiro Ministro do Reino Unido Rishi Sunak, quanto o secretário de imprensa da Casa Branca reagiram à declaração com expressões de preocupação. Tanto o governo do Reino Unido, quanto o governo dos EUA, avançaram subsequentemente com esforços para começar a lidar com esses riscos.

A declaração também ajudou a esclarecer e informar o discurso sobre o risco da IA, como evidência de que estar preocupado com catástrofes na escala da extinção humana não é uma posição marginal.

Auditoria e avaliação de terceiros

Se medidas regulatórias são dispostas para reduzir os riscos da IA avançada, algumas agências e organizações externas precisam auditar empresas e sistemas para garantir que as regulamentações estejam sendo seguidas.

Os governos frequentemente utilizam auditorias de terceiros quando estão regulamentando, porque carecem do conhecimento que o setor privado possui. Não conhecemos muitas oportunidades disponíveis nesse tipo de função para a auditoria relacionada à IA, mas tais funções têm um papel crucial em uma estrutura de governança eficaz da IA.

As empresas de IA e os sistemas de IA que elas criam, podem ser sujeitos a auditorias e avaliação por preocupações de segurança.

Uma organização sem fins lucrativos, a Model Evaluation and Threat Research (METR, conhecida anteriormente como ARC Evals), tem estado na dianteira do trabalho para avaliar capacidades de modelos avançados de IA.[4] No início de 2023, a organização fez parceria com duas das principais empresas de IA, a OpenAI e a Anthropic, para avaliar as capacidades das últimas versões dos seus modelos de chatbot, antes do seu lançamento. Ela buscou determinar se os modelos tinham alguma capacidade perigosa em um ambiente controlado.

As empresas cooperaram voluntariamente com o METR para esse projeto, mas em algum ponto no futuro, essas avaliações podem ser exigidas por lei.

Outros tipos de auditoria e avaliação podem ser exigidos também. O METR disse que pretende desenvolver métodos para determinar quais modelos estão adequadamente alinhados — isto é, que se comportarão conforme seus usuários pretendiam que eles se comportassem — antes do lançamento.

Os governos também podem querer empregar auditores para avaliar a quanto poder computacional os desenvolvedores de IA têm acesso, as suas práticas de segurança da informação, os usos dos modelos, os dados usados para treinar modelos, entre outras coisas.

Adquirir habilidades técnicas e conhecimento para realizar esses tipos de avaliações, e juntar-se a organizações que receberão a tarefa de realizá-las, poderia ser o fundamento de uma carreira altamente impactante. Este tipo de trabalho provavelmente terá que ser facilitado por pessoas capazes de gerenciar relacionamentos complexos entre a indústria e o governo. Alguém com experiência em ambos os setores poderia ter muito a contribuir.

Alguns desses tipos de funções podem coincidir um pouco com o trabalho em pesquisa técnica em segurança da IA.

Trabalho e coordenação internacional

EUA-China

Para alguém com o perfil certo, trabalhar para melhorar a coordenação com a China, no desenvolvimento seguro da IA, poderia ser um caminho de carreira particularmente impactante.

O governo chinês tem sido um grande financiador no campo da IA, e o país tem empresas de IA gigantes, com o potencial de impulsionar avanços adiante.

Dadas as tensões entre os EUA e a China, e os riscos apresentados pela IA avançada, há muito a ser ganho pelo aumento da confiança, entendimento e coordenação entre os dois países. É provável que o mundo fique numa situação muito melhor, se pudermos evitar um conflito de grande porte entre grandes potências e se os atores mais significativos nas tecnologias emergentes puderem evitar exacerbar quaisquer riscos globais.

Temos uma análise de carreira distinta que entra em mais profundidade sobre caminhos de carreira de segurança e governança da IA relacionados à China.

Outros governos e organizações internacionais

Como dissemos, focamos predominantemente em políticas e funções governamentais dos EUA. Isso é em grande parte porque antecipamos que os EUA são agora, e provavelmente continuarão sendo, o ator mais crucial no tocante à regulamentação da IA, com uma grande ressalva sendo a China, discutida na seção anterior.

Mas muita gente interessada em trabalhar nesta questão, não pode ou não deseja trabalhar em políticas dos EUA, talvez porque vivem em outro país e não pretendem se mudar.

Muitos dos conselhos acima ainda se aplicam a essas pessoas, porque funções em pesquisa em governança e defesa da IA podem ser feitas fora dos EUA. [5] E embora não acreditemos que, em geral, sejam tão impactantes quanto o trabalho no governo dos EUA, oportunidades em outros governos e organizações internacionais podem ser complementares ao trabalho feito nos EUA.

O Reino Unido, por exemplo, pode apresentar outra forte oportunidade para o trabalho em políticas de IA, que complementaria o trabalho nos EUA. As maiores autoridades do Reino Unido expressaram interesses no desenvolvimento de políticas em torno da IA, em uma nova agência internacional e na redução de riscos extremos. E o governo do Reino Unido anunciou a criação de uma nova Força-Tarefa do Modelo Fundamental de IA em 2023 para mover adiante a pesquisa em segurança.

A União Europeia mostrou que as suas normas de proteção de dados — a Regulamentação Geral de Proteção de Dados (GDPR) — afeta o comportamento corporativo bem além das suas fronteiras geográficas. A UE também impulsionou a regulamentação da IA, e algumas pesquisas exploraram a hipótese de que as regulamentações da UE se estenderão para bem além do continente: o chamado “efeito Bruxelas”.

E qualquer país relativamente rico, poderia financiar alguma pesquisa em segurança da IA, embora muitas delas necessitem de acesso aos melhores talentos e tecnologia de ponta. Qualquer avanço significativo na pesquisa em segurança da IA poderia informar pesquisadores que trabalham nos modelos mais poderosos.

Outros países podem também desenvolver normas de responsabilidade para os criadores de sistemas de IA, que poderiam incentivar as corporações a proceder com cautela, antes de lançar os modelos.

E, em algum ponto, pode haver tratados e regulamentações internacionais de IA, assim como a comunidade internacional criou a Agência Internacional de Energia Atômica, a Convenção de Armas Biológicas e o Painel Intergovernamental sobre Mudanças Climáticas para mitigar e se coordenar em torno de outras ameaças catastróficas globais.

Esforços para coordenar os governos ao redor do mundo, para entender e compartilhar informações sobre as ameaças apresentadas pela IA, acabam sendo extremamente importantes em alguns cenários futuros. A Organização para Cooperação e Desenvolvimento Econômico, por exemplo, já criou o Observatório de Políticas de IA.

Outros países também podem ser capazes de facilitar a cooperação e reduzir tensões entre os Estados Unidos e a China, seja em torno da IA, ou outros pontos críticos potenciais.

Quais políticas e práticas reduziriam os maiores riscos?

As pessoas que trabalham com políticas de IA propuseram uma série de abordagens para reduzir os riscos, à medida que os sistemas de IA se tornam mais poderosos.

Não necessariamente endossamos todas as ideias abaixo, mas o que segue é uma lista de algumas abordagens de políticas proeminentes que poderiam ter como objetivo reduzir os maiores perigos da IA:⁵

Políticas de escalonamento responsável: algumas das principais empresas de IA já começaram a desenvolver estruturas internas para avaliar a segurança à medida que aumentam o tamanho e os recursos de seus sistemas. Essas estruturas introduzem salvaguardas que se destinam a se tornar cada vez mais rigorosas, à medida que os sistemas de IA se tornam potencialmente mais perigosos e garantem que as capacidades dos sistemas de IA não ultrapassem a capacidade das empresas de manter os sistemas seguros. Muitos argumentam que essas políticas internas não são suficientes para a segurança, mas podem representar um passo promissor para reduzir o risco. Você pode ver as versões de tais políticas da Anthropic, Google DeepMind e OpenAI.
Padrões e avaliação: os governos podem desenvolver padrões de referência e protocolos de teste em todo o setor para avaliar se os sistemas de IA representam grandes riscos. A organização sem fins lucrativos METR e o AI Safety Institute do Reino Unido estão entre as organizações que atualmente desenvolvem essas avaliações para testar modelos de IA antes e depois de serem lançados. Isso pode incluir a criação de métricas padronizadas para os recursos de um sistema de IA e o potencial de causar danos, bem como sua propensão à busca de poder ou desalinhamento.
Casos de segurança: essa prática envolve exigir que os desenvolvedores de IA forneçam uma documentação abrangente, que demonstre a segurança e a confiabilidade de seus sistemas antes da implantação. Essa abordagem é semelhante aos casos de segurança usados em outros setores de alto risco, como aviação ou energia nuclear.⁶ Você pode ver a discussão dessa ideia em um artigo de Clymer et al e em uma postagem de Geoffrey Irving no AI Safety Institute do Reino Unido.
Padrões de segurança da informação: podemos estabelecer regras robustas para proteger dados, algoritmos e infraestrutura relacionados à IA contra acesso ou manipulação não autorizados, especialmente os pesos dos modelos de IA. A Rand divulgou um relatório detalhado analisando os riscos de segurança para as principais empresas de IA, principalmente por parte de agentes estatais.
Lei de responsabilidade: a lei existente já impõe alguma responsabilidade às empresas que criam produtos perigosos, ou causam danos significativos ao público, mas sua aplicação aos modelos de IA e seus riscos em particular não é clara. Esclarecer como a responsabilidade se aplica às empresas que criam modelos de IA perigosos, poderia incentivá-las a tomar medidas adicionais para reduzir os riscos. O professor de direito Gabriel Weil escreveu sobre essa ideia.
Governança de computação: os governos podem regulamentar o acesso e o uso de recursos de computação de alto desempenho necessários para o treinamento de grandes modelos de IA. As restrições dos EUA à exportação de chips de última geração para a China é um exemplo desse tipo de política, e outros são possíveis. As empresas também poderiam ser obrigadas a instalar recursos de segurança a nível de hardware, diretamente nos chips ou processadores de IA. Esses recursos poderiam ser usados para rastrear chips e verificar se eles não estão em posse de alguém que não deveria tê-los ou para outros fins. Você pode saber mais sobre esse tópico em nossa entrevista com Lennart Heim e neste relatório do Center for a New American Security.
Coordenação internacional: Promover a cooperação global na governança da IA para garantir padrões consistentes pode ser crucial. Isso poderia envolver tratados, organizações internacionais ou acordos multilaterais sobre o desenvolvimento e a implantação da IA. Discutimos algumas considerações relacionadas em nosso artigo sobre caminhos de segurança e governança de IA relacionados à China.
Adaptação social: pode ser extremamente importante preparar a sociedade para a integração generalizada da IA e os possíveis riscos que ela representa. Por exemplo, talvez seja necessário desenvolver novas medidas de segurança da informação para proteger dados cruciais em um mundo com hackers habilitados para IA. Ou talvez queiramos implementar controles fortes para evitar a transferência de decisões sociais importantes para sistemas de IA.⁷
Pausar o escalonamento, se for o caso: alguns argumentam que atualmente deveríamos pausar todo o escalonamento de modelos maiores de IA devido aos perigos que a tecnologia representa. Apresentamos algumas discussões sobre essa ideia em nosso podcast. Parece difícil saber se ou quando isso seria uma boa ideia. Se levada a cabo, ela poderia envolver acordos em todo o setor ou mandatos regulatórios para pausar os esforços de escalonamento.

Os detalhes, os benefícios e as desvantagens de muitas dessas ideias, ainda não foram totalmente definidos, portanto, é fundamental que façamos mais pesquisas e recebamos mais contribuições de partes interessadas bem informadas. E essa lista não é completa – provavelmente há outras intervenções políticas importantes e estratégias de governança que valem a pena ser buscadas.

Você também pode conferir uma lista de possíveis ideias de políticas de Luke Muehlhauser, da Open Philanthropy,⁸ um artigo sobre propostas de políticas de IA de Dylan Matthews, da Vox, e uma pesquisa de opinião de especialistas sobre as melhores práticas de segurança e governança de IA.

Exemplos de pessoas seguindo este caminho

Helen Toner

Helen estudou engenharia antes de conseguir um emprego na GiveWell e então na Open Philanthropy. A partir daí, ela explorou algumas áreas de causas diferentes e acabou se mudando para Pequim para aprender sobre a interseção entre a China e a IA. Quando o Center for Security and Emerging Technology (CSET) foi fundado, ela foi recrutada para ajudar a construir a organização. O CSET desde então se tornou um dos principais centros de pesquisas em Washington, DC sobre a interseção de tecnologias emergentes e segurança nacional.

SAIBA MAIS

Ben Garfinkel

Ben se graduou em Yale em 2016, onde se formou em física, matemática e filosofia. Após se graduar, Ben se tornou pesquisador no Centre for Effective Altruism e então se mudou para o Centre for the Governance of AI (GovAI) no Future of Humanity Institute da Universidade de Oxford (agora parte do Centre for Effective Altruism). Ele agora é o diretor interino por lá. Você pode olhar aqui para ver se o GovAI está contratando.
SAIBA MAIS

Como avaliar a sua adequação e começar

Se você está no início da sua carreira, você deveria focar primeiro em conseguir habilidades e capital de carreira de outro tipo, para contribuir com sucesso para a governança e a regulamentação bem-sucedidas da IA.

Você pode ganhar capital de carreira para funções de muitas maneiras. Falando de modo geral, trabalhar ou estudar em campos como política, direito, relações internacionais, comunicações e economia pode ser benéfico para entrar no trabalho em políticas.

E o próprio conhecimento em IA, adquirido ao estudar e trabalhar em aprendizado de máquina e segurança técnica da IA, ou campos potencialmente relacionados, como hardware de computadores e segurança da informação, deve também te dar uma grande vantagem.

Testando a sua adequação

Tente encontrar testes relativamente “baratos” para avaliar a sua adequação em diferentes caminhos. Isso poderia significar, por exemplo, arranjar um estágio de políticas, candidatar-se para uma bolsa, fazer um curto período de pesquisa independente ou ter aulas ou cursos de aprendizado de máquina técnico ou engenharia de computadores.

Pode também envolver falar com pessoas que fazem um trabalho e descobrir qual é a experiência cotidiana do trabalho e quais habilidades são necessárias.

Todos esses fatores podem ser difíceis de prever com antecedência. Embora tenhamos agrupado “trabalho no governo” em uma única categoria acima, esse rótulo cobre uma ampla gama de funções. Descobrir a adequação certa pode levar anos e pode depender de fatores fora do seu controle, como os colegas com quem você trabalha de perto. Essa é uma razão do porque é útil construir um capital de carreira amplamente valioso que te dê mais opções.

Não subestime o valor de candidatar-se para muitas vagas relevantes no campo e no setor que você está buscando, para ver o que está acontecendo. É provável que você encare muita rejeição com essa estratégia, mas será capaz de avaliar melhor a sua adequação para funções, depois de ver quão longe você chega no processo. Isso pode lhe dar mais informações, do que elaborar palpites sobre se você tem a experiência certa.

Tente excluir certos tipos de trabalho, caso reúna evidências de que você não é adequado. Por exemplo, se você investir muito esforço tentando ingressar em universidades conceituadas ou instituições sem fins lucrativos, para fazer pesquisa em governança da IA, mas não conseguir nenhuma oferta promissora, ou receber pouco encorajamento, isso pode ser um sinal significativo de que é improvável que você prospere nesse caminho.

Isso não significa que você não tem nada a contribuir, mas a sua vantagem comparativa pode se encontrar em outro lugar.

Leia a seção do nosso guia de carreiras sobre encontrar um emprego que seja adequado para você.

Tipos de capital de carreira

Uma mistura de pessoas com conhecimento técnico e em políticas — e algumas pessoas com ambas — é necessária na governança da IA.

Embora qualquer um envolvido neste campo deva trabalhar para manter um entendimento de detalhes, tanto técnicos quanto de políticas, você provavelmente irá precisar começar focando ou em habilidades relativas a políticas, ou em habilidades técnicas para ganhar capital de carreira.

Esta seção cobre:

Muitos destes conselhos são voltados para funções nos EUA, embora possam ser relevantes em outros contextos.

Capital de carreira útil em termos gerais

O capítulo do guia de carreiras do 80.000 Horas sobre capital de carreira lista cinco componentes-chave que serão úteis em qualquer caminho: habilidades e conhecimento, conexões, credenciais, caráter e pé-de-meia.

Para a maioria dos empregos relacionados a políticas, habilidades sociais, conexões e — por falta de um termo melhor — habilidades políticas, serão um enorme recurso. Isso provavelmente pode ser aprendido até certo ponto , mas algumas pessoas podem descobrir que não possuem esses tipos de habilidades e não podem ou não querem adquiri-las.

Tudo bem, há muitos outros caminhos para ter uma carreira realizada e impactante, e pode haver algumas funções dentro deste caminho, que exigem essas habilidades numa medida muito menor. É por isso que testar a sua adequação é importante.

Leia a seção inteira do guia de carreiras sobre capital de carreira.

Capital de carreira relacionado a políticas

Para ganhar habilidades em políticas, você pode buscar uma educação em muitos campos relevantes, como ciência política, economia e direito.

Muitos programas de mestrado oferecem matérias específicas em políticas públicas, ciências e sociedade, estudos de segurança, relações internacionais e outros tópicos; ter um diploma de pós-graduação ou de direito lhe dará uma vantagem para muitas posições.

Nos EUA, ter um mestrado, um diploma de direito ou um doutorado, é particularmente útil se quiser escalar a burocracia federal. O nosso artigo sobre mestrados em políticas dos EUA fornece informações detalhadas sobre como avaliar as diversas opções.

Estágios em DC são um caminho promissor para testar a sua adequação para políticas e conseguir capital de carreira. Muitas instituições acadêmicas agora oferecem um programa estratégico “Semestre em DC”, que pode te permitir explorar posições no Congresso, agências federais ou centros de pesquisa.

O Serviço Federal do Estudante Virtual (VSFS) também oferece estágios remotos de meio período no governo. Estudantes neste programa trabalham em paralelo com seus estudos.

Tendo uma formação adequada, você pode arranjar posições de iniciante dentro de partes do governo e construir uma rede profissional enquanto desenvolve habilidades cruciais. Nos EUA, você pode se tornar um funcionário do congresso, ou arranjar uma posição em um departamento federal relevante, como o Departamento de Comércio, o Departamento de Energia ou o Departamento de Estado. Por outro lado, você pode ganhar experiência em think tanks (centros de pesquisa) (uma opção promissora se você tiver aptidão para a pesquisa). Alguns contratantes governamentais podem ser também uma ótima opção .

Muitas pessoas dizem que Washington, D.C. tem uma cultura singular, em particular para aqueles que trabalham dentro e em torno do governo federal. Há um grande foco em formar conexões, política burocrática, busca de status e tráfico de influência. Também nos dizem que, embora o mérito seja importante até certo ponto no trabalho no governo dos EUA, ele não é o principal determinante de quem é o mais bem-sucedido. As pessoas que acham que não se sentiriam capazes de estar nesse tipo de ambiente por muito tempo, ou confortáveis nele, deveriam considerar se outros caminhos seriam melhores.

No entanto, se você acha que pode gostar do trabalho no governo e com política, impressionar seus colegas e avançar a sua carreira, você pode ser bem adequado. Simplesmente ser capaz de prosperar no trabalho no governo, pode ser uma valiosa vantagem comparativa.

Cidadania dos EUA

A sua cidadania pode afetar quais oportunidades estão disponíveis para você. Muitas das funções de governança da IA mais importantes dentro dos EUA — particularmente no poder executivo e no Congresso — só estão abertas, ou pelo menos favorecerão fortemente, cidadãos americanos. Todas as funções-chave de segurança nacional que podem ser especialmente importantes estarão restritas àqueles com cidadania dos EUA, que é exigida para obter uma autorização de segurança.

Isso pode significar que aqueles que carecem de cidadania dos EUA irão querer considerar não buscar funções que a exijam. Por outro lado, eles poderiam planejar se mudar para os EUA e seguir o longo processo de tornarem-se cidadãos. Para mais detalhes sobre caminhos de imigração e tipos de trabalho em políticas disponíveis para não cidadãos, veja esta postagem sobre trabalhar em políticas dos EUA como nacional estrangeiro. Considere também participar da loteria anual dos vistos de diversidade, se for de um país elegível, visto que isso exige pouco esforço e te permite ganhar um visto de residência dos EUA se tiver sorte.

Capital de carreira técnico

Experiência técnica em aprendizado de máquina, hardware de IA e campos relacionados, pode ser um recurso valioso para uma carreira de governança da IA. Logo, será muito útil se você tiver estudado uma área relevante para um diploma de graduação ou pós-graduação, ou tiver feito um percurso produtivo de estudo independente.

Temos um guia para carreiras de segurança da IA, que explica como aprender o básico do aprendizado de máquina.

Trabalhar em uma empresa ou laboratório de IA em funções técnicas, ou em outras empresas que usam sistemas e hardware de IA avançados, pode também fornecer um capital de carreira significativo em caminhos de políticas de IA. Leia a nossa análise de carreira que discute os prós e contras de trabalhar numa das melhores empresas de IA.

Também temos uma análise de carreira distinta sobre como se tornar um especialista em hardware de IA poderia ser valioso no trabalho em governança.

Muitos políticos e elaboradores de políticas são generalistas, visto que suas funções requerem que trabalhem em muitas temáticas e em diferentes tipos de problemas. Isso significa que eles precisarão confiar em conhecimento especializado, ao criar e implementar políticas sobre tecnologias de IA que não compreendem plenamente. Então, se você puder lhes fornecer essa informação, especialmente se for competente em comunicá-la claramente, você tem o potencial de preencher funções influentes.

Algumas pessoas que podem inicialmente ter se interessado em seguir a carreira de segurança da IA, mas que descobriram que não estão mais interessadas nesse caminho ou que descobriram oportunidades de políticas mais promissoras, podem também decidir que podem mudar efetivamente para uma carreira orientada para políticas.

É comum para pessoas com formação em STEM (ciências, tecnologia, engenharia e matemática) ingressar e ter sucesso em carreiras de políticas dos EUA. Pessoas com credenciais técnicas que podem ser consideradas bem modestas — como um bacharelado em ciência da computação ou um mestrado em aprendizado de máquina — muitas vezes descobrem que o seu conhecimento é altamente valorizado em Washington, DC.

A maioria dos empregos em DC não têm requisitos universitários específicos, de modo que você não precisa ter um diploma de políticas para trabalhar em DC. Funções que lidam especificamente com políticas de ciência e tecnologia são particularmente bem adequadas para pessoas com formações técnicas, e pessoas que contratam para essas funções irão valorizar credenciais mais elevadas como um mestrado ou, melhor ainda, um diploma terminal, como um doutorado.

Há muitos programas de bolsa que visam especificamente apoiar pessoas com formações em STEM para ingressar em carreiras de políticas. Algumas estão listadas abaixo.

O trabalho em políticas não será a coisa certa para todos: muitos especialistas técnicos podem não ter a disposição ou as habilidades certas. As pessoas em caminhos de políticas, com frequência se beneficiam de fortes habilidades sociais e de escrita, assim como se sentem confortáveis navegando em burocracias e trabalhando com pessoas com motivações e visões de mundo bem diferentes.

Ernest Moniz: da expertise científica para a liderança política

Ernest Moniz: from scientific expertise to political leadership portrait

Ernest Moniz começou sua carreira como físico, tornando-se professor no MIT nos anos 1970. Ganhou experiência em gestão, como chefe de departamento e líder do conselho de pesquisa do MIT e, nos anos 1990, se tornou o diretor associado para a ciência no Escritório de Ciência e Tecnologia e Políticas na Casa Branca.

Ele então se tornou subsecretário no Departamento de Energia, o que o preparou para finalmente se tornar Secretário de Energia no governo do Presidente Barack Obama, uma função altamente influente, na qual ele utilizou o seu conhecimento técnico em negociações internacionais sobre armas nucleares.

O Secretário Moniz mostra quão longe alguém com uma formação técnica pode chegar, em termos de influenciar políticas; mas claro que você não precisa ser professor no MIT ou liderar uma agência federal para ter um impacto.

Outras formas específicas de capital de carreira

Há outras maneiras de ganhar capital de carreira útil que poderia ser aplicado a este caminho de carreira.

Se você tiver ou adquirir ótimas habilidades de comunicação como, digamos, jornalista ou ativista, essas habilidades poderiam ser muito úteis na defesa ou no lobismo em torno da governança da IA.
- Especialmente visto que a defesa em torno de questões de IA ainda está em seus estágios iniciais, é provável que precisemos de pessoas com experiência, fazendo defesa em outras áreas de causa importantes para compartilhar o seu conhecimento e habilidades.
Acadêmicos com conjuntos de habilidades relevantes são às vezes trazidos para governos por períodos limitados para servir como conselheiros em agências como o Escritório de Ciência e Tecnologia dos EUA. Isso pode ou não ser o fundamento de uma carreira mais longa no governo, mas deveria dar a um acadêmico um insight sobre política e políticas.
Você pode trabalhar numa empresa ou laboratório de IA em funções não técnicas, ganhando uma familiaridade mais profunda com a tecnologia, o negócio e a cultura.
Você poderia trabalhar em campanhas políticas e se envolver em política partidária. Este é um modo de se envolver na legislação, aprender sobre políticas e ajudar legisladores impactantes, e você tem o potencial de ajudar a moldar o discurso em torno da governança da IA. Observe, no entanto, que há desvantagens de potencialmente polarizar a opinião pública em torno das políticas de IA (discutidas mais abaixo); e entrar na política partidária pode limitar o seu potencial de impacto, sempre que o partido ao qual tiver se afiliado não tiver o poder.
Você mesmo poderia até tentar se tornar uma autoridade eleita, embora seja algo competitivo. Se você seguir este caminho, certifique-se de encontrar assessores dignos de confiança e bem-informados para construir conhecimento em IA, visto que políticos têm muitas outras responsabilidades e não podem focar muito em qualquer questão em particular.
Você pode focar em desenvolver conjuntos específicos de habilidades que possam ser valiosas na governança da IA, como a segurança da informação, o trabalho em inteligência, a diplomacia com a China, etc.
- Outras habilidades: habilidades organizacionais, diplomáticas, burocráticas, de gestão e de empreendedorismo também provavelmente se provarão altamente valiosas neste caminho de carreira. Pode haver novas agências de auditoria para serem criadas ou regimes de políticas para implementar. Alguém que tenha trabalhado em altos níveis em outras indústrias de alto risco, iniciado uma empresa influente ou coordenado negociações complicadas entre vários grupos, traria habilidades importantes para a mesa.

Quer conselhos individualizados sobre seguir este caminho?

Por este ser um dos nossos caminhos prioritários, se você acha que este caminho pode ser uma grande opção para você, estaríamos especialmente empolgados para aconselhar você sobre os próximos passos, individualmente. Podemos ajudar você a considerar as suas opções, fazer conexões com outros indivíduos que trabalham no mesmo campo e possivelmente até ajudar você a encontrar empregos e oportunidades de financiamento.

CANDIDATE-SE PARA FALAR COM A NOSSA EQUIPE

Onde este trabalho pode ser feito?

Visto que uma governança da IA bem-sucedida necessitará de trabalho de governos, da indústria e de outras partes, haverá muitos empregos e lugares onde trabalhar, para as pessoas neste caminho. O panorama provavelmente mudará com o tempo, de modo que, se você só está começando neste caminho, os lugares que parecem mais importantes podem ser diferentes até o momento em que você mudar para a utilização do seu capital de carreira para fazer progresso no problema.

Dentro do governo dos EUA, por exemplo, não está claro quais órgãos serão mais impactantes no que se refere às políticas de IA em cinco anos. Provavelmente dependerá de escolhas que forem feitas até lá.

Dito isso , parece útil apresentar o nosso entendimento sobre quais partes do governo são geralmente influentes na governança da tecnologia e estão mais envolvidas nesse momento , para ajudar você a se orientar. Ganhar experiência relacionada à IA no governo ainda deve ser útil se você quiser mudar para uma função mais impactante relacionada à IA no futuro, quando as áreas de maior impacto forem mais claras.

Também daremos a nossa noção atual dos atores importantes fora do governo onde você pode ser capaz de construir capital de carreira e potencialmente ter um grande impacto.

Observe que esta lista é, de longe, a mais detalhada sobre locais de trabalho no governo dos EUA. Gostaríamos de expandi-la para incluir mais opções com o tempo. (Observe: o fato de que uma opção não está nesta lista não deveria significar que não a recomendamos ou sequer que seria menos impactante do que os lugares listados.)

Temos mais detalhes sobre outras opções em análises de carreira distintas (e mais antigas), incluindo as seguintes:

Aqui estão alguns lugares onde alguém poderia fazer trabalhos promissores ou ganhar capital de carreira valioso:

Congresso dos EUA

No Congresso, você pode trabalhar diretamente para legisladores, ou como funcionário em comitês legislativos. Funções de funcionário nos comitês, são geralmente mais influentes na legislação e mais prestigiosas, mas por essa razão, mais competitivas. Se não tiver tanta experiência, você poderia começar em um emprego de nível iniciante, na equipe de um legislador e então tentar posteriormente fazer uma transição, fazendo parte da equipe de um comitê.

Algumas pessoas com quem falamos esperam que os seguintes comitês — e alguns dos seus subcomitês — na Câmara e no Senado sejam os mais impactantes no campo da IA. Você pode buscar trabalhar nesses comitês ou para legisladores que tenham uma influência significativa neles.

Câmara de Representantes

Comitê da Câmara de Energia e Comércio
Comitê Judiciário da Câmara
Comitê da Câmara de Espaço, Ciência e Tecnologia
Comitê da Câmara de Verbas
Comitê da Câmara de Serviços Armados
Comitê da Câmara de Relações Exteriores
Comitê Seleto Permanente da Câmara de Inteligência

Senado

Comitê do Senado de Comércio, Ciência e Transporte
Comitê Judiciário do Senado
Comitê do Senado de Relações Exteriores
Comitê do Senado de Segurança Nacional e Relações Governamentais
Comitê do Senado de Verbas
Comitê do Senado de Serviços Armados
Comitê Seleto Permanente do Senado de Inteligência
Comitê do Senado de Energia & Recursos Naturais
Comitê do Senado de Serviços Bancários, Habitação e Relações Urbanas

O Serviço de Pesquisa Congregacional, uma agência legislativa não partidária, também oferece oportunidades para conduzir pesquisas que impactam o projeto de políticas entre todos os assuntos.

Poder executivo dos EUA

Em geral, não recomendamos aceitar empregos de baixa hierarquia no poder executivo para este caminho, porque é muito difícil progredir na sua carreira pela burocracia nesse nível. É melhor conseguir um diploma de direito ou um diploma de pós-graduação, que podem te dar a oportunidade de começar com mais senioridade.

A influência de diferentes agências sobre a regulamentação da IA se modifica com o tempo. Por exemplo, no final de 2023, o governo federal anunciou a criação do Instituto dos EUA de Segurança da Inteligência Artificial, que pode ser um lugar particularmente promissor no qual trabalhar.

Seja qual agência for a mais influente no futuro, será útil acumular capital de carreira trabalhando efetivamente no governo, criando uma rede profissional, aprendendo sobre o trabalho cotidiano em políticas e aprofundando o seu conhecimento de todas as coisas relativas à IA.

Temos muitas incertezas sobre este tópico, mas aqui estão algumas agências que podem ter uma influência significativa sobre pelo menos uma dimensão crucial das políticas de IA, até o momento em que escrevemos isto:

Escritório Executivo do Presidente (EOP)
- Escritório de Gestão e Orçamento (OMB)
- Conselho de Segurança Nacional (NSC)
- Escritório de Políticas de Ciência e Tecnologia (OSTP)
Departamento de Estado
- Escritório do Emissário Especial para Tecnologias Críticas e Emergentes (S/TECH)
- Agência de Políticas Digitais e de Ciberespaço (CDP)
- Agência de Controle, Verificação e Cumprimento de Armas (AVC)
- Escritório de Desafios de Segurança Emergente (ESC)
Comissão Federal de Comércio
Departamento de Defesa (DOD)
- Escritório-Chefe Digital e de Inteligência Artificial (CDAO)
- Escritório de Políticas de Capacidades Emergentes
- Agência de Projetos de Pesquisa Avançada em Defesa (DARPA)
- Administração de Segurança de Tecnologia de Defesa (DTSA)
Comunidade de Inteligência (IC)
- Atividade de Projetos de Pesquisa Avançada em Inteligência (IARPA)
- Agência de Segurança Nacional (NSA)
- Funções de conselheiro científico dentro de várias agências que compõem a comunidade de inteligência
Departamento de Comércio (DOC)
- A Agência de Indústria e Segurança (BIS)
- O Instituto Nacional de Normas e Tecnologia (NIST)
  - O Instituto dos EUA de Segurança da Inteligência Artificial
- Escritório do Programa CHIPS
Departamento de Energia (DOE)
- Escritório de Inteligência Artificial e Tecnologia (AITO)
- Escritório do Programa de Pesquisa Avançada em Computação Científica (ASCR)
Fundação Nacional de Ciência (NSF)
- Direção para Ciência da Computação e da Informação e Engenharia (CISE)
- Direção para Tecnologia, Inovação e Parcerias (TIP)
Agência de Cibersegurança e Segurança de Infraestrutura (CISA)

Os leitores podem encontrar listagens de funções nesses departamentos e agências no quadro de empregos do governo federal, USAJOBS; uma lista mais selecionada de vagas para funções e capital de carreira de alto impacto em potencial está no quadro de empregos do 80.000 Horas.

Atualmente, não recomendamos tentar se juntar ao governo dos EUA por meio das forças armadas, se estiver buscando uma carreira em políticas de IA. Há muitos níveis hierárquicos para ascender , muitas pessoas competindo por posições e inicialmente você tem de passar todo o seu tempo fazendo trabalhos não relacionados à IA.

No entanto, ter experiência com as forças armadas já pode ser um capital de carreira valioso para outras funções importantes no governo, particularmente posições de segurança nacional. Consideraríamos este caminho mais competitivo para pessoal das forças armadas que já tenha estado em uma academia militar de elite, como a West Point, ou para oficiais comissionados de patente O-3 ou mais alta.

Bolsas dos EUA

Bolsas de políticas estão entre as melhores entradas para o trabalho em políticas. Oferecem muitos benefícios, como experiência com políticas em primeira mão, financiamento, treinamento, orientação e conexões. Embora muitas exijam diplomas avançados, algumas estão abertas a graduados universitários.

Centros de pesquisa dos EUA

Center for Security and Emerging Technology (CSET)
Center for a New American Security
RAND Corporation
The MITRE Corporation
Brookings Institution
Carnegie Endowment for International Peace
Center for Strategic and International Studies (CSIS)
Federation of American Scientists (FAS)

ONGs de pesquisa

Alignment Research Center
Open Philanthropy[1]
Rethink Priorities
Epoch AI
Centre for the Governance of AI (GovAI)
Center for AI Safety (CAIS)
Legal Priorities Project
Apollo Research
Centre for Long-Term Resilience
AI Impacts
Johns Hopkins Applied Physics Lab

Empresas de IA

A Anthropic é uma empresa de segurança da IA que trabalha na construção de sistemas de IA seguros e interpretáveis. Ela foca em pesquisa em segurança da IA empírica. Os cofundadores da Anthropic Daniela e Dario Amodei deram uma entrevista sobre o laboratório no podcast do Future of Life Institute. No nosso podcast, falamos com Chris Olah, que lidera a pesquisa da Anthropic em interpretabilidade, e Nova DasSarma, que trabalha em infraestrutura de sistemas na Anthropic.
A Google DeepMind provavelmente é o grupo de pesquisa maior e mais bem-conhecido desenvolvendo inteligência geral artificial, e é famosa pelo seu trabalho de criar o AlphaGo, o AlphaZero e o AlphaFold. Não foca principalmente em segurança, mas tem duas equipes focadas em segurança da IA, com a Equipe de IA Amplificada focada em alinhar sistemas de ponta existentes e a Equipe de Alinhamento focada em apostas de pesquisa para alinhar sistemas futuros.
A OpenAI, fundada em 2015, é um laboratório que está tentando construir inteligência artificial geral que seja segura e beneficie toda a humanidade. A OpenAI é conhecida por seus modelos de linguagem como o GPT-4. Como a DeepMind, não está focada principalmente em segurança, mas tem uma equipe de segurança e uma equipe de governança. Jan Leike (líder da equipe de alinhamento) apareceu no Podcast do 80.000 Horas para discutir sobre como ele pensa sobre alinhamento da IA.

(Leia a nossa análise de carreira que discute os prós e contras de trabalhar numa das melhores empresas de IA.)

Organizações internacionais

Organização para Cooperação e Desenvolvimento Econômico (OCDE)
Agência Internacional de Energia Atômica (AIEA)
União Internacional de Telecomunicações (UIT)
Organização Internacional de Normalização (ISO)
Instituições da União Europeia (p. ex. a Comissão Europeia)
Simon Institute for Longterm Governance

Nosso quadro de empregos apresenta oportunidades em políticas e segurança da IA.

VEJA TODAS AS OPORTUNIDADES

Como este caminho de carreira pode dar errado

Causando danos

Como discutimos num artigo sobre danos acidentais, há muitos modos de causar retrocessos num campo em que você está trabalhando quando está tentando fazer o bem, e isso poderia significar que o seu impacto é negativo em vez de positivo. (Você pode também querer ler o nosso artigo sobre carreiras nocivas.)

Há muito potencial de causar danos sem querer no campo emergente da governança da IA. Discutimos algumas possibilidades na seção sobre defesa e lobismo. Algumas outras possibilidades incluem:

Promover determinada política, em detrimento de uma política superior.
Comunicar sobre o risco da IA de uma maneira que intensifique as tensões geopolíticas.
Promulgar uma política sobre os riscos da IA que tenha o impacto oposto ao seu efeito pretendido.
Definir precedentes de políticas que poderiam ser explorados por atores perigosos no futuro.
Financiar projetos em IA que acabam sendo perigosos.
Passar a mensagem, implícita ou explicitamente, de que os riscos estão sendo gerenciados, quando não estão, ou que são menores do que de fato são.
Suprimir tecnologias que na verdade seriam extremamente benéficas para a sociedade

Temos que agir com informações incompletas, de modo que nunca está claro quando ou se, as pessoas na governança da IA estão caindo nessas armadilhas. Estar ciente de que elas são maneiras potenciais de causar danos, ajudará você a se manter alerta a essas possibilidades, e você deveria se manter aberto a mudar de rumo, se descobrir evidências de que as suas ações podem ser prejudiciais.

E recomendamos ter em mente as seguintes orientações gerais do nosso artigos sobre danos acidentais:

Esgotando-se

Achamos que este trabalho é excepcionalmente urgente e valioso, de modo que incentivamos os nossos leitores que podem estar interessados, a testar a sua adequação para o trabalho em governança. Mas entrar no governo, em particular, pode ser difícil. Algumas pessoas que temos aconselhado, entraram em funções políticas com a esperança de ter um impacto, mas se esgotaram e tiveram que seguir em frente.

Ao mesmo tempo, muitos profissionais de políticas acham seu trabalho significativo, interessante e variado.

Algumas funções no governo podem ser especialmente desafiadoras pelas seguintes razões:

O trabalho pode ter um ritmo bem rápido, envolvendo um nível relativamente alto de estresse e longas horas. Isso é particularmente verdadeiro no Congresso e em posições seniores no poder executivo e muito menos em centros de pesquisa e funções juniores em agências.
Pode levar um longo tempo para ingressar em posições com muita autonomia ou autoridade de tomada de decisões.
O progresso nas questões com que você se importa pode ser lento, e você muitas vezes tem que trabalhar em outras prioridades. Funcionários do congresso, em particular, tipicamente têm portfólios de políticas muito amplos.
O trabalho dentro de burocracias encara muitas limitações, o que pode ser frustrante.
Pode ser desmotivador trabalhar com pessoas que não compartilham os nossos valores. Mas observe que políticas podem selecionar pessoas altruístas, ainda que tenham crenças diferentes sobre como fazer o bem.
O trabalho não é tipicamente bem remunerado relativamente a posições comparáveis fora do governo.

Então, recomendamos falar com as pessoas nos tipos de posições que você pode querer ter, a fim de conseguir uma noção sobre se o caminho de carreira seria correto para você. E se você de fato escolher segui-lo, tome cuidado com sinais de que o trabalho pode estar tendo um efeito negativo em você e busque apoio de pessoas que compreendam o que importa para você.

Se você acabar querendo sair e fazer uma transição para um novo caminho, isso não é necessariamente uma perda ou uma razão para lamentar-se. Você provavelmente formará conexões importantes e aprenderá muita informação e habilidades úteis . Esse capital de carreira pode ser útil conforme você faz a transição para outra função, talvez buscando uma abordagem complementar à governança da IA.

O que significa o aumento na atenção à IA

Estamos preocupados com os riscos apresentados pela IA há anos. Com base nos argumentos de que essa tecnologia tem o potencial de causar uma catástrofe global, e tem em outros sentidos um impacto dramático nas gerações futuras, aconselhamos muitas pessoas a trabalhar para mitigar os riscos.

Os argumentos para o risco não são completamente conclusivos, na nossa opinião. Mas vale a pena levar os argumentos a sério, e dado o fato de que poucas pessoas no mundo pareciam estar dedicando muito tempo para sequer descobrirem quão grande era a ameaça ou como mitigá-la (enquanto ao mesmo tempo o progresso em tornar os sistemas de IA mais poderosos estava acelerando), concluímos que valia a pena classificá-lo entre as nossas maiores prioridades.

Agora que há uma maior atenção sobre a IA, alguns podem concluir que é menos negligenciado e menos urgente trabalhar no problema. No entanto, o aumento na atenção sobre a IA também torna muitas intervenções mais tratáveis do que era anteriormente, visto que os elaboradores de políticas e outros indivíduos estão mais abertos à ideia de criar regulamentações para a IA.

E embora estejam prestando mais atenção à IA agora, não está claro que ela será focada nos riscos mais importantes. Logo, provavelmente haverá ainda muito espaço para trabalhos urgentes e importantes, que moldem positivamente o desenvolvimento das políticas de IA.

Leia em seguida

Se está interessado neste caminho de carreira, recomendamos dar uma olhada em alguns dos artigos a seguir.

Mestrados em políticas dos EUA
Estas titulações são altamente valiosas para aqueles que esperam assumir funções importantes no governo federal dos EUA.
LEIA MAIS
Trabalho em políticas de IA dos EUA
O governo dos EUA provavelmente será um ator-chave no modo como a IA avançada será desenvolvida e utilizada na sociedade, seja direta ou indiretamente.
LEIA MAIS
Você deveria trabalhar em um dos principais laboratórios de IA?
Trabalhar numa das principais empresas de IA é uma importante opção de carreira a considerar, mas o impacto de qualquer função específica é complexo de avaliar.
LEIA MAIS
Prevenção de uma catástrofe relacionada à IA
A IA pode trazer enormes benefícios, se evitarmos os riscos.
LEIA MAIS

Saiba mais

Melhores recomendações

Recomendações a mais

Recursos do 80.000 Horas

Recursos de outros

Emerging Tech Policy Careers
Empregos que podem ajudar com o século mais importante de Holden Karnofsky
12 ideias provisórias para políticas de IA dos EUA de Luke Muehlhauser da Open Philanthropy
Por que e como os governos deveriam monitorar o desenvolvimento da IA de Jess Whittlestone e Jack Clark
Conselhos de carreira de segurança da IGA de Richard Ngo da OpenAI
O panorama da governança da IA longotermista no Effective Altruism forum
Four Battlegrounds: Power in the Age of Artificial Intelligence de Paul Scharre
The New Fire: War, Peace, and Democracy in the Age of AI de Ben Buchanan e Andrew Imbrie
Relatórios de centros de pesquisa, como do CSET, CNAS, CSIS
Estratégias governamentais, como o Plano Estratégico Nacional dos EUA de P&D de Inteligência Artificial de 2023 da Casa Branca, a Estrutura de Gestão de Risco da IA do NIST de 2023, o Caminho de Estratégia e Implementação de IA Responsáveis do DOD de 2022 e o Relatório Final da Comissão de Segurança Nacional sobre IA de 2021
Lições do Desenvolvimento da Bomba Atômica de Toby Ord
Coleção de trabalhos sobre “Você deveria focar na UE se está interessado em governança da IA por razões longotermistas / de risco x?” no Effective Altruism Forum

Notas e referências

Se você não é cidadão dos Estados Unidos, mas visa trabalhar em políticas dos EUA, achamos que este artigo oferece conselhos sólidos.
Pode haver boas razões a favor de as empresas cooperarem para reduzir os riscos, mas pode haver também obstáculos legais para algumas formas de cooperação: como leis antitruste. Descobrir como as empresas podem agir de forma responsável enquanto também cumprem todas as leis relevantes pode ser uma estratégia impactante.
O METR é aconselhado por Holden Karnofsky, cofundador da Open Philanthropy, que é a maior financiadora do 80.000 Horas.
Há algumas ressalvas importantes nessa afirmação. Muitas pesquisas em políticas e defesa de IA importantes parecem dadas a acontecer em centros de pesquisa situados em DC, e pode ser difícil fazer esse trabalho se você carecer do contexto local.
Essa lista não é exaustiva. É provável que existam muitas outras abordagens de políticas que seriam válidas e justificadas, mas que não têm como objetivo reduzir os maiores riscos. Embora essas políticas provavelmente valham a pena ser adotadas juntamente com as políticas que reduzem os riscos catastróficos, elas não são o foco principal deste artigo.
Veja, por exemplo: Bishop, P. G. & Bloomfield, R. E. (1998). A Methodology for Safety Case Development. Em: Redmill, F. & Anderson, T. (Eds.), Industrial Perspectives of Safety-critical Systems: Proceedings of the Sixth Safety-critical Systems Symposium, Birmingham 1998. . Londres, Reino Unido: Springer. ISBN 3540761896
Para obter mais informações, consulte: Bernardi, Jamie, et al. “Societal Adaptation to Advanced AI.” arXiv preprint arXiv:2405.10295 (2024).
A Open Philanthropy é a maior financiadora da 80,000 Hours.

Sumário

Por Cody Fenwick e a equipe da 80.000 Hours ·Última atualização em fevereiro de 2024Publicado em inglês pela primeira vez em julho de 2023