Evitando o precipício. Evitação de raça no desenvolvimento de… | pelo Instituto Roteiro da AI | Blog do Instituto de Roteiro da AI

Durante o workshop, foram levantadas várias questões importantes. Por exemplo, a necessidade de distinguir diferentes escalas de tempo para quais roteiros podem ser criados e diferentes pontos de vista (cenário bom/ruim, diferentes pontos de vista de atores, etc.)

Problema de escala de tempo

O roteiro é frequentemente um empreendimento subjetivo e, portanto, existem múltiplas abordagens para a construção de roteiros. Uma das primeiras questões encontradas durante o workshop foi em relação à variação do tempo. Um roteiro criado com marcos de curto prazo em mente será significativamente diferente dos roteiros de longo prazo, no entanto, ambas as linhas de tempo são interdependentes. Em vez de ter uma visão explícita dos roteiros de curto/longo prazo, pode ser benéfico, considerando-os probabilisticamente. Por exemplo, qual roteiro pode ser construído, se houvesse 25% de chance de o general IA ser desenvolvido nos próximos 15 anos e 75% de chance de atingir essa meta em 15 a 400 anos?

Considerando a raça de IA em diferentes escalas temporais provavelmente trará diferentes aspectos que devem ser focados. Por exemplo, cada ator pode antecipar a velocidade diferente de atingir o primeiro sistema geral de IA. Isso pode ter um impacto significativo na criação de um roteiro e precisa ser incorporado de maneira significativa e robusta. Por exemplo, o Menino que chorou lobo A situação pode diminuir a confiança estabelecida entre atores e enfraquecer os laços entre desenvolvedores, pesquisadores de segurança e investidores. Por sua vez, isso pode resultar na diminuição da crença no desenvolvimento do primeiro sistema geral de IA no momento apropriado. Por exemplo, uma baixa crença da chegada rápida da AGI pode resultar em calcular mal os riscos de implantação não segura da AGI por um ator desonesto.

Além disso, foram identificados dois aparentes “pedaços” de tempo que também resultam em problemas significativamente diferentes que precisam ser resolvidos. A era pré e pós-agi, ou seja, antes da primeira IA general ser desenvolvida, em comparação com o cenário depois que alguém possui essa tecnologia.

No workshop, a discussão se concentrou principalmente na era pré-agi, pois a prevenção da raça de IA deve ser um esforço preventivo, e não curativo. O primeiro exemplo de roteiro (Figura 1) apresentados aqui abrange a era pré-agi, enquanto o segundo roteiro (Figura 2), criado por Goodai antes do workshop, concentra -se no tempo em torno da criação da AGI.

Problema do ponto de vista

Identificamos uma extensa (mas não exaustiva) lista de atores que podem participar da raça de IA, ações tomadas por eles e por outros, bem como pelo ambiente em que a corrida ocorre e os estados entre os quais todo o processo faz a transição. A Tabela 1 descreve os constituintes identificados. O roteiro do mesmo problema de vários pontos de vista pode ajudar a revelar novos cenários e riscos.

Modelar e investigar dilemas de decisão de vários atores freqüentemente levou ao fato de que a cooperação poderia proliferar aplicações de medidas de segurança de IA e diminuir a gravidade da dinâmica de raça.

Questão de cooperação

A cooperação entre os muitos atores e o espírito de confiança e cooperação em geral provavelmente diminuirá a dinâmica da raça no sistema geral. Começando com uma cooperação de baixa participação entre diferentes atores, como co-desenvolvimento de talentos ou colaboração entre pesquisadores e indústria de segurança, deve permitir a construção incremental de confiança e melhor compreensão de questões enfrentadas.

A cooperação ativa entre especialistas em segurança e líderes da indústria de IA, incluindo a cooperação entre diferentes empresas em desenvolvimento de IA sobre as questões de segurança da IA, por exemplo, provavelmente resultará em laços mais estreitos e em uma propagação de informações positivas na cadeia, levando até os níveis regulatórios. A abordagem prática da pesquisa de segurança com protótipos de trabalho provavelmente produzirá melhores resultados do que a argumentação apenas teórica.

Uma área que precisa de mais investigação a esse respeito são formas de cooperação que podem parecer intuitivas, mas podem reduzir a segurança do desenvolvimento da IA ​​(1).

É natural que qualquer desenvolvedor sensato deseje impedir que seu sistema de IA cause danos ao seu criador e humanidade, seja uma IA estreita ou um sistema geral de IA. No caso de um ator maligno, presumivelmente há uma motivação pelo menos para não se machucar.

Ao considerar vários incentivos para o desenvolvimento focado na segurança, precisamos encontrar um incentivo robusto (ou uma combinação de tal) que levaria até atores desconhecidos a um benéfico a (g) i, ou pelo menos um (g) i que pode ser controlado (6).

Vinculando questões de escala de tempo e cooperação juntos

Para impedir que um cenário negativo aconteça, deve ser benéfico unir os diferentes horizontes de tempo (velocidade antecipada da chegada de AGI) e a cooperação. Problemas concretos na segurança da IA ​​(interpretabilidade, preconceito, etc.) (7) são exemplos de questões praticamente relevantes que precisam ser tratadas imediatamente e coletivamente. Ao mesmo tempo, os mesmos problemas estão relacionados ao horizonte presumivelmente mais longo do desenvolvimento da AGI. Apontar essas preocupações pode promover a cooperação de segurança da IA ​​entre vários desenvolvedores, independentemente de seu horizonte previsto da criação da AGI.

Formas de cooperação que maximizam a prática de segurança da IA

Incentivar a comunidade de IA a discutir e tentar resolver questões como a raça de IA é necessária, mas pode não ser suficiente. Precisamos encontrar incentivos melhores e mais fortes para envolver atores de um espectro mais amplo que vai além dos atores tradicionalmente associados ao desenvolvimento de sistemas de IA. A cooperação pode ser promovida por muitos cenários, como:

• A pesquisa de segurança da IA ​​é feita de forma aberta e transparente,
• O acesso à pesquisa de segurança é gratuito e anônimo: qualquer um pode ser assistido e pode se basear na base de conhecimento sem a necessidade de se divulgar ou no que está trabalhando, e sem medo de perder uma vantagem competitiva (uma espécie de “linha de apoio à segurança da IA”),
• Alianças são inclusivas para novos membros,
• Os novos membros são permitidos e incentivados a entrar gradualmente de programas e alianças de cooperação global, o que deve promover a construção robusta de confiança e minimizar o ônus de todas as partes envolvidas. Um exemplo de inclusão gradual em uma aliança ou um programa de cooperação é começar a cooperar em questões de baixa participação do ponto de vista da concorrência econômica, conforme observado acima.

Neste post, descrevemos nossos primeiros passos para enfrentar a corrida da IA. Congratulamo -nos com você em participar da discussão e nos ajudar a encontrar maneiras de minimizar o perigo de converter para um estado em que isso pode ser um problema.

O Instituto Roteiro da AI continuará trabalhando em roteiros de corrida de IA, identificando outros atores, reconhecendo perspectivas, escalas e horizontes de tempo, mas invisíveis e pesquisando cenários de mitigação de riscos. Continuaremos a organizar workshops para discutir essas idéias e publicar roteiros que criamos. Eventualmente, ajudaremos a construir e lançar o Evitação da AI Race Rodada do desafio geral da IA. Nosso objetivo é envolver a comunidade de pesquisa mais ampla e fornecer um background sólido para maximizar a possibilidade de resolver esse problema difícil.

Fique atento, ou melhor ainda, participe agora. Solana Token Creator