Riscos catastróficos de IA - Por Yoshua Bengio

Yoshua Bengio

Perguntas frequentes sobre riscos catastróficos de IA

Reconhecido mundialmente como um dos maiores especialistas em inteligência artificial, Yoshua Bengio é mais conhecido por seu trabalho pioneiro em aprendizagem profunda, o que lhe valeu o Prêmio AM Turing 2018, “o Prêmio Nobel da Computação”, com Geoffrey Hinton e Yann LeCun.

Tenho ouvido muitos argumentos de diferentes pessoas sobre os riscos catastróficos da IA. Eu queria esclarecer esses argumentos, primeiro para mim, porque eu realmente gostaria de ser convencido de que não precisamos nos preocupar. No entanto, compartilhá-los e abrir a discussão de forma mais ampla também pode ser útil. ...

Como preâmbulo, embora me interesse pelo tema há cerca de uma década, não sou um especialista em ética.

...

Abaixo, chamamos uma IA de super-humana se ela supera os humanos em uma vasta gama de tarefas, e chamamos uma IA de super-perigosa se for sobre-humana e representaria uma ameaça significativa à humanidade se tivesse objetivos cuja execução pudesse gerar resultados catastróficos. As habilidades que tornariam um super-humano superperigoso incluem raciocínio estratégico, persuasão e manipulação social, P&D de novas tecnologias, codificação e hacking, etc. ameaça, nem mesmo para superar os humanos em todas as tarefas para ser uma ameaça potencial, mas deve ficar claro que maior inteligência em mais domínios aumenta os riscos.

Antes de aprofundar esses argumentos, achei útil, começando por mim mesmo, passar por um “processo de pensamento”: em vez de tentar prever diretamente a possibilidade de futuras consequências catastróficas da IA, pode ser útil fazer a si mesmo perguntas sobre eventos mais bem definidos cuja sequência poderia gerar resultados catastróficos, daí a enquete abaixo, que convido todos, especialmente aqueles com experiência relevante, a tentarem por si mesmos. Agregar os resultados de vários grupos de pessoas também pode ser um exercício útil.

...

Enquete para especialistas em IA e políticas

Como há muita incerteza sobre o futuro, pode ser útil considerar a diversidade de opiniões sobre a probabilidade de diferentes eventos que podem levar a catástrofes para a humanidade devido a IAs desonestas. Considere as 4 afirmações a seguir:

R. Supondo que não haja mudança regulatória estrutural e relevante em nossa sociedade, em 10 anos saberemos como construir um sistema de IA sobre-humano a um custo acessível a uma empresa de médio porte.

B. Supondo que não haja mudança regulatória estrutural e relevante em nossa sociedade e A seja verdadeiro, alguém na Terra instruirá intencionalmente tal IA para alcançar algo cujas consequências seriam catastróficas se a IA fosse bem-sucedida em atingir seu objetivo.

C. Supondo que não haja mudança regulatória estrutural e relevante em nossa sociedade e A seja verdadeiro, alguém na Terra instruirá tal IA de maneiras que a tornariam autônoma e perigosamente desalinhada (por exemplo, ter um forte objetivo de autopreservação ou desenvolver subobjetivos de sua próprio, o que poderia produzir resultados catastróficos se alcançado).

D. Assumindo que nenhuma mudança regulatória estrutural e relevante em nossa sociedade, mesmo que A aconteça e depois B ou C aconteça, seremos capazes de nos proteger da catástrofe usando as medidas defensivas existentes.

Atribua um valor ou uma distribuição de probabilidade sobre as quatro probabilidades P A , P B , PC e P D (observando que todas são probabilidades condicionais) que as declarações correspondentes A, B e C (dado A) ou D (dado A e B ou C) são verdadeiras. Dadas essas quatro probabilidades, podemos quantificar aproximadamente o risco de resultados catastróficos com o produto P A x (1 – (1 – P B ) x (1 – P C )) x (1 – P D) no cenário de status quo, em que não levamos esses riscos potenciais a sério com suficiente antecedência (mas restringir o acesso por um fator de 1.000 reduziria a probabilidade geral em quase o mesmo).

Não sabendo com certeza essas probabilidades, devemos calcular a média do produto acima sobre seus valores retirados de uma distribuição, por exemplo, obtida por meio de uma pesquisa com especialistas. Você pode querer refazer a enquete depois de ler a discussão abaixo. Deve ficar claro ao fazer a pesquisa (e pensar no diálogo abaixo) que ela requer experiência em várias áreas de especialização, não apenas em IA.

Com isso em mente, vamos agora mergulhar neste difícil diálogo e seus argumentos, na forma de perguntas frequentes e respostas correspondentes. As perguntas são feitas do ponto de vista de quem acredita que não devemos nos preocupar com IAs superperigosas, enquanto as respostas são dadas do ponto de vista de quem se preocupa com essas possibilidades.

Refletindo sobre os argumentos abaixo, alguns dos principais pontos a favor de levar esse risco a sério podem ser resumidos da seguinte forma:

(1) muitos especialistas concordam que capacidades sobre-humanas podem surgir em apenas alguns anos (mas também podem levar décadas)

(2 ) as tecnologias digitais têm vantagens sobre as máquinas biológicas

(3) devemos levar a sério mesmo uma pequena probabilidade de resultados catastróficos da IA ​​superperigosa,

IA superperigosa

...

Humanos genocidas e o perigo de tecnologias muito poderosas

...

Alinhamento de IA

...

Muitos riscos de IA

...

Abertura e Democracia

...

Desespero, esperança e dever moral

...

O que podemos concluir desse diálogo?

Por favor, refaça a enquete para estimar a probabilidade de os eventos levarem a resultados catastróficos. Eles mudaram?

Passar por esses argumentos me deixa ainda mais convencido de que, justamente por causa de nossas divergências sobre o futuro da IA, precisamos traçar um enredo que abarque todas essas possibilidades. Isso também significa que todos os riscos da IA, incluindo a segurança da IA, requerem mais atenção, investimentos (em pesquisa técnica e política) e órgãos reguladores nacionais e internacionais trabalhando para o bem comum (não deixando isso para entidades comerciais e governos individuais ou seus militares). armas para se autorregular). É essencial reduzir a incerteza sobre os cenários e o efeito das contramedidas, o que requer um grande investimento em pesquisa sociotécnica. Precisamos antecipar e detalhar melhor os cenários possivelmente perigosos e elaborar políticas apropriadas para minimizar esses riscos, equilibrando objetivos parcialmente conflitantes (como acelerar o progresso no desenvolvimento de tecnologia de IA poderosa e útil versus limitar sua capacidade de prejudicar humanos). Apesar das probabilidades que podem parecer desanimadoras (em face das tentativas passadas e atuais de coordenação internacional em relação aos riscos globais), nosso dever moral individual é investir mais pensamentos, cuidado e ações em direções que equilibrem a minimização de danos futuros com a sociedade desenvolvimento e avanço.

Leia o texto completo em: https://yoshuabengio.org/2023/06/24/faq-on-catastrophic-ai-risks/