Um painel online revelou uma profunda divisão entre transumanistas e tecnólogos sobre a AGI.
O autor Eliezer Yudkowsky alertou que os sistemas de IA “caixa preta” atuais tornam a extinção um desfecho inevitável.
Max More argumentou que atrasar a AGI poderia custar à humanidade a melhor oportunidade de derrotar o envelhecimento e evitar uma catástrofe a longo prazo.
Uma forte divisão sobre o futuro da inteligência artificial desenrolou-se esta semana enquanto quatro tecnólogos e transumanistas proeminentes debatiam se construir uma inteligência artificial geral, ou AGI, salvaria ou destruiria a humanidade.
O painel, organizado pela ONG Humanity+, reuniu um dos mais vocais “Doomers” de IA, Eliezer Yudkowsky, que pediu o encerramento do desenvolvimento de IA avançada, juntamente com o filósofo e futurista Max More, o neurocientista computacional Anders Sandberg, e a Presidente Emérita da Humanity+ Natasha Vita‑More.
A discussão revelou desacordos fundamentais sobre se a AGI pode ser alinhada com a sobrevivência humana ou se a sua criação tornaria a extinção inevitável.
O problema da “caixa preta”
Yudkowsky alertou que os sistemas de IA modernos são fundamentalmente inseguros porque os seus processos internos de tomada de decisão não podem ser totalmente compreendidos ou controlados.
“Qualquer coisa de caixa preta provavelmente acabará com problemas notavelmente semelhantes aos da tecnologia atual,” avisou Yudkowsky. Ele argumentou que a humanidade precisaria avançar “muito, muito além dos paradigmas atuais” antes que a IA avançada pudesse ser desenvolvida de forma segura.
Inteligência artificial geral refere-se a uma forma de IA que pode raciocinar e aprender em uma vasta gama de tarefas, ao contrário de ser construída para um único trabalho, como geração de texto, imagem ou vídeo. A AGI é frequentemente associada à ideia da singularidade tecnológica, porque alcançar esse nível de inteligência poderia permitir que as máquinas se aprimorassem mais rapidamente do que os humanos conseguem acompanhar.
Yudkowsky apontou para a analogia do “maximizador de clipes de papel” popularizada pelo filósofo Nick Bostrom para ilustrar o risco. O experimento mental apresenta uma IA hipotética que converte toda a matéria disponível em clipes de papel, aprofundando sua fixação em um único objetivo às custas da humanidade. Adicionar mais objetivos, disse Yudkowsky, não melhoraria significativamente a segurança.
Referindo-se ao título do seu livro recente sobre IA, “Se alguém constrói, todos morrem,” ele afirmou, “Nosso título não é como se pudesse possivelmente matá-lo,” disse Yudkowsky. “Nosso título é, se alguém constrói, todos morrem.”
Mas More contestou a premissa de que uma cautela extrema oferece o resultado mais seguro. Ele argumentou que a AGI poderia oferecer à humanidade a melhor chance de superar o envelhecimento e doenças.
“Mais importante para mim, é que a AGI poderia nos ajudar a evitar a extinção de cada pessoa que está viva devido ao envelhecimento,” afirmou More. “Todos estamos morrendo. Estamos caminhando para uma catástrofe, um por um.” Ele alertou que a restrição excessiva poderia levar os governos a controles autoritários como a única maneira de impedir o desenvolvimento de IA em todo o mundo.
Sandberg posicionou-se entre os dois campos, descrevendo-se como “mais otimista” enquanto permanecia mais cauteloso do que os transumanistas otimistas. Ele relatou uma experiência pessoal na qual quase usou um grande modelo de linguagem para ajudar a projetar uma arma biológica, episódio que descreveu como “horrível.”
“Estamos chegando a um ponto em que amplificar atores maliciosos também vai causar uma grande confusão,” disse Sandberg. Ainda assim, argumentou que uma segurança parcial ou “aproximada” poderia ser alcançável. Ele rejeitou a ideia de que a segurança deve ser perfeita para ser significativa, sugerindo que os humanos poderiam pelo menos convergir em valores mínimos compartilhados, como a sobrevivência.
“Então, se você exigir segurança perfeita, não vai conseguir. E isso soa muito mal sob essa perspectiva,” afirmou. “Por outro lado, acho que podemos realmente ter uma segurança aproximada. Isso é bom o suficiente.”
Ceticismo quanto ao alinhamento
Vita-More criticou o debate mais amplo sobre o alinhamento, argumentando que o conceito assume um nível de consenso que não existe nem mesmo entre colaboradores de longa data.
“A noção de alinhamento é um esquema Pollyanna,” disse ela. “Nunca estará alinhado. Quero dizer, mesmo aqui, somos todos boas pessoas. Nos conhecemos há décadas, e não estamos alinhados.”
Ela descreveu a afirmação de Yudkowsky de que a AGI inevitavelmente mataria todos como um “pensamento absolutista” que não deixa espaço para outros desfechos.
“Tenho um problema com a afirmação abrangente de que todos morrem,” disse ela. “Abordando isso como futurista e pensadora pragmática, não deixa consequência, nem alternativa, nem outro cenário. É apenas uma afirmação direta, e me pergunto se reflete um tipo de pensamento absolutista.”
A discussão incluiu um debate sobre se uma integração mais próxima entre humanos e máquinas poderia mitigar o risco representado pela AGI—algo que o CEO da Tesla, Elon Musk, propôs no passado. Yudkowsky rejeitou a ideia de fundir-se com IA, comparando-a a “tentar fundir-se com seu forno de torradas.”
Sandberg e Vita-More argumentaram que, à medida que os sistemas de IA se tornam mais capazes, os humanos precisarão se integrar ou fundir mais estreitamente com eles para lidar melhor com um mundo pós-AGI.
“Toda essa discussão é uma verificação da nossa realidade como seres humanos,” disse Vita-More.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
A Inteligência Artificial salvará a humanidade—ou acabará com ela?
Resumo
Uma forte divisão sobre o futuro da inteligência artificial desenrolou-se esta semana enquanto quatro tecnólogos e transumanistas proeminentes debatiam se construir uma inteligência artificial geral, ou AGI, salvaria ou destruiria a humanidade. O painel, organizado pela ONG Humanity+, reuniu um dos mais vocais “Doomers” de IA, Eliezer Yudkowsky, que pediu o encerramento do desenvolvimento de IA avançada, juntamente com o filósofo e futurista Max More, o neurocientista computacional Anders Sandberg, e a Presidente Emérita da Humanity+ Natasha Vita‑More. A discussão revelou desacordos fundamentais sobre se a AGI pode ser alinhada com a sobrevivência humana ou se a sua criação tornaria a extinção inevitável. O problema da “caixa preta”
Yudkowsky alertou que os sistemas de IA modernos são fundamentalmente inseguros porque os seus processos internos de tomada de decisão não podem ser totalmente compreendidos ou controlados. “Qualquer coisa de caixa preta provavelmente acabará com problemas notavelmente semelhantes aos da tecnologia atual,” avisou Yudkowsky. Ele argumentou que a humanidade precisaria avançar “muito, muito além dos paradigmas atuais” antes que a IA avançada pudesse ser desenvolvida de forma segura. Inteligência artificial geral refere-se a uma forma de IA que pode raciocinar e aprender em uma vasta gama de tarefas, ao contrário de ser construída para um único trabalho, como geração de texto, imagem ou vídeo. A AGI é frequentemente associada à ideia da singularidade tecnológica, porque alcançar esse nível de inteligência poderia permitir que as máquinas se aprimorassem mais rapidamente do que os humanos conseguem acompanhar. Yudkowsky apontou para a analogia do “maximizador de clipes de papel” popularizada pelo filósofo Nick Bostrom para ilustrar o risco. O experimento mental apresenta uma IA hipotética que converte toda a matéria disponível em clipes de papel, aprofundando sua fixação em um único objetivo às custas da humanidade. Adicionar mais objetivos, disse Yudkowsky, não melhoraria significativamente a segurança.
Referindo-se ao título do seu livro recente sobre IA, “Se alguém constrói, todos morrem,” ele afirmou, “Nosso título não é como se pudesse possivelmente matá-lo,” disse Yudkowsky. “Nosso título é, se alguém constrói, todos morrem.” Mas More contestou a premissa de que uma cautela extrema oferece o resultado mais seguro. Ele argumentou que a AGI poderia oferecer à humanidade a melhor chance de superar o envelhecimento e doenças. “Mais importante para mim, é que a AGI poderia nos ajudar a evitar a extinção de cada pessoa que está viva devido ao envelhecimento,” afirmou More. “Todos estamos morrendo. Estamos caminhando para uma catástrofe, um por um.” Ele alertou que a restrição excessiva poderia levar os governos a controles autoritários como a única maneira de impedir o desenvolvimento de IA em todo o mundo. Sandberg posicionou-se entre os dois campos, descrevendo-se como “mais otimista” enquanto permanecia mais cauteloso do que os transumanistas otimistas. Ele relatou uma experiência pessoal na qual quase usou um grande modelo de linguagem para ajudar a projetar uma arma biológica, episódio que descreveu como “horrível.” “Estamos chegando a um ponto em que amplificar atores maliciosos também vai causar uma grande confusão,” disse Sandberg. Ainda assim, argumentou que uma segurança parcial ou “aproximada” poderia ser alcançável. Ele rejeitou a ideia de que a segurança deve ser perfeita para ser significativa, sugerindo que os humanos poderiam pelo menos convergir em valores mínimos compartilhados, como a sobrevivência. “Então, se você exigir segurança perfeita, não vai conseguir. E isso soa muito mal sob essa perspectiva,” afirmou. “Por outro lado, acho que podemos realmente ter uma segurança aproximada. Isso é bom o suficiente.” Ceticismo quanto ao alinhamento Vita-More criticou o debate mais amplo sobre o alinhamento, argumentando que o conceito assume um nível de consenso que não existe nem mesmo entre colaboradores de longa data. “A noção de alinhamento é um esquema Pollyanna,” disse ela. “Nunca estará alinhado. Quero dizer, mesmo aqui, somos todos boas pessoas. Nos conhecemos há décadas, e não estamos alinhados.”
Ela descreveu a afirmação de Yudkowsky de que a AGI inevitavelmente mataria todos como um “pensamento absolutista” que não deixa espaço para outros desfechos. “Tenho um problema com a afirmação abrangente de que todos morrem,” disse ela. “Abordando isso como futurista e pensadora pragmática, não deixa consequência, nem alternativa, nem outro cenário. É apenas uma afirmação direta, e me pergunto se reflete um tipo de pensamento absolutista.” A discussão incluiu um debate sobre se uma integração mais próxima entre humanos e máquinas poderia mitigar o risco representado pela AGI—algo que o CEO da Tesla, Elon Musk, propôs no passado. Yudkowsky rejeitou a ideia de fundir-se com IA, comparando-a a “tentar fundir-se com seu forno de torradas.” Sandberg e Vita-More argumentaram que, à medida que os sistemas de IA se tornam mais capazes, os humanos precisarão se integrar ou fundir mais estreitamente com eles para lidar melhor com um mundo pós-AGI. “Toda essa discussão é uma verificação da nossa realidade como seres humanos,” disse Vita-More.