Opinião | Por que a lenda da ficção científica Ted Chiang teme o capitalismo, não a inteligência artificial

[MUSIC PLAYING]

Eu sou Ezra Klein, e este é “The Ezra Klein Show”.

Por anos, mantive uma lista de convidados dos sonhos para o show. E enquanto essa lista existe, Ted Chiang está no comando. Ele é um escritor de ficção científica, mas isso o subestima. Escreva histórias perfeitas, perfeitas. E ele os escreve lentamente. Ele publicou apenas duas coleções, as “Histórias de sua vida e outras” em 2002 e, em seguida, “Exalação”, mais recentemente, em 2019. E as histórias desses livros, eles ganharam todos os principais prêmios de ficção científica que você pode ganhar várias vezes. mais de quatro prêmios de Hugo, quatro de Nebula e quatro de Locus. Se você já viu o filme “Chegada”, que é ótimo, e se não viu, o que há de errado com você, é baseado em uma história da coleção de 2002, a “História da sua vida”. Sempre me perguntei que tipo de mente criaria as histórias de Chiang. Eles têm essa economia louca neles, como nenhuma palavra fora do lugar, precisão perfeita. Eles são baseados em idéias científicas realmente complicadas, idéias religiosas realmente pesadas. Na verdade, acho que de uma forma que nem sempre é reconhecida, Chiang é um dos grandes escritores vivos de ficção religiosa, embora seja ateu e uma lenda da ficção científica. Mas de alguma forma, histórias, pelo menos em minha opinião, nunca são difíceis. Eles são muito humanos e propulsivos. Eles continuam se movendo. Eles são cerebrais, eles são gentis. Mas cara, a economia deles é sombria. Nem sempre é o caso com a ficção científica, que acho que pode ser prolixa de qualquer maneira, como transbordar de explicações e exposições. Não estes. Então, fiquei emocionado, emocionado, quando Chiang concordou em participar do programa. Mas uma das alegrias de ter essas conversas é que posso ouvir a mente das pessoas trabalhando em tempo real. Você pode ver ou ouvi-los pensando, falando e refletindo. Mas o ritmo de Chiang é muito diferente. A maioria das pessoas vem ao programa, e isso também vale para mim, falam como se estivéssemos pintando em aquarela, como muito pincelada, muita cor. Se você errar ou tiver um início falso, apenas desenhe ou comece uma nova folha. Mas, ouvindo Chiang falar, entendi melhor suas histórias. Ele fala como se estivesse esculpindo mármore. Por exemplo, cada golpe deve ser considerado com muito cuidado, nunca dando um golpe, ou suponho que uma palavra, antes que cada alternativa seja considerada e rejeitada. É muito legal ouvir isso. Chiang não gosta de falar sobre si mesmo. E mais do que você não gosta, você não vai. Acredite em mim, tentei algumas vezes. Não foi ao show final aqui. Mas ele falará sobre ideias. E assim o fazemos. Falamos sobre a diferença entre magia e tecnologia, entre ficção científica e fantasia, os problemas com super-heróis e a natureza do livre arbítrio, se a humanidade fizer a I.A. sofrer, e se encontrarmos papagaios em Marte? Existem tantas idéias interessantes neste show, como sempre há em sua ficção. Muitos deles, é claro, vêm de sua ficção. Portanto, relaxe com este. Vale a pena. Como sempre, meu e-mail é [email protected]. Aqui está Ted Chiang.

Então você me enviou este discurso maravilhoso questionando a velha linha de Arthur C. Clarke, “Qualquer tecnologia suficientemente avançada é indistinguível de mágica.” O que você não gosta nessa linha?

Então, quando as pessoas citam a linha de Arthur C. Clarke, estão se referindo principalmente a fenômenos maravilhosos, que a tecnologia nos permite fazer coisas que são incríveis e coisas que, no passado, seriam descritas como mágicas, simplesmente porque eram maravilhosas e inexplicáveis . Mas um dos aspectos que definem a tecnologia é que ela eventualmente se torna mais barata e está disponível para todos. Assim, coisas que antes eram restritas a poucos, de repente estão disponíveis para todos. Coisas como a televisão: quando a televisão foi inventada, sim, isso deve ter parecido incrível, mas agora a televisão não é surpreendente porque todo mundo tem uma. O rádio não é incrível. Os computadores não são incríveis. Todo mundo tem um. Magia é algo que, por sua natureza, nunca está amplamente disponível para todos. Magia é algo que reside na pessoa e geralmente é uma indicação de que o universo reconhece diferentes classes de pessoas, que existem portadores e não portadores de magia. Não é assim que entendemos que o universo funciona hoje. Isso reflete uma espécie de compreensão pré-moderna de como o universo funcionava. Mas, desde o Iluminismo, nos afastamos desse ponto de vista. E muita gente sente falta dessa forma de ver o mundo, porque queremos acreditar que as coisas acontecem conosco por um motivo, que as coisas que acontecem com você estão, de alguma forma, ligadas às coisas que você fez.

Eu o ouvi referir-se ao ponto de inflexão na história da ciência como a ascensão da disciplina da química sobre a da alquimia. Por que isso foi tão importante?

Portanto, uma das coisas que as pessoas costumam associar à alquimia é a tentativa de transmutar o chumbo em ouro. E é claro que isso é atraente porque parece uma forma de criar riqueza, mas para os alquimistas, para muitos alquimistas da Renascença, o objetivo não era tanto uma forma de criar riqueza, mas uma espécie de purificação espiritual, eles estavam tentando transformar alguma aparência de sua alma do básico ao nobre. E essa transformação seria acompanhada por algum análogo físico, que era a transmutação do chumbo em ouro. E assim, sim, você obteria ouro, o que é ótimo, mas também teria purificado sua alma. Esse era, em muitos aspectos, o objetivo principal. E isso é um exemplo, eu acho, dessa ideia geral de que as intenções ou a natureza espiritual do praticante eram um elemento essencial nas reações químicas, que você precisava ser puro de coração ou tinha que se concentrar muito para alcançá-lo . reação ao trabalho. E acontece que isso não é verdade. As reações químicas funcionam de forma completamente independente do que o praticante deseja ou sente, se são virtuosas ou más. Assim, as partes da alquimia que ignoravam esse componente espiritual eventualmente se tornaram química. E todas as partes da alquimia que dependiam dos componentes espirituais do praticante mostraram-se falsas. E assim, de certa forma, a transição da alquimia para a química é um reconhecimento da natureza fundamentalmente impessoal do universo.

E isso ajuda a iluminar outra coisa, e é recorrente em seus livros para mim, e é que ele tem muitos personagens que remontam ao período em que a pesquisa religiosa e a pesquisa científica se entrelaçavam, quando a pesquisa científica era uma forma de entender mais totalmente. o esplendor de Deus. E às vezes eles entram em contato com personagens que são mais dessa abordagem científica mais impessoal, como a história em que você tem um cientista tentando animar golens por razões científicas e um Cabalista que está tentando encontrar esses nomes para meditar sobre o êxtase. Religioso. Qual você acha que é a diferença entre o cientista que tenta entender o universo e o buscador religioso que tenta entender Deus por meio do funcionamento do universo?

Então eu acho que talvez a diferença não seja tanto entre o pesquisador científico e o pesquisador religioso, mas entre o engenheiro e o cientista. Porque, em termos gerais, os engenheiros estão interessados ​​na aplicação prática das coisas. Eles estão interessados, como resolvemos um problema específico? Como usamos essas informações para resolver um problema? E eles estão interessados ​​em entender como o universo funciona e em apreciar a beleza e a elegância do universo. Portanto, acho que há uma grande semelhança entre o que os cientistas estão interessados ​​e talvez o que as pessoas religiosas estão interessadas. Acho que eles têm mais em comum do que o cientista tem com o engenheiro. Porque, sim, há uma maneira muito pragmática de os engenheiros tentarem aplicar essas informações para resolver um problema. E isso é extremamente útil, mas acho que está muito longe do apelo ou objetivo da ciência pura. Muitos cientistas da Renascença eram profundamente religiosos. E eles não viram nenhum conflito nisso. E, para eles, entender como funcionava o universo era conhecer melhor a Deus, por entender sua criação com mais clareza e sentir que a maravilha que surge ao entender como o universo funciona está intimamente relacionada à maravilha religiosa. Acredito que, quando os cientistas descobrem algo novo sobre o universo, imagino que o que eles sentem é quase idêntico ao que as pessoas profundamente religiosas sentem quando sentem que estão na presença de Deus. Gostaria que pudéssemos nos recuperar um pouco dessa atitude, em vez de pensar na religião e na ciência como fundamentalmente diametralmente opostas. E a ideia de que a ciência esgota todas as maravilhas do universo, não acho que seja verdade. Acho que a ciência adiciona maravilha ao universo. E então eu sinto como um aspecto daquela velha atitude de quando os cientistas podiam ser religiosos, há um aspecto disso, que eu acho que gostaria se pudéssemos reter.

Você tem essa comparação de para que servem a ficção científica e a fantasia. E ele escreve que a ficção científica nos ajuda a pensar sobre as implicações das idéias e que a fantasia é boa em pegar metáforas e torná-las literais. Mas o que me impressionou ao ler isso é que muitas vezes me parece que seu trabalho pega idéias científicas e as usa como uma metáfora. Então, há tanta diferença entre os dois?

Então, quando se trata de ficção sobre o especulativo ou o fantástico, uma maneira de pensar sobre esse tipo de história é perguntando se eles estão interessados ​​no elemento especulativo literal ou metaforicamente ou ambos? Por exemplo, em uma extremidade do espectro, você tem Kafka e em “A Metamorfose”, Gregor Samsa se transforma em um inseto. Isso é praticamente uma metáfora. É um substituto para a alienação. No outro extremo do espectro, você tem alguém como Kim Stanley Robinson. E quando ele escreve sobre a terraformação de Marte, Marte não representa mais nada. Ele está escrevendo muito literalmente sobre Marte. Agora, a maior parte da ficção especulativa ou de fantasia está em algum lugar entre os dois. E a maioria está interessada no literal e no metafórico ao mesmo tempo, mas em vários graus. Portanto, no contexto da magia, quando a ficção de fantasia inclui pessoas que podem exercer magia, a magia representa a ideia de que certos indivíduos são especiais. Magia é uma maneira pela qual a fantasia diz que você não é apenas uma engrenagem na máquina, que você é mais do que alguém empurrando papel em um escritório ou apertando parafusos em uma linha de montagem. Magia é uma forma de externalizar a ideia de que você é especial. [MUSIC PLAYING]

Falamos muito sobre magia. Passei a noite passada olhando novamente, para ser honesto, “Dr. Estranho ”, o filme. O que você acha da centralidade dos super-heróis em nossa cultura agora?

Eu entendo o apelo das histórias de super-heróis, mas acho que elas são problemáticas em alguns níveis. Uma é que eles são fundamentalmente anti-igualitários porque estão sempre lidando com essa classe de pessoas que está acima de todas as outras. Eles têm poderes especiais. E mesmo que tenham responsabilidades especiais, são especiais. Eles são diferentes. Então esse anti-igualitarismo, eu acho, sim, é definitivamente um problema. Mas outro aspecto em que eles podem ser problemáticos é: como esses indivíduos especiais estão usando seu poder? Porque uma das coisas que sempre me interessa, quando penso em histórias, é uma história sobre o reforço do status quo ou sobre a reversão do status quo? E a maioria das histórias de super-heróis mais populares sempre tenta manter o status quo. Super-heróis, supostamente defendem a justiça. Eles avançam a causa da justiça. Mas eles sempre se apegam à sua ideia muito limitada do que constitui um crime, basicamente a ideia do governo do que constitui um crime. Os super-heróis praticamente nunca fazem nada contra as injustiças perpetradas pelo Estado. E no mundo desenvolvido, certamente, acho que se pode argumentar bem que as injustiças cometidas pelo Estado são muito mais graves do que as causadas pelo crime, pela criminalidade convencional. O status quo existente envolve coisas como grande desigualdade de riqueza, racismo sistêmico e brutalidade policial. E se você está realmente comprometido com a justiça, provavelmente não são coisas que deseja reforçar. Essas não são coisas que você deseja preservar. Mas é isso que os super-heróis sempre fazem. Eles sempre tentam manter as coisas do jeito que estão. E histórias de super-heróis, eles gostam de apresentar o mundo como se estivesse sob constante ameaça de ataque. Se eles não estivessem lá, o mundo afundaria no caos. E esta é realmente a mesma tática que programas de TV como “24” usam. É uma forma de justificar implicitamente o uso da violência contra qualquer pessoa que rotulamos como uma ameaça à ordem existente. E faz com que as pessoas se submetam à autoridade. Acho que isso não é intrínseco à ideia do super-herói em si. Antigualitarismo, provavelmente intrínseco à ideia de super-heróis. Mas a ideia de reforçar o status quo não é. Você poderia contar histórias de super-heróis em que os super-heróis lutam constantemente pelo poder. Eles estão constantemente destruindo o status quo. Mas raramente vemos isso.

Então, houve algumas tentativas disso, obviamente sempre no lado da história principal. Mas houve uma série chamada “A Autoridade”, especialmente durante a guerra contra o terrorismo, onde eles entregaram um substituto de George W. Bush aos alienígenas para encerrar a guerra. Existe outro no universo DC chamado “Injustiça” onde Superman, após uma perda trágica em uma dimensão particular, basicamente cria um super-regime fascista, tentando impor justiça a um mundo que tem muito pouco. E sempre parece que o problema com essas histórias é que eles nunca sabem para onde ir com elas. Sempre desmorona imediatamente no fascismo. Eles não sabem contar histórias sobre governança. Se você tivesse que escrever uma história de super-herói que tentasse reverter o status quo em vez de reforçá-lo, como você faria isso? Qual não seria a primeira questão, onde eles destituem a Casa Branca, seria a sexta questão?

Boa pergunta. Não está claro para onde você quer chegar com uma história como essa. Mas uma das coisas atraentes sobre a história em que você reforça o status quo é que você pode contar sequências infinitas. Porque o final da história deixa você praticamente onde você estava no início de uma história. E então, sim, você pode contar a mesma história indefinidamente. Histórias sobre como mudar o status quo, é muito difícil contar uma sequência. Você pode contar uma sequência, mas será radicalmente diferente da primeira história. Isso torna difícil mantê-los da maneira que as grandes empresas de mídia desejam. Parte disso também tem a ver com o fato de que a forma como a Marvel e a DC trabalham é que elas têm essa continuidade que desejam seguir. Digamos que se nos livrássemos da ideia de que existe continuidade contínua, digamos que contasse histórias em que cada história do Superman era uma história independente do Superman. São como histórias sobre Paul Bunyan. Histórias de Paul Bunyan, elas não se encaixam em uma cronologia. Ninguém pergunta, bem, isso aconteceu antes daquele? Eles estão praticamente desconectados. Assim, você pode contar histórias individuais em que super-heróis lutam contra o governo. E quanto mais poderoso for o seu super-herói, isso poderá criar mais problemas. Como Superman, porque ele é tão poderoso, isso apresenta dificuldades. Mas alguém como Batman é alguém que pode lutar contra o governo continuamente. O verdadeiro problema é, novamente, do ponto de vista de uma empresa de mídia, que basicamente você está escrevendo uma série, está publicando um título, sobre o que consideraríamos um terrorista, alguém que ataca repetidamente instalações do governo, alguém que é, diga, lute contra a polícia ou tire as pessoas da prisão. Ele é alguém que provavelmente rotularíamos de terrorista. E isso não é algo que qualquer grande empresa de mídia se sinta confortável em fazer.

É assim que os super-heróis acabam sendo mágicos e não tecnologia? Porque enquanto você está me dizendo isso, estive pensando sobre essa distinção. E um problema aqui é que se você vai reverter o status quo sem muito poder, então obviamente você acabará governando. E para que a regra seja legítima, deve ser representativa. Mas se você for o único com o poder, não será realmente representativo. E é assim que você acaba, bem rápido, mesmo como super-heróis como o Homem de Ferro ou o Batman que têm o poder tecnológico, mas há algo que eles podem fazer que ninguém mais pode fazer, por isso é muito difícil essas histórias irem a qualquer lugar com o tempo. Deixando de lado a ideia única que você está oferecendo aqui, você eventualmente precisará construir algo representativo? Você tem que construir algo que não saiba que você é um super-herói, certo? Um sistema que não é sobre você, o grande salvador. E isso é um pouco inerentemente difícil para o meio. É muito, muito difícil ir de uma história sobre quanto poder essa pessoa tem para uma história sobre como você mudou para uma dinâmica de governança representativa e igualitária de uma forma que fez melhorias marginais em muitas questões de forma razoavelmente regular durante um longo período de tempo. de tempo.

sim. Então, os super-heróis são basicamente mágicos. Mesmo que sejam ostensivamente tecnológicos em seus poderes, sua tecnologia nunca se comporta como a tecnologia real. Temos frotas de aviões de combate muito caros. Não há razão para que haja apenas um Homem de Ferro. Quase todos os super-heróis se comportam de maneira mágica porque as habilidades estão incorporadas em um único indivíduo. Essas habilidades nunca se espalharam de verdade. Quanto à questão da dificuldade de contar uma história sobre como é uma mudança real, como é um sistema de governança melhor, essa é uma questão legitimamente difícil. Porque quando você pensa em heróis reais no mundo, pessoas que fizeram uma grande diferença, digamos Martin Luther King, então Martin Luther King Jr., sim, ele não tinha poderes de super-herói. Ele era um homem normal, mas isso afetou uma grande mudança. Os tipos de histórias que você pode contar sobre alguém assim não são tão dramáticos quanto uma história sobre um super-herói. A vitória não é tão clara. Você não tem um final elegante onde tudo termina. Porque quando você começa a tentar contar uma história como essa, você entra em todos os tópicos que trouxe à tona. A mudança política legítima não vem de uma única pessoa, nem mesmo de uma pessoa superpoderosa que faz decretos. A mudança política legítima teria que vir de uma ampla base de apoio popular, coisas assim. Não sabemos como seria uma história em quadrinhos sobre isso. Pode não ser tão interessante ou popular. Ou, pelo menos, não sabemos contar histórias como essa.

Então, você tem algumas histórias diferentes sobre esta questão de, se o futuro já aconteceu, podemos saber. E o que faria a uma pessoa saber o futuro? Então, em uma de suas histórias, ele inspira as pessoas a agirem para alcançar esse futuro, para desempenhar seu papel designado. Em outra, faz com que muitos parem de agir completamente, caiam nessa existência quase em coma. O que você acha que isso faria com você?

Não sei. Não acho que alguém possa saber, porque não acho que a mente humana seja realmente compatível com o conhecimento detalhado do futuro. Devo esclarecer que acredito no livre arbítrio. E podemos falar sobre isso em um minuto. Não quero que minhas histórias sejam interpretadas como um argumento de que os seres humanos não têm livre arbítrio. Acredito que o ser humano tem livre arbítrio, se você pensar bem na questão. No entanto, o que algumas de minhas histórias abordam é a ideia de que, tudo bem, dado que Einstein parece ter mostrado que o futuro está fixo, se você pudesse ter uma visão do futuro, o que isso faria com você? Esta não é uma situação com a qual nenhum de nós precise se preocupar, porque nunca obteremos informações do futuro. Mas, para mim, é uma questão filosoficamente interessante como uma mente lidaria com isso. Uma mente poderia lidar com isso? Não acho que haja uma solução realmente boa para essa situação em termos de tentar reconciliar algum tipo de coerência lógica com nossa experiência de volição. Acho que seria muito, muito difícil.

Deixe-me fazer uma pergunta na qual penso com bastante frequência, acho que em parte porque sou culturalmente judeu. Se eu pudesse te contar, se você pudesse saber com certeza a data de sua morte, você gostaria de saber?

Sim, provavelmente faria. Provavelmente sim.

A sério? Oh, eu não gostaria, em hipótese alguma, de saber.

Quer dizer, parece que pode ser útil para que você possa fazer alguns preparativos. Seria bom colocar seus negócios em ordem. Não estamos falando de muitas informações detalhadas porque acho que quanto mais informações você tem, mais elas vão incomodar você. Quanto mais informações você tiver, mais perto chegaremos dessa situação sobre a qual às vezes escrevo, onde, sim, se você tiver perfeito conhecimento do que vai acontecer com você, sim, isso, eu acho, é algo incompatível com o humano vai. . Mas informações muito limitadas podem ser úteis.

Acho que a resposta racionalmente correta é sim. Quer dizer, se eu soubesse que morrerei daqui a 10 anos em vez de 50 anos, eu viveria 10 anos diferente, ou acho que iria. Ao mesmo tempo, acho que se eu soubesse disso, o problema é que a ansiedade me dominaria por muitos desses 10 anos. Portanto, por mais que eu quisesse vivenciá-los, pode ser difícil para mim abordá-los dessa forma, o que pode ser apenas uma falha psicológica de minha parte. Mas é que o choque entre as informações seria bom, e a mente não se sente construída para lidar com a informação que sempre acho fascinante sobre essa questão.

Acho que ninguém está dizendo que seria fácil ter essa informação, que seria divertido ou agradável. Mas temos exemplos de pessoas que têm alguma ideia de que vão morrer a curto prazo, e isso não é moleza. Mas acho que, em grande medida, as pessoas podem lidar com isso. E não parece ser um enfraquecimento permanente. É difícil no curto prazo, mas acho que a maioria das pessoas é capaz de lidar com isso. [MUSIC PLAYING]

Uma das coisas que eu realmente gosto na maneira como suas histórias jogam com o livre arbítrio é que eu acho que na conversa sobre o mundo livre, as pessoas estão muito focadas no que os diferentes modelos do universo dizem sobre o livre. E seu trabalho geralmente se concentra em como você mudaria a ideia de vontade, certo? Você tem uma certa liberdade, mas dentro do contexto da sua vontade, certo? Existem coisas que você deseja e não deseja fazer, coisas que você pode e não pode fazer. E se você sabe coisas diferentes sobre o universo ou tem focos diferentes, talvez sua vontade mude. Então, deixe-me fazer outra pergunta sobre o livre arbítrio, sobre a qual penso muito. Em qualquer momento desafiador, digamos que eu tenha a opção de responder com raiva ou perdão, mas também, digamos que fui exposta quando criança a muito chumbo. E é por isso que tenho muito menos controle de impulsos do que alguém que não tinha. E então eu respondo com raiva. Essa é uma escolha feita livremente em comparação com alguém que não teve essa exposição ao chumbo? O que o livre arbítrio lhe diz sobre essa questão das capacidades de nossa vontade?

Portanto, acho que o livre arbítrio não é uma ideia de tudo ou nada. É um espectro. Mesmo o mesmo indivíduo em diferentes situações pode estar sob diferentes níveis de restrição ou coerção. E isso limitará o livre arbítrio dessa pessoa. E, claramente, diferentes pessoas também estarão sob diferentes níveis de restrição ou coerção ou terão diferentes gamas de opções disponíveis para elas. Portanto, o livre arbítrio é algo que você tem em vários graus. Portanto, sim, alguém que foi exposto ao chumbo na infância e, portanto, tem pouco controle de impulsos, é, digamos, menos livre do que alguém que não o fez. Mas eles ainda têm mais livre arbítrio do que, digamos, um cachorro, mais livre arbítrio do que um bebê. E eles provavelmente podem tomar medidas para ajustar seu comportamento a fim de tentar neutralizar esses efeitos dos quais estão cientes em seu controle de impulso. E assim, no contexto muito mais pragmático do mundo real, é por isso que sim, acredito que temos livre arbítrio. Porque podemos usar as informações que temos e mudar nossas ações com base nisso. Não temos uma versão teórica absoluta perfeita do livre arbítrio. Mas podemos pensar e deliberar sobre nossas ações e fazer ajustes. Isso é realmente livre arbítrio.

Deixe-me virar isso agora. Estamos gastando bilhões para inventar inteligência artificial. Em que ponto um programa de computador é responsável por suas próprias ações?

Bem, em termos de quando isso acontecerá, não está claro, mas estamos muito longe de nós mesmos agora. Quanto à questão de saber se vamos criar máquinas que são agentes morais, eu diria que podemos pensar nisso em três questões diferentes. Uma é, podemos fazer isso? Em segundo lugar, vamos? E a terceira é, devemos fazer isso? Acredito que é inteiramente possível construirmos máquinas que sejam agentes morais. Porque acho que existe um sentido em que os seres humanos são máquinas muito complexas e nós somos agentes morais, o que significa que não existem leis físicas que impeçam uma máquina de ser um agente moral. Portanto, não há obstáculo que, em princípio, nos impeça de construir algo assim, embora possamos levar muito tempo para chegar lá. Quanto à questão de saber se o faremos, se você tivesse me perguntado há cerca de 10 ou 15 anos, eu teria dito que provavelmente não faremos, simplesmente porque, para mim, parece muito mais trabalho do que vale. Em termos de despesas, seria da ordem de grandeza do programa Apollo. E não está claro para mim que haja uma boa razão para empreender tal coisa. No entanto, se você me perguntar agora, eu diria, bem, tudo bem, claramente temos pessoas obscenamente ricas que podem gastar grandes somas de dinheiro com o que quiserem, basicamente por capricho. Então, talvez um deles acabe financiando um programa para criar máquinas que sejam agentes conscientes e morais. No entanto, também devo salientar que não acho nenhum dos grandes I.A. Os programas de pesquisa estão no caminho certo para criar uma máquina consciente. Não acho que seja isso o que algum deles está tentando fazer. Então, quanto à terceira questão, se devemos fazer, devemos fazer máquinas que são conscientes e que são agentes morais, para isso, minha resposta é, não, não devemos. Porque muito antes de chegarmos ao ponto em que uma máquina é um agente moral, teremos máquinas capazes de sofrer. O sofrimento precede a agência moral em uma espécie de escada de desenvolvimento. Os cães não são agentes morais, mas são capazes de sofrer. Os bebês ainda não são agentes morais, mas têm o claro potencial para se tornarem um. E eles são definitivamente capazes de sofrer. E quanto mais perto uma entidade chega de ser um agente moral, quanto mais ela sofre, quanto mais merece consideração, mais devemos tentar evitar infligir sofrimento a ela. Portanto, no processo de desenvolvimento de máquinas que são agentes conscientes e morais, estaremos inevitavelmente criando bilhões de entidades capazes de sofrer. E, inevitavelmente, infligiremos sofrimento a eles. E isso claramente parece uma má ideia para mim.

Mas eles também não seriam capazes de sentir prazer? Quer dizer, isso me parece quase uma reversão do clássico experimento de pensamento utilitarista. Se pudermos criar esses bilhões de máquinas que basicamente vivem vidas felizes que não fazem mal a ninguém e você pode copiá-los por quase um dólar marginal, não é quase um imperativo moral trazê-los à existência para que possam conduzir esses felizes máquinas? Vidas?

Acho que será muito mais fácil infligir sofrimento a eles do que dar-lhes uma vida feliz e plena. E como eles começarão como algo que se parece com um software comum, algo que não se parece de maneira alguma com uma coisa viva, vamos tratá-los como lixo. Da maneira como tratamos o software agora, se em algum ponto o software obtivesse um vago lampejo de sensibilidade, de capacidade de percepção, estaríamos infligindo incontáveis ​​quantidades de sofrimento a ele antes que alguém prestasse atenção nele. Porque ya es bastante difícil dar protección legal a seres humanos que son agentes absolutamente morales. Tenemos relativamente pocas protecciones legales para los animales que, si bien no son agentes morales, son capaces de sufrir. Y así, los animales experimentan una gran cantidad de sufrimiento en el mundo moderno. Y los animales, sabemos que sufren. Hay muchos animales que amamos, que realmente amamos. Sin embargo, existe un gran sufrimiento animal. Así que no hay software que nos guste. Así que la forma en que terminaremos tratando el software, nuevamente, asumiendo que el software alguna vez se vuelve consciente, inevitablemente caerán más abajo en la escala de consideración. Así que los trataremos peor de lo que tratamos a los animales. Y tratamos bastante mal a los animales.

Creo que este es un punto realmente provocador. Así que no sé si eres un lector de Yuval Noah Harari. Pero a menudo enmarca su miedo a la inteligencia artificial simplemente como que A.I. nos tratará como tratamos a los animales. Y tratamos a los animales, como usted dice, increíblemente terrible. Pero realmente no he pensado en el cambio de eso, que tal vez el peligro sea que simplemente tratemos la inteligencia artificial. como tratamos a los animales. Y dada la consideración moral que damos a los animales, cuyo propósito creemos que es servirnos de comida o cualquier otra cosa que sea, simplemente estamos abriendo perspectivas casi inimaginables de inmoralidad y crueldad que podríamos infligir con bastante negligencia, y eso dado nuestra historia, no hay ninguna razón real para pensar que no lo haremos. Eso es sombrío. [LAUGHS]

Es desalentador, pero creo que es, con mucho, el escenario más probable. Creo que el escenario que, digamos, Yuval Noah Harari está describiendo, donde las IA nos tratan como mascotas, esa idea asume que será fácil crear IA que sean mucho más inteligentes que nosotros, que básicamente, la IA inicial Pasará del software, que no es un agente moral y no es inteligente en absoluto. Y luego, lo siguiente que sucederá será un software que es súper inteligente y también tiene voluntad. Mientras que creo que procederemos en la otra dirección, que ahora mismo, el software es más simple que una ameba. And eventually, we will get software which is comparable to an amoeba. And eventually, we’ll get software which is comparable to an ant, and then software that is comparable to a mouse, and then software that’s comparable to a dog, and then software that is comparable to a chimpanzee. We’ll work our way up from the bottom. A lot of people seem to think that, oh, no, we’ll immediately jump way above humans on whatever ladder they have. I don’t think that is the case. And so in the direction that I am describing, the scenario, we’re going to be the ones inflicting the suffering. Because again, look at animals, look at how we treat animals.

So I hear you, that you don’t think we’re going to invent superintelligent self-replicating A.I. anytime soon. But a lot of people do. A lot of science fiction authors do. A lot of technologists do. A lot of moral philosophers do. And they’re worried that if we do, it’s going to kill us all. What do you think that question reflects? Is that a question that is emergent from the technology? Or is that something deeper about how humanity thinks about itself and has treated other beings?

I tend to think that most fears about A.I. are best understood as fears about capitalism. And I think that this is actually true of most fears of technology, too. Most of our fears or anxieties about technology are best understood as fears or anxiety about how capitalism will use technology against us. And technology and capitalism have been so closely intertwined that it’s hard to distinguish the two. Let’s think about it this way. How much would we fear any technology, whether A.I. or some other technology, how much would you fear it if we lived in a world that was a lot like Denmark or if the entire world was run sort of on the principles of one of the Scandinavian countries? There’s universal health care. Everyone has child care, free college maybe. And maybe there’s some version of universal basic income there. Now if the entire world operates according to — is run on those principles, how much do you worry about a new technology then? I think much, much less than we do now. Most of the things that we worry about under the mode of capitalism that the U.S practices, that is going to put people out of work, that is going to make people’s lives harder, because corporations will see it as a way to increase their profits and reduce their costs. It’s not intrinsic to that technology. It’s not that technology fundamentally is about putting people out of work. It’s capitalism that wants to reduce costs and reduce costs by laying people off. It’s not that like all technology suddenly becomes benign in this world. But it’s like, in a world where we have really strong social safety nets, then you could maybe actually evaluate sort of the pros and cons of technology as a technology, as opposed to seeing it through how capitalism is going to use it against us. How are giant corporations going to use this to increase their profits at our expense? And so, I feel like that is kind of the unexamined assumption in a lot of discussions about the inevitability of technological change and technologically-induced unemployment. Those are fundamentally about capitalism and the fact that we are sort of unable to question capitalism. We take it as an assumption that it will always exist and that we will never escape it. And that’s sort of the background radiation that we are all having to live with. But yeah, I’d like us to be able to separate an evaluation of the merits and drawbacks of technology from the framework of capitalism.

I feel like that’s both right and wrong for it. So when you think about the canonical example of A.I. killing us all, like the paperclip maximizer, where you tell an A.I. to make as many paper clips as it can, and then it converts the entire world into a paperclip materials and that’s the end of us, that seems like some capitalist wanted to make paper clips and invented A.I. But some of the conversation — and this is a part that I sometimes have more trouble shaking — comes from a simple extrapolation of our own history. You have this extraordinarily moving story about — which, from the perspective of a parrot, speaking to humanity, talking to it about why it is looking so desperately for intelligent life on other planets, and not just ignoring, but often exterminating intelligent life here on its own planet. And I wish I had the quote in front of me, but you have this very, very moving moment towards the end of it — it’s a part of it that I always remember — where the parrot, who seems possessed of a very expansive moral imagination, says, it’s not that humanity is bad. It’s not that they meant to do this. It’s just that they didn’t really notice they were doing it.

They weren’t paying attention.

They weren’t paying attention. Sorry, that was it. That’s it. And I think that’s a fear about A.I. And the thing that always gives that fear some potency to me is that if A.I. is going to be made by us, and we have been and remain so bad at paying attention to the things that are in the way of our goals, not for malice always, but sometimes during detention, I don’t know that you need capitalism to be worried about something more analytically powerful than us on that scale that it would just have goals that we would simply be in the way of, and we would be — I think the fear is that we are just a byproduct, not an enemy like in Skynet, but the parrot in this conversation.

And again, I think that’s an indication of how sort of completely some people have sort of internalized either capitalism or a certain way of looking at the world, which also sort of underpins capitalism, a way of looking at the world as an optimization problem or a maximization problem. Yeah, so that might be the underlying common element between capitalism and a lot of this A.I. doomsday kind of scenario, making this insistence on seeing the world as an optimization problem.

Let me ask you about the parrot. If we found parrots on Mars, but they had four feet and six wings, but otherwise were exactly the same, how would we treat them differently from parrots here?

So if we found extraterrestrial life that had cognitive capabilities similar to parrots on Earth, we would probably treat them very respectfully because we could afford to. Because it wouldn’t cost us anything to treat them with respect, because there’d just be a handful of them on Mars. Treating animals on Earth with a comparable amount of respect would be very, very costly for us. If we wanted to treat every animal on Earth with respect, we would pretty much have to restructure our entire way of life. And that’s not something we’re willing to do. I believe you’re a vegetarian?

Yeah, a vegan.

And so you are aware of just how much animal cruelty is built into modern civilization. I myself, I still eat meat. And I can offer no defense for that beyond my own preferences. The wider you expand your circle of compassion, the harder it can be to balance your own individual interests with the interests of everyone else in that circle. But the wider the circle gets, the more entities whose interests you have to balance with yours. And yeah, it can be difficult.

This is wonderful. I think it’s probably a good place to end. So I’d like to ask you a couple of book recommendations before we wrap up. So let me start here. What’s a religious text you love?

I can’t really point to a conventional religious text as an atheist. But I guess I would say Annie Dillard’s book, “Pilgrim at Tinker Creek.” That is a book about feeling the wonders of nature and experiencing those as a way of sort of being close to the divine. Reading that book gave me maybe the closest that I’m likely to get to understanding a kind of religious ecstasy.

What is the book you recommend on intelligence, artificial or otherwise?

So there’s this computer programmer named Steve Grand. And he wrote a book called “Creation,” which is partly about artificial intelligence, but I guess partly about artificial life. That book, I think, sort of made the most convincing case, I thought, for if we’re going to actually create something that merits the term of being a living thing in software, I feel like sort of the ideas in that book are the ones that I think are most promising. So I guess I’d recommend that. Recently, I read this paper called “On the Measure of Intelligence” by Francois Chollet. And it offers a really, I think, useful definition of intelligence, one that can be meaningfully applied to both humans and A.I.‘s. And it’s one that everyone needs to be thinking about.

I am sold. I’m going to read that paper. What’s a favorite book of short stories of yours?

I’m a big fan of George Saunders’s first collection, “CivilWarLand in Bad Decline.” Another one may be sort of called a novel, but I think of it as a collection of short stories. And that’s “A Visit from the Goon Squad” by Jennifer Egan. The stories are sort of linked, but I think the linkages are loose enough that, to me, it makes sense to see it as a collection of short stories, rather than a novel.

I love both of those, and I’ll note for listeners that George Saunders was on the show a couple of weeks back. And it’s a great episode, and people should check it out. What book or film to you has the most impressive world building?

There’s this Japanese anime film from the late ‘80s called “Royal Space Force: Wings of Honneamise.” It’s the story sort of a space program in this country which is not Japan. It’s not in our world. But it’s a country that is at a somewhat mid-20th century level of technological development. And they are trying to get into space. And I just loved all the details of sort of the physical culture of this imagined nation. The coins are not flat metal disks, they’re metal rods. And the televisions, they’re not rectangles. Their cathode ray tubes are completely circular, so they’re watching TV on circular screens. All these little details, just the way their newspapers fold, I just really was impressed by the way that the animators for that film, they invented an entirely new physical culture for this movie. The movie is not about those things, but they really fleshed out this alternate world just as the backdrop for the story that they wanted to tell.

What’s a novel you’ve read recently that you would recommend?

So I recently read this novel called “On Fragile Waves,” Lily Yu. It is a kind of magic realist novel about a family of Afghan refugees who are seeking asylum in Australia. And I found it powerfully affecting. So I think, yeah, everyone should check that out.

So I saw today when I was doing some final researcher here that you play video games. Are there some video games you would recommend?

All right, so one fairly big budget game that I’ll recommend is a game called “Control.” It’s a really beautiful game. I took, I think, probably more screenshots while playing that game than any other game I’ve played. You play as a character who is visiting the Federal Bureau of Control, which is this government agency, which is sort of hiding in plain sight. Their headquarters are in this nondescript federal building, which is also known as the oldest house because it’s actually a locus of sort of supernatural incursions into our reality. That was a very cool game. I liked it a lot. And then a smaller indie game that I really enjoyed was “Return of the Obra Dinn,” which is this super cool puzzle game made by one guy, Lucas Pope. I just thought it was an extraordinary achievement. I think it’s an amazingly inventive game. And it blows my mind that it was made by one person. He even wrote the music for it. It’s this puzzle game where you have to identify the circumstances around the deaths of each of the crew members of this whaling ship. And it is unlike any other game I’ve ever played.

Ted Chiang, what a pleasure. Thank you very much.

Thanks for having me. [MUSIC PLAYING]

Thank you for listening to the show. Of course, thank you to Ted Chiang for being here. If you want to support the show, there are two things I would ask of you. Each of them only take a second. Either send this episode to somebody you know who you think would enjoy it. You can just text it, or go on whatever podcast app you are using, and leave us a review. It really, weirdly, does help. “The Ezra Klein Show” is a production of New York Times Opinion. It is produced by Roge Karma and Jeff Geld, fact-checked by Michelle Harris. Original music by Isaac Jones and mixing by Jeff Geld.