"Podemos acabar precisando de algo como a AIEA (Agência Internacional de Energia Atômica) para esforços de superinteligência; qualquer esforço além de um certo limite de capacidades (ou recursos como computação) precisaria ser verificado por uma autoridade internacional, exigindo auditorias, testando a conformidade com padrões de segurança, restrições no grau de implantação e nível de segurança e assim por diante."
A liderança da OpenAI publicou "Governance of Superintelligence" em seu blog oficial.
Os avanços na inteligência artificial são rápidos o suficiente e os possíveis perigos são claros o suficiente para que a liderança da OpenAI, desenvolvedora do ChatGPT, tenha declarado que o mundo precisa de um órgão internacional de superinteligência semelhante ao que governa a energia nuclear.
Em 22 de maio, horário local, o fundador da OpenAI Sam Altman (Sam Altman), o presidente Greg Brockman (Greg Brockman) e o cientista-chefe Ilya Sutskever (Ilya Sutskever) uniram forças na empresa Writing no blog, dizendo que o ritmo da inovação em inteligência artificial é tão rápido que não podemos esperar que as instituições existentes controlem adequadamente a tecnologia.
O artigo, intitulado "Governance of Superintelligence", reconhece que a IA não se autogerenciará: "Podemos eventualmente precisar de algo semelhante à IAEA (Agência Internacional de Energia Atômica) para esforços de superinteligência; qualquer um ou recursos como computação) esforços de limite precisam ser verificados por autoridades internacionais, exigem auditorias, testam se atendem aos padrões de segurança, limitam o grau de implantação e o nível de segurança e assim por diante.”
O principal pesquisador e crítico de IA, Timnit Gebru, disse algo semelhante em uma entrevista ao The Guardian naquele dia: "A menos que haja pressão externa para fazer algo diferente, as empresas não são autorreguladas. Precisamos de regulamentação, precisamos de algo melhor do que um puro lucro ." Gebru foi demitido do Google por falar sobre os perigos da inteligência artificial.
A proposta da OpenAI pode ser um início de conversa no setor, mostrando que as maiores marcas e fornecedores de IA do mundo apóiam a regulamentação e precisam urgentemente de supervisão pública, mas “ainda não sabem como projetar esse mecanismo”.
Na semana passada, Altman testemunhou perante o Congresso dos EUA que a OpenAI estava "muito preocupada" com o fato de as eleições serem influenciadas pelo conteúdo gerado pela IA. Ele teme que a indústria de IA possa "causar danos significativos ao mundo". "Acho que se essa tecnologia der errado, pode dar terrivelmente errado, e queremos ser francos sobre isso." "Queremos trabalhar com o governo para evitar que isso aconteça." Altman sugeriu que o Congresso criasse novas agências que emitam as licenças para tecnologias de IA "além de uma certa escala de capacidade" devem passar por auditorias independentes de especialistas que podem julgar se o modelo está em conformidade com esses regulamentos antes de liberar um sistema de IA ao público.
A seguir está o texto completo de "Governance of Superinteligência":
Dada a imagem que estamos vendo agora, é concebível que, na próxima década, os sistemas de IA excedam os níveis de habilidade dos especialistas na maioria dos domínios e realizem tantas atividades produtivas quanto uma das maiores corporações de hoje.
Em termos de benefícios e desvantagens potenciais, a superinteligência será mais poderosa do que outras tecnologias com as quais os humanos tiveram que lidar no passado. Podemos ter um futuro mais próspero, mas devemos administrar os riscos para chegar lá. Dado o potencial de risco, não podemos ser apenas reativos. A energia nuclear é um exemplo histórico comum de uma tecnologia dessa natureza; a biologia sintética é outro.
Também devemos reduzir o risco das tecnologias de IA de hoje, mas a superinteligência requer manuseio e coordenação especiais.
Um ponto de partida
Há uma série de ideias que são importantes para nossas boas chances de navegar com sucesso nesse desenvolvimento; aqui apresentamos nossos primeiros pensamentos sobre três delas.
Primeiro, precisamos de algum grau de coordenação entre os principais esforços de desenvolvimento para garantir que o desenvolvimento da superinteligência prossiga de maneira que nos mantenha seguros e ajude esses sistemas a se integrarem suavemente à sociedade. Há muitas maneiras de fazer isso; os principais governos do mundo podem estabelecer um programa no qual muitos dos esforços atuais fazem parte, ou podemos concordar coletivamente (com o apoio da nova organização proposta abaixo) que recursos avançados de IA A taxa de crescimento da empresa deve ser limitada a uma determinada taxa a cada ano.
Obviamente, também se espera que empresas individuais atuem com responsabilidade e com padrões extremamente elevados.
Em segundo lugar, podemos acabar precisando de algo parecido com a AIEA (Agência Internacional de Energia Atômica) para esforços de superinteligência; qualquer esforço além de um certo limite de capacidades (ou recursos de computação, etc.) audit , testando a conformidade com os padrões de segurança, limitando os níveis de implantação e segurança e muito mais. Rastrear o uso de computação e energia ajudaria muito e nos daria alguma esperança de que essa ideia seja realmente viável. Como primeiro passo, as empresas poderiam concordar voluntariamente em começar a implementar elementos que tal agência poderia um dia exigir, enquanto, como segundo passo, países individuais poderiam implementá-los. É importante que essa agência se concentre em reduzir os riscos existentes, em vez de questões que devem ser deixadas para cada país, como definir o que a IA deve dizer.
Em terceiro lugar, precisamos de capacidades tecnológicas para garantir a superinteligência. Este é um problema de pesquisa em aberto, e muito trabalho está sendo feito por nós e por outros.
o que não está no escopo
Acreditamos que é importante permitir que empresas e projetos de código aberto desenvolvam modelos abaixo de um limite significativo de capacidade sem o tipo de regulamentação que descrevemos aqui (incluindo mecanismos onerosos, como licenças ou auditorias).
Os sistemas de hoje criarão um enorme valor no mundo e, embora tenham riscos, esses níveis de risco parecem compatíveis com outras tecnologias da Internet, e o que a sociedade pode fazer parece apropriado.
Por outro lado, os sistemas nos quais nos concentramos terão o poder de superar qualquer tecnologia que ainda não tenha sido criada, e devemos ter cuidado para não subestimar o foco em tecnologias que estão muito abaixo disso, aplicando padrões semelhantes a elas.
Contribuição pública e potencial
Mas a governança dos sistemas mais robustos e as decisões sobre sua implantação devem ter forte supervisão pública. Acreditamos que as pessoas ao redor do mundo devem determinar democraticamente os limites e padrões dos sistemas de IA. Ainda não sabemos como projetar tal mecanismo, mas planejamos experimentar seu desenvolvimento. Ainda acreditamos que, nessas escalas amplas, os usuários individuais devem ter muito controle sobre o comportamento da IA que usam.
Dados os riscos e dificuldades, vale a pena considerar por que estamos construindo essa tecnologia.
Na OpenAI, temos dois motivos fundamentais. Primeiro, acreditamos que isso levará a um mundo melhor do que imaginamos hoje (já vimos exemplos anteriores disso em áreas como educação, trabalho criativo e produtividade pessoal). O mundo enfrenta muitos problemas e precisamos de mais ajuda para resolvê-los; essa tecnologia pode melhorar nossa sociedade, e a capacidade criativa de todos que usam essas novas ferramentas certamente nos surpreenderá. O crescimento econômico e a melhoria da qualidade de vida serão fenomenais.
Em segundo lugar, acreditamos que impedir a superinteligência traria riscos e dificuldades não intuitivos. Como os benefícios são tão grandes, o custo de construção está caindo a cada ano, o número de jogadores que o constroem está aumentando rapidamente e é essencialmente parte do caminho tecnológico em que estamos, detê-lo requer algo semelhante a um sistema de vigilância global. , Mesmo isso não é garantido para funcionar. Então temos que acertar.
Ver original
O conteúdo é apenas para referência, não uma solicitação ou oferta. Nenhum aconselhamento fiscal, de investimento ou jurídico é fornecido. Consulte a isenção de responsabilidade para obter mais informações sobre riscos.
O trio de liderança da OpenAI escreveu em conjunto um artigo pedindo um órgão internacional para supervisionar a superinteligência
Fonte: O Papel See More
Repórter Fang Xiao
"Podemos acabar precisando de algo como a AIEA (Agência Internacional de Energia Atômica) para esforços de superinteligência; qualquer esforço além de um certo limite de capacidades (ou recursos como computação) precisaria ser verificado por uma autoridade internacional, exigindo auditorias, testando a conformidade com padrões de segurança, restrições no grau de implantação e nível de segurança e assim por diante."
Os avanços na inteligência artificial são rápidos o suficiente e os possíveis perigos são claros o suficiente para que a liderança da OpenAI, desenvolvedora do ChatGPT, tenha declarado que o mundo precisa de um órgão internacional de superinteligência semelhante ao que governa a energia nuclear.
Em 22 de maio, horário local, o fundador da OpenAI Sam Altman (Sam Altman), o presidente Greg Brockman (Greg Brockman) e o cientista-chefe Ilya Sutskever (Ilya Sutskever) uniram forças na empresa Writing no blog, dizendo que o ritmo da inovação em inteligência artificial é tão rápido que não podemos esperar que as instituições existentes controlem adequadamente a tecnologia.
O artigo, intitulado "Governance of Superintelligence", reconhece que a IA não se autogerenciará: "Podemos eventualmente precisar de algo semelhante à IAEA (Agência Internacional de Energia Atômica) para esforços de superinteligência; qualquer um ou recursos como computação) esforços de limite precisam ser verificados por autoridades internacionais, exigem auditorias, testam se atendem aos padrões de segurança, limitam o grau de implantação e o nível de segurança e assim por diante.”
O principal pesquisador e crítico de IA, Timnit Gebru, disse algo semelhante em uma entrevista ao The Guardian naquele dia: "A menos que haja pressão externa para fazer algo diferente, as empresas não são autorreguladas. Precisamos de regulamentação, precisamos de algo melhor do que um puro lucro ." Gebru foi demitido do Google por falar sobre os perigos da inteligência artificial.
A proposta da OpenAI pode ser um início de conversa no setor, mostrando que as maiores marcas e fornecedores de IA do mundo apóiam a regulamentação e precisam urgentemente de supervisão pública, mas “ainda não sabem como projetar esse mecanismo”.
Na semana passada, Altman testemunhou perante o Congresso dos EUA que a OpenAI estava "muito preocupada" com o fato de as eleições serem influenciadas pelo conteúdo gerado pela IA. Ele teme que a indústria de IA possa "causar danos significativos ao mundo". "Acho que se essa tecnologia der errado, pode dar terrivelmente errado, e queremos ser francos sobre isso." "Queremos trabalhar com o governo para evitar que isso aconteça." Altman sugeriu que o Congresso criasse novas agências que emitam as licenças para tecnologias de IA "além de uma certa escala de capacidade" devem passar por auditorias independentes de especialistas que podem julgar se o modelo está em conformidade com esses regulamentos antes de liberar um sistema de IA ao público.
A seguir está o texto completo de "Governance of Superinteligência":
Dada a imagem que estamos vendo agora, é concebível que, na próxima década, os sistemas de IA excedam os níveis de habilidade dos especialistas na maioria dos domínios e realizem tantas atividades produtivas quanto uma das maiores corporações de hoje.
Em termos de benefícios e desvantagens potenciais, a superinteligência será mais poderosa do que outras tecnologias com as quais os humanos tiveram que lidar no passado. Podemos ter um futuro mais próspero, mas devemos administrar os riscos para chegar lá. Dado o potencial de risco, não podemos ser apenas reativos. A energia nuclear é um exemplo histórico comum de uma tecnologia dessa natureza; a biologia sintética é outro.
Também devemos reduzir o risco das tecnologias de IA de hoje, mas a superinteligência requer manuseio e coordenação especiais.
Um ponto de partida
Há uma série de ideias que são importantes para nossas boas chances de navegar com sucesso nesse desenvolvimento; aqui apresentamos nossos primeiros pensamentos sobre três delas.
Primeiro, precisamos de algum grau de coordenação entre os principais esforços de desenvolvimento para garantir que o desenvolvimento da superinteligência prossiga de maneira que nos mantenha seguros e ajude esses sistemas a se integrarem suavemente à sociedade. Há muitas maneiras de fazer isso; os principais governos do mundo podem estabelecer um programa no qual muitos dos esforços atuais fazem parte, ou podemos concordar coletivamente (com o apoio da nova organização proposta abaixo) que recursos avançados de IA A taxa de crescimento da empresa deve ser limitada a uma determinada taxa a cada ano.
Obviamente, também se espera que empresas individuais atuem com responsabilidade e com padrões extremamente elevados.
Em segundo lugar, podemos acabar precisando de algo parecido com a AIEA (Agência Internacional de Energia Atômica) para esforços de superinteligência; qualquer esforço além de um certo limite de capacidades (ou recursos de computação, etc.) audit , testando a conformidade com os padrões de segurança, limitando os níveis de implantação e segurança e muito mais. Rastrear o uso de computação e energia ajudaria muito e nos daria alguma esperança de que essa ideia seja realmente viável. Como primeiro passo, as empresas poderiam concordar voluntariamente em começar a implementar elementos que tal agência poderia um dia exigir, enquanto, como segundo passo, países individuais poderiam implementá-los. É importante que essa agência se concentre em reduzir os riscos existentes, em vez de questões que devem ser deixadas para cada país, como definir o que a IA deve dizer.
Em terceiro lugar, precisamos de capacidades tecnológicas para garantir a superinteligência. Este é um problema de pesquisa em aberto, e muito trabalho está sendo feito por nós e por outros.
o que não está no escopo
Acreditamos que é importante permitir que empresas e projetos de código aberto desenvolvam modelos abaixo de um limite significativo de capacidade sem o tipo de regulamentação que descrevemos aqui (incluindo mecanismos onerosos, como licenças ou auditorias).
Os sistemas de hoje criarão um enorme valor no mundo e, embora tenham riscos, esses níveis de risco parecem compatíveis com outras tecnologias da Internet, e o que a sociedade pode fazer parece apropriado.
Por outro lado, os sistemas nos quais nos concentramos terão o poder de superar qualquer tecnologia que ainda não tenha sido criada, e devemos ter cuidado para não subestimar o foco em tecnologias que estão muito abaixo disso, aplicando padrões semelhantes a elas.
Contribuição pública e potencial
Mas a governança dos sistemas mais robustos e as decisões sobre sua implantação devem ter forte supervisão pública. Acreditamos que as pessoas ao redor do mundo devem determinar democraticamente os limites e padrões dos sistemas de IA. Ainda não sabemos como projetar tal mecanismo, mas planejamos experimentar seu desenvolvimento. Ainda acreditamos que, nessas escalas amplas, os usuários individuais devem ter muito controle sobre o comportamento da IA que usam.
Dados os riscos e dificuldades, vale a pena considerar por que estamos construindo essa tecnologia.
Na OpenAI, temos dois motivos fundamentais. Primeiro, acreditamos que isso levará a um mundo melhor do que imaginamos hoje (já vimos exemplos anteriores disso em áreas como educação, trabalho criativo e produtividade pessoal). O mundo enfrenta muitos problemas e precisamos de mais ajuda para resolvê-los; essa tecnologia pode melhorar nossa sociedade, e a capacidade criativa de todos que usam essas novas ferramentas certamente nos surpreenderá. O crescimento econômico e a melhoria da qualidade de vida serão fenomenais.
Em segundo lugar, acreditamos que impedir a superinteligência traria riscos e dificuldades não intuitivos. Como os benefícios são tão grandes, o custo de construção está caindo a cada ano, o número de jogadores que o constroem está aumentando rapidamente e é essencialmente parte do caminho tecnológico em que estamos, detê-lo requer algo semelhante a um sistema de vigilância global. , Mesmo isso não é garantido para funcionar. Então temos que acertar.