«Нам може знадобитися щось на кшталт МАГАТЕ (Міжнародного агентства з атомної енергії) для суперрозвідувальних зусиль; будь-які зусилля, що перевищують певний поріг можливостей (або ресурсів, таких як обчислювальна техніка), повинні бути перевірені міжнародним органом, вимагаючи аудиту, перевірки відповідності стандарти безпеки, обмеження щодо ступеня розгортання та рівня безпеки тощо».
Керівництво OpenAI опублікувало «Управління суперінтелектом» у своєму офіційному блозі.
Розвиток штучного інтелекту досить швидкий, а можливі небезпеки достатньо очевидні, тому керівництво OpenAI, розробника ChatGPT, добровільно заявило, що світові потрібен міжнародний орган суперінтелекту, подібний до того, що керує ядерною енергетикою.
22 травня за місцевим часом засновник OpenAI Сем Альтман (Sam Altman), президент Грег Брокман (Greg Brockman) і головний науковий співробітник Ілля Суцкевер (Ilya Sutskever) об'єднали зусилля в компанії, написавши в блозі, заявивши, що темпи інновацій у сфері штучного інтелекту відбувається настільки швидко, що ми не можемо очікувати, що існуючі інституції належним чином контролюватимуть технологію.
У статті під назвою «Управління суперінтелектом» визнається, що штучний інтелект не впорається сам з собою: «Врешті-решт нам може знадобитися щось схоже на МАГАТЕ (Міжнародне агентство з атомної енергії) для зусиль суперінтелекту; будь-які ресурси, такі як обчислювальні) порогові зусилля повинні бути перевіряються міжнародними органами, вимагають аудиту, перевіряють, чи відповідають вони стандартам безпеки, обмежують ступінь розгортання та рівень безпеки тощо».
Провідний дослідник штучного інтелекту та критик Тімніт Гебру сказав щось подібне в інтерв’ю The Guardian того дня: "Якщо немає зовнішнього тиску зробити щось інше, компанії не саморегулюються. Нам потрібне регулювання, нам потрібне щось краще, ніж чистий мотив отримання прибутку. Гебру звільнили з Google за те, що він відкрито говорив про небезпеку штучного інтелекту.
Пропозиція OpenAI може стати початком обговорення галузі, показуючи, що найбільші світові бренди та постачальники штучного інтелекту підтримують регулювання та терміново потребують громадського контролю, але «ще не знають, як розробити такий механізм».
Минулого тижня Альтман свідчив перед Конгресом США, що OpenAI був «дуже стурбований» тим, що на вибори впливає контент, створений ШІ. Він стурбований тим, що індустрія штучного інтелекту може «завдати значної шкоди світу». «Я думаю, що якщо ця технологія піде не так, вона може піти дуже не так, і ми хочемо говорити про це відверто». «Ми хочемо працювати з урядом, щоб цього не сталося». Альтман запропонував Конгресу створити нові агентства, які займаються питаннями Ліцензії на технології штучного інтелекту «за межами певного масштабу можливостей» повинні підлягати незалежному аудиту експертів, які можуть оцінити, чи відповідає модель цим нормам, перш ніж випускати систему штучного інтелекту для громадськості.
Нижче наведено повний текст «Управління суперінтелектом»:
Враховуючи картину, яку ми бачимо зараз, цілком можливо, що протягом наступного десятиліття системи штучного інтелекту перевищать рівень кваліфікації експертів у більшості областей і виконуватимуть стільки ж продуктивних дій, скільки одна з найбільших корпорацій сьогодні.
З точки зору потенційних переваг і недоліків, суперінтелект буде потужнішим за інші технології, з якими людям доводилося мати справу в минулому. Ми можемо мати більш процвітаюче майбутнє, але ми повинні керувати ризиками, щоб досягти цього. Враховуючи потенціал ризику, ми не можемо просто реагувати. Ядерна енергія є поширеним історичним прикладом технології такого характеру; синтетична біологія є іншим.
Ми також повинні зменшити ризики сучасних технологій штучного інтелекту, але суперінтелект вимагає особливого поводження та координації.
Відправна точка
Є низка ідей, які важливі для наших хороших шансів успішно керувати цим процесом; тут ми надаємо наші перші думки щодо трьох із них.
По-перше, нам потрібен певний ступінь координації між провідними зусиллями в галузі розвитку, щоб гарантувати, що розвиток суперінтелекту ведеться таким чином, який забезпечує нашу безпеку та допомагає цим системам плавно інтегруватися в суспільство. Є багато способів, як цього можна досягти; провідні уряди світу можуть створити програму, до якої входять багато поточних зусиль, або ми можемо колективно погодитися (за підтримки нової організації, запропонованої нижче), що передові можливості ШІ Темп зростання компанії повинен обмежуватися певною швидкістю щороку.
Звичайно, очікується, що окремі компанії будуть діяти відповідально та з надзвичайно високими стандартами.
По-друге, нам може знадобитися щось схоже на МАГАТЕ (Міжнародне агентство з атомної енергії) для суперрозвідувальних зусиль; будь-які зусилля, що перевищують певний поріг можливостей (або обчислювальних ресурсів тощо), повинні бути перевірені міжнародним органом, вимагаючи аудит , тестування на відповідність стандартам безпеки, обмеження розгортання та рівні безпеки тощо. Відстеження використання обчислювальної техніки та енергії дуже допомогло б і дало б нам надію, що ця ідея справді здійсненна. У якості першого кроку компанії можуть добровільно погодитися розпочати впровадження елементів, які одного дня можуть знадобитися такому агентству, а в якості другого кроку окремі країни можуть їх впровадити. Важливо, щоб таке агентство зосереджувалося на зниженні існуючих ризиків, а не на питаннях, які слід залишити на розсуд окремих країн, наприклад на визначенні того, що ШІ має бути дозволено говорити.
По-третє, нам потрібні технологічні можливості для забезпечення суперінтелекту. Це відкрита дослідницька проблема, і ми та інші ведемо велику роботу.
те, що не входить до сфери дії
Ми вважаємо, що важливо дозволити компаніям і проектам з відкритим кодом розробляти моделі, які не мають значного порогу можливостей, без такого регулювання, яке ми описуємо тут (включно з обтяжливими механізмами, такими як ліцензії чи аудити).
Сучасні системи створять величезну цінність у світі, і, хоча вони мають ризики, ці рівні ризику здаються співрозмірними з іншими Інтернет-технологіями, і те, що може зробити суспільство, виглядає доречним.
Навпаки, системи, на яких ми зосереджуємося, матимуть імпульс, щоб перевершити будь-яку технологію, яка ще не була створена, і ми повинні бути обережними, щоб не применшити увагу до технологій, які є набагато нижчими, застосовуючи до них подібні стандарти.
Громадський внесок і потенціал
Але управління найнадійнішими системами та рішення щодо їхнього розгортання повинні мати жорсткий громадський нагляд. Ми віримо, що люди в усьому світі повинні демократично визначати межі та стандартні параметри систем ШІ. Ми ще не знаємо, як сконструювати такий механізм, але плануємо поекспериментувати з його розробкою. Ми все ще вважаємо, що в цих широких масштабах окремі користувачі повинні мати великий контроль над поведінкою ШІ, який вони використовують.
Враховуючи ризики та труднощі, варто подумати, чому ми створюємо цю технологію.
У OpenAI є дві основні причини. По-перше, ми віримо, що це призведе до кращого світу, ніж ми собі уявляємо сьогодні (ми бачили перші приклади цього в таких сферах, як освіта, творча робота та особиста продуктивність). Світ стикається з багатьма проблемами, і нам потрібна допомога для їх вирішення; ця технологія може покращити наше суспільство, і творчі здібності кожного, хто використовує ці нові інструменти, безсумнівно, нас здивують. Економічне зростання та покращення якості життя будуть феноменальними.
По-друге, ми вважаємо, що запобігання суперінтелекту буде мати неінтуїтивні ризики та труднощі. Оскільки переваги такі великі, вартість його будівництва падає з кожним роком, кількість гравців, які його будують, швидко зростає, і це, по суті, частина технологічного шляху, на якому ми рухаємося, щоб зупинити його, потрібно щось схоже на глобальну систему спостереження. , Навіть це не гарантовано спрацює. Тож ми повинні це зробити правильно.
Переглянути оригінал
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Керівне тріо OpenAI разом написало статтю, в якій закликає створити міжнародний орган для нагляду за суперрозвідкою
Джерело: The Paper
Репортер Фан Сяо
«Нам може знадобитися щось на кшталт МАГАТЕ (Міжнародного агентства з атомної енергії) для суперрозвідувальних зусиль; будь-які зусилля, що перевищують певний поріг можливостей (або ресурсів, таких як обчислювальна техніка), повинні бути перевірені міжнародним органом, вимагаючи аудиту, перевірки відповідності стандарти безпеки, обмеження щодо ступеня розгортання та рівня безпеки тощо».
Розвиток штучного інтелекту досить швидкий, а можливі небезпеки достатньо очевидні, тому керівництво OpenAI, розробника ChatGPT, добровільно заявило, що світові потрібен міжнародний орган суперінтелекту, подібний до того, що керує ядерною енергетикою.
22 травня за місцевим часом засновник OpenAI Сем Альтман (Sam Altman), президент Грег Брокман (Greg Brockman) і головний науковий співробітник Ілля Суцкевер (Ilya Sutskever) об'єднали зусилля в компанії, написавши в блозі, заявивши, що темпи інновацій у сфері штучного інтелекту відбувається настільки швидко, що ми не можемо очікувати, що існуючі інституції належним чином контролюватимуть технологію.
У статті під назвою «Управління суперінтелектом» визнається, що штучний інтелект не впорається сам з собою: «Врешті-решт нам може знадобитися щось схоже на МАГАТЕ (Міжнародне агентство з атомної енергії) для зусиль суперінтелекту; будь-які ресурси, такі як обчислювальні) порогові зусилля повинні бути перевіряються міжнародними органами, вимагають аудиту, перевіряють, чи відповідають вони стандартам безпеки, обмежують ступінь розгортання та рівень безпеки тощо».
Провідний дослідник штучного інтелекту та критик Тімніт Гебру сказав щось подібне в інтерв’ю The Guardian того дня: "Якщо немає зовнішнього тиску зробити щось інше, компанії не саморегулюються. Нам потрібне регулювання, нам потрібне щось краще, ніж чистий мотив отримання прибутку. Гебру звільнили з Google за те, що він відкрито говорив про небезпеку штучного інтелекту.
Пропозиція OpenAI може стати початком обговорення галузі, показуючи, що найбільші світові бренди та постачальники штучного інтелекту підтримують регулювання та терміново потребують громадського контролю, але «ще не знають, як розробити такий механізм».
Минулого тижня Альтман свідчив перед Конгресом США, що OpenAI був «дуже стурбований» тим, що на вибори впливає контент, створений ШІ. Він стурбований тим, що індустрія штучного інтелекту може «завдати значної шкоди світу». «Я думаю, що якщо ця технологія піде не так, вона може піти дуже не так, і ми хочемо говорити про це відверто». «Ми хочемо працювати з урядом, щоб цього не сталося». Альтман запропонував Конгресу створити нові агентства, які займаються питаннями Ліцензії на технології штучного інтелекту «за межами певного масштабу можливостей» повинні підлягати незалежному аудиту експертів, які можуть оцінити, чи відповідає модель цим нормам, перш ніж випускати систему штучного інтелекту для громадськості.
Нижче наведено повний текст «Управління суперінтелектом»:
Враховуючи картину, яку ми бачимо зараз, цілком можливо, що протягом наступного десятиліття системи штучного інтелекту перевищать рівень кваліфікації експертів у більшості областей і виконуватимуть стільки ж продуктивних дій, скільки одна з найбільших корпорацій сьогодні.
З точки зору потенційних переваг і недоліків, суперінтелект буде потужнішим за інші технології, з якими людям доводилося мати справу в минулому. Ми можемо мати більш процвітаюче майбутнє, але ми повинні керувати ризиками, щоб досягти цього. Враховуючи потенціал ризику, ми не можемо просто реагувати. Ядерна енергія є поширеним історичним прикладом технології такого характеру; синтетична біологія є іншим.
Ми також повинні зменшити ризики сучасних технологій штучного інтелекту, але суперінтелект вимагає особливого поводження та координації.
Відправна точка
Є низка ідей, які важливі для наших хороших шансів успішно керувати цим процесом; тут ми надаємо наші перші думки щодо трьох із них.
По-перше, нам потрібен певний ступінь координації між провідними зусиллями в галузі розвитку, щоб гарантувати, що розвиток суперінтелекту ведеться таким чином, який забезпечує нашу безпеку та допомагає цим системам плавно інтегруватися в суспільство. Є багато способів, як цього можна досягти; провідні уряди світу можуть створити програму, до якої входять багато поточних зусиль, або ми можемо колективно погодитися (за підтримки нової організації, запропонованої нижче), що передові можливості ШІ Темп зростання компанії повинен обмежуватися певною швидкістю щороку.
Звичайно, очікується, що окремі компанії будуть діяти відповідально та з надзвичайно високими стандартами.
По-друге, нам може знадобитися щось схоже на МАГАТЕ (Міжнародне агентство з атомної енергії) для суперрозвідувальних зусиль; будь-які зусилля, що перевищують певний поріг можливостей (або обчислювальних ресурсів тощо), повинні бути перевірені міжнародним органом, вимагаючи аудит , тестування на відповідність стандартам безпеки, обмеження розгортання та рівні безпеки тощо. Відстеження використання обчислювальної техніки та енергії дуже допомогло б і дало б нам надію, що ця ідея справді здійсненна. У якості першого кроку компанії можуть добровільно погодитися розпочати впровадження елементів, які одного дня можуть знадобитися такому агентству, а в якості другого кроку окремі країни можуть їх впровадити. Важливо, щоб таке агентство зосереджувалося на зниженні існуючих ризиків, а не на питаннях, які слід залишити на розсуд окремих країн, наприклад на визначенні того, що ШІ має бути дозволено говорити.
По-третє, нам потрібні технологічні можливості для забезпечення суперінтелекту. Це відкрита дослідницька проблема, і ми та інші ведемо велику роботу.
те, що не входить до сфери дії
Ми вважаємо, що важливо дозволити компаніям і проектам з відкритим кодом розробляти моделі, які не мають значного порогу можливостей, без такого регулювання, яке ми описуємо тут (включно з обтяжливими механізмами, такими як ліцензії чи аудити).
Сучасні системи створять величезну цінність у світі, і, хоча вони мають ризики, ці рівні ризику здаються співрозмірними з іншими Інтернет-технологіями, і те, що може зробити суспільство, виглядає доречним.
Навпаки, системи, на яких ми зосереджуємося, матимуть імпульс, щоб перевершити будь-яку технологію, яка ще не була створена, і ми повинні бути обережними, щоб не применшити увагу до технологій, які є набагато нижчими, застосовуючи до них подібні стандарти.
Громадський внесок і потенціал
Але управління найнадійнішими системами та рішення щодо їхнього розгортання повинні мати жорсткий громадський нагляд. Ми віримо, що люди в усьому світі повинні демократично визначати межі та стандартні параметри систем ШІ. Ми ще не знаємо, як сконструювати такий механізм, але плануємо поекспериментувати з його розробкою. Ми все ще вважаємо, що в цих широких масштабах окремі користувачі повинні мати великий контроль над поведінкою ШІ, який вони використовують.
Враховуючи ризики та труднощі, варто подумати, чому ми створюємо цю технологію.
У OpenAI є дві основні причини. По-перше, ми віримо, що це призведе до кращого світу, ніж ми собі уявляємо сьогодні (ми бачили перші приклади цього в таких сферах, як освіта, творча робота та особиста продуктивність). Світ стикається з багатьма проблемами, і нам потрібна допомога для їх вирішення; ця технологія може покращити наше суспільство, і творчі здібності кожного, хто використовує ці нові інструменти, безсумнівно, нас здивують. Економічне зростання та покращення якості життя будуть феноменальними.
По-друге, ми вважаємо, що запобігання суперінтелекту буде мати неінтуїтивні ризики та труднощі. Оскільки переваги такі великі, вартість його будівництва падає з кожним роком, кількість гравців, які його будують, швидко зростає, і це, по суті, частина технологічного шляху, на якому ми рухаємося, щоб зупинити його, потрібно щось схоже на глобальну систему спостереження. , Навіть це не гарантовано спрацює. Тож ми повинні це зробити правильно.