Всі публікації

LeaderUA

Завантажуємо курси валют від minfin.com.ua

Даріо Амодей ШІ: Без запобіжників одна людина може підірвати демократію

Гендиректор Anthropic Амодей: Ми зазирнули всередину нашої ШІ-моделі й помітили щось схоже на думки про те, що вона не хоче вимикатися.

Ми піддаємо моделі Anthropic жорстким випробуванням, щоб виявити брехню, обман і підлабузництво. Це трохи схоже на перевірки, які проходять кандидати до ЦРУ.

Даріо Амодей в інтервʼю The Builders: Якщо одна людина отримає кнопку, що керує мільйоном роботів чи дронів, вона зможе підірвати демократію — якщо ми не встановимо запобіжники.

Військові можуть відмовитися виконувати наказ, який порушує Конституцію США. ШІ-модель — ні.

Закони США ще не встигають за розвитком ШІ. Вони ніколи не передбачали армій із мільйона роботів.

Зараз окремі компанії самі вирішують, з ким укладати контракти, а кому відмовляти.

Спочатку ми хотіли навчити Claude списку правил. Вийшла б колюча конструкція зі 170 довільних приписів.

Ми зрозуміли, що краще навчити модель базових принципів: що ставити на перше місце і як міркувати, щоб чинити правильно.

Ми вчимо Claude принципів відкритого пошуку істини, турботи про людей, чесності й справедливості. Від них походять усі інші правила.

Цей підхід працює напрочуд добре: Claude може застосувати ці принципи в нових ситуаціях, яких ми навіть не уявляли.

Мене дуже налякала GPT-2 від OpenAI. Збільште її масштаб у мільйон разів і вона перевершить людей у всьому.

Таке масштабування визначить долю країн, економік і людства.

Мабуть, такий самий страх від GPT-2 відчували близько 10% людей навколо мене — часто найрозумніші. Інші 90% відмахнулися від неї, бо в кожній окремій справі вона ще не вражала.

Якщо ви працюєте на людину з іншим баченням, незрозуміло, за що саме відповідаєте ви. Доводиться відповідати й за помилки чужого бачення.

Кожні два тижні я годину розмовляю з усією командою на зустрічі. У нас є два непорушні правила. Я не ухвалюю там рішень, тож можу говорити вільно. І я завжди кажу команді правду.

В Anthropic семеро співзасновників і кожен має рівну частку. Багато хто казав, що така компанія розвалиться.

Усі семеро досі працюють разом. Таке рідко трапляється в компаніях із такою кількістю співзасновників.

Одна людина не може самотужки керувати компанією: ніхто не має всіх потрібних навичок. На чолі компанії має зібратися команда з 10–15 людей, які разом закриють усі ключові напрями.

Даріо Амодей, генеральний директор Anthropic

 

Даріо Амодей

Останні публікації