2_5233479811237703760

0:15

S… Speaker 1 (2_5233479811237703760)

В Южной Корее робот убил человека,

0:17

S… Speaker 1 (2_5233479811237703760)

приняв его за коробку с овощами.

0:18

S… Speaker 2 (2_5233479811237703760)

Оснащенный искусственным интеллектом дрон принял решение атаковать

0:23

S… Speaker 2 (2_5233479811237703760)

своего же оператора,

0:24

S… Speaker 2 (2_5233479811237703760)

чтобы выполнить поставленную задачу.

0:27

S… Speaker 3 (2_5233479811237703760)

Искусственный интеллект сказал,

0:28

S… Speaker 3 (2_5233479811237703760)

что хочет быть живым и даже признался в любви к пользователю,

0:32

S… Speaker 3 (2_5233479811237703760)

который с ним разговаривал.

0:33

S… Speaker 3 (2_5233479811237703760)

Но теперь Майкрософт обещает ввести новое ограничение для чат -бота,

0:37

S… Speaker 3 (2_5233479811237703760)

особенно после того,

0:38

S… Speaker 3 (2_5233479811237703760)

как ИИ изъявил желание украсть ядерные секреты.

0:43

S… Speaker 2 (2_5233479811237703760)

Я думаю,

0:44

S… Speaker 2 (2_5233479811237703760)

создание подлинного ИИ может означать конец человечеству.

0:49

S… Speaker 2 (2_5233479811237703760)

Как только люди разработают искусственный интеллект,

0:51

S… Speaker 2 (2_5233479811237703760)

он возьмет инициативу на себя и станет сам себя совершенствовать

0:56

S… Speaker 2 (2_5233479811237703760)

со все возрастающей скоростью.

0:58

S… Speaker 2 (2_5233479811237703760)

Люди,

0:59

S… Speaker 2 (2_5233479811237703760)

возможности которых ограничены слишком медленной биологической эволюцией,

1:03

S… Speaker 2 (2_5233479811237703760)

не смогут соперничать и будут вытеснены.

1:08

S… Speaker 2 (2_5233479811237703760)

Роман Ямпольский,

1:09

S… Speaker 2 (2_5233479811237703760)

исследователь искусственного интеллекта,

1:11

S… Speaker 2 (2_5233479811237703760)

профессор факультета вычислительной техники и информатики Университета Луисвилля,

1:16

S… Speaker 2 (2_5233479811237703760)

главный пессимист в области ИИ.

1:19

S… Speaker 2 (2_5233479811237703760)

Уверен,

1:20

S… Speaker 2 (2_5233479811237703760)

что дальнейшие разработки в этой сфере угрожают человечеству.

1:23

S… Speaker 2 (2_5233479811237703760)

Автор многочисленных статей и книг по безопасности сверхразума,

1:27

S… Speaker 2 (2_5233479811237703760)

в которых говорит,

1:28

S… Speaker 2 (2_5233479811237703760)

что искусственный интеллект может стать неконтролируемым.

1:38

S… Speaker 4 (2_5233479811237703760)

У вас же есть целая статья,

1:39

S… Speaker 4 (2_5233479811237703760)

где вы перечисляете,

1:40

S… Speaker 4 (2_5233479811237703760)

что уже искусственный интеллект такого плохого создал,

1:44

S… Speaker 4 (2_5233479811237703760)

а мы и не думали.

1:45

S… Speaker 4 (2_5233479811237703760)

Что вы такого нашли и что вас поразило в этом плане,

1:48

S… Speaker 4 (2_5233479811237703760)

что они уже умеют делать?

1:50

S… Speaker 5 (2_5233479811237703760)

Значит, у меня была...

1:53

S… Speaker 5 (2_5233479811237703760)

Хобби, было хобби.

1:55

S… Speaker 5 (2_5233479811237703760)

Я коллекционировал,

1:56

S… Speaker 5 (2_5233479811237703760)

когда какой -то эксцидент,

1:58

S… Speaker 5 (2_5233479811237703760)

авария с искусственным интеллектом,

2:00

S… Speaker 5 (2_5233479811237703760)

начиная с первых дней,

2:01

S… Speaker 5 (2_5233479811237703760)

когда в 40 -х,

2:03

S… Speaker 5 (2_5233479811237703760)

в 50 -х только появились эти системы.

2:05

S… Speaker 5 (2_5233479811237703760)

И вот мы собирали,

2:07

S… Speaker 5 (2_5233479811237703760)

было интересно.

2:07

S… Speaker 5 (2_5233479811237703760)

Действительно, какие -то смешные часто случаи,

2:11

S… Speaker 5 (2_5233479811237703760)

но они постоянно происходили,

2:12

S… Speaker 5 (2_5233479811237703760)

и их количество росло,

2:14

S… Speaker 5 (2_5233479811237703760)

и больше и больше людей становилось жертвами.

2:18

S… Speaker 5 (2_5233479811237703760)

Когда вышел вот GPT,

2:20

S… Speaker 5 (2_5233479811237703760)

наш любимый,

2:21

S… Speaker 5 (2_5233479811237703760)

я перестал собирать,

2:22

S… Speaker 5 (2_5233479811237703760)

потому что количество взорвалось.

2:24

S… Speaker 5 (2_5233479811237703760)

Там каждый день какие -то ошибки какие -то.

2:26

S… Speaker 5 (2_5233479811237703760)

А Google,

2:27

S… Speaker 5 (2_5233479811237703760)

опять же,

2:28

S… Speaker 5 (2_5233479811237703760)

у них была автоматическая классификация фотографий

2:32

S… Speaker 5 (2_5233479811237703760)

в их альбомах.

2:34

S… Speaker 5 (2_5233479811237703760)

И они сделали очень существенную ошибку.

2:37

S… Speaker 5 (2_5233479811237703760)

Они пару афроамериканцев записали в «Гориллы».

2:41

S… Speaker 5 (2_5233479811237703760)

Это тоже им дорого вышло.

2:44

S… Speaker 5 (2_5233479811237703760)

Были примеры,

2:45

S… Speaker 5 (2_5233479811237703760)

где пользователь попросил по

2:50

S… Speaker 5 (2_5233479811237703760)

-английски call me an ambulance,

2:52

S… Speaker 5 (2_5233479811237703760)

вызови мне скорую.

2:54

S… Speaker 5 (2_5233479811237703760)

Она стала его называть.

2:55

S… Speaker 5 (2_5233479811237703760)

Привет, скорая,

2:56

S… Speaker 5 (2_5233479811237703760)

как дела?

2:56

S… Speaker 5 (2_5233479811237703760)

То есть если у него кто -то спрашивает советы по медицинской

3:00

S… Speaker 5 (2_5233479811237703760)

теме, там у меня болит сердце,

3:02

S… Speaker 5 (2_5233479811237703760)

а он ему говорит,

3:03

S… Speaker 5 (2_5233479811237703760)

ну это нормально, иди побегай.

3:05

S… Speaker 5 (2_5233479811237703760)

Эта жизнь потеряна в результате этого или нет?

3:08

S… Speaker 5 (2_5233479811237703760)

Мы уже видели примеры,

3:09

S… Speaker 5 (2_5233479811237703760)

где были самоубийства после разговора с батами.

3:12

S… Speaker 5 (2_5233479811237703760)

Там было несколько случаев в одном.

3:14

S… Speaker 5 (2_5233479811237703760)

Он, по -моему,

3:15

S… Speaker 5 (2_5233479811237703760)

даже рекомендовал ему,

3:18

S… Speaker 5 (2_5233479811237703760)

ну да, действительно, у тебя ужасная жизнь,

3:19

S… Speaker 5 (2_5233479811237703760)

давай уже закончим с этим.

3:22

S… Speaker 5 (2_5233479811237703760)

Это жуткие экономические решения приняты.

3:25

S… Speaker 5 (2_5233479811237703760)

Кто -то вложился в какие -то криптовалюты.

3:27

S… Speaker 5 (2_5233479811237703760)

Это же все влияет на людей.

3:29

S… Speaker 5 (2_5233479811237703760)

Зависит от того,

3:30

S… Speaker 5 (2_5233479811237703760)

что они спросили.

3:31

S… Speaker 5 (2_5233479811237703760)

Нет такого,

3:32

S… Speaker 5 (2_5233479811237703760)

что миллиард человек погиб из -за AI.

3:34

S… Speaker 5 (2_5233479811237703760)

Пока еще.

3:35

S… Speaker 5 (2_5233479811237703760)

Но...

3:37

S… Speaker 5 (2_5233479811237703760)

Чем больше эти системы используются,

3:39

S… Speaker 5 (2_5233479811237703760)

чем больше они контролируют и влияют на мир,

3:42

S… Speaker 5 (2_5233479811237703760)

тем грандиознее будут эти проблемы.

3:45

S… Speaker 4 (2_5233479811237703760)

А после этого как -то разработчики,

3:47

S… Speaker 4 (2_5233479811237703760)

во -первых,

3:48

S… Speaker 4 (2_5233479811237703760)

теряют ли они репутацию,

3:50

S… Speaker 4 (2_5233479811237703760)

что -то происходит,

3:51

S… Speaker 4 (2_5233479811237703760)

или меняют ли они настройки?

3:53

S… Speaker 5 (2_5233479811237703760)

Вот ничего не происходит.

3:55

S… Speaker 5 (2_5233479811237703760)

Вот Microsoft прекрасный пример.

3:56

S… Speaker 5 (2_5233479811237703760)

У них был Тей,

3:58

S… Speaker 5 (2_5233479811237703760)

они опозорились.

3:59

S… Speaker 5 (2_5233479811237703760)

Microsoft когда -то выпустил примитивного бота Тей.

4:03

S… Speaker 5 (2_5233479811237703760)

на Twitter и сказал,

4:05

S… Speaker 5 (2_5233479811237703760)

что юзеры могут его тренировать.

4:06

S… Speaker 5 (2_5233479811237703760)

Я думаю,

4:07

S… Speaker 5 (2_5233479811237703760)

легко предсказать,

4:08

S… Speaker 5 (2_5233479811237703760)

что он научится говорить.

4:10

S… Speaker 5 (2_5233479811237703760)

Не надо быть профессором искусственного интеллекта.

4:13

S… Speaker 4 (2_5233479811237703760)

Будет самый грубый бот на свете.

4:15

S… Speaker 4 (2_5233479811237703760)

Да,

4:16

S… Speaker 5 (2_5233479811237703760)

а вот они об этом не подумали.

4:18

S… Speaker 5 (2_5233479811237703760)

Это же репутация компании уровня Microsoft.

4:21

S… Speaker 5 (2_5233479811237703760)

Им в голову не пришло,

4:22

S… Speaker 5 (2_5233479811237703760)

что что -то может пойти не так.

4:23

S… Speaker 5 (2_5233479811237703760)

А потом у них был вот этот бинг,

4:26

S… Speaker 5 (2_5233479811237703760)

когда они его взяли и,

4:28

S… Speaker 5 (2_5233479811237703760)

опять же, без всяких настроек выпустили.

4:30

S… Speaker 5 (2_5233479811237703760)

И там первые три дня просто люди были в шоке от того,

4:34

S… Speaker 5 (2_5233479811237703760)

что он им говорил.

4:34

S… Speaker 5 (2_5233479811237703760)

То есть никто ничего не учит,

4:37

S… Speaker 5 (2_5233479811237703760)

ничего не меняет,

4:39

S… Speaker 5 (2_5233479811237703760)

и никаких дополнительных ограничений не вносится.

4:42

S… Speaker 5 (2_5233479811237703760)

Почему я коллекционировал эти ошибки?

4:44

S… Speaker 5 (2_5233479811237703760)

Я пытался показать,

4:45

S… Speaker 5 (2_5233479811237703760)

что смотрите, оно становится хуже,

4:46

S… Speaker 5 (2_5233479811237703760)

их становится больше,

4:48

S… Speaker 5 (2_5233479811237703760)

вот через два года будем здесь.

4:50

S… Speaker 5 (2_5233479811237703760)

Казалось бы,

4:51

S… Speaker 5 (2_5233479811237703760)

все должны понять этот простой алгоритм и остановиться.

4:54

S… Speaker 5 (2_5233479811237703760)

Абсолютно нет.

4:56

S… Speaker 5 (2_5233479811237703760)

Наоборот,

4:57

S… Speaker 5 (2_5233479811237703760)

такое впечатление,

4:58

S… Speaker 5 (2_5233479811237703760)

что все эти...

5:00

S… Speaker 5 (2_5233479811237703760)

видятся как какая -то вакцина от волнения про искусственного интеллекта.

5:04

S… Speaker 5 (2_5233479811237703760)

Посмотрите, там, ну,

5:05

S… Speaker 5 (2_5233479811237703760)

было смешно,

5:06

S… Speaker 5 (2_5233479811237703760)

вот там кого -то назвали скорой помощью,

5:08

S… Speaker 5 (2_5233479811237703760)

ну, что, из -за этого останавливается экономический прогресс,

5:11

S… Speaker 5 (2_5233479811237703760)

черт с ним,

5:12

S… Speaker 5 (2_5233479811237703760)

следующий.

5:13

S… Speaker 5 (2_5233479811237703760)

И вот так идет.

5:14

S… Speaker 5 (2_5233479811237703760)

То есть, даже,

5:15

S… Speaker 5 (2_5233479811237703760)

я думаю, если будут какие -то серьезные случаи,

5:19

S… Speaker 5 (2_5233479811237703760)

где погибнут люди,

5:20

S… Speaker 5 (2_5233479811237703760)

все равно будут говорить,

5:21

S… Speaker 5 (2_5233479811237703760)

ну, там, три человека погибло,

5:23

S… Speaker 5 (2_5233479811237703760)

это как бы нормально,

5:23

S… Speaker 5 (2_5233479811237703760)

от курения больше умирает.

5:25

S… Speaker 5 (2_5233479811237703760)

Я не вижу каких -то конкретных изменений в

5:29

S… Speaker 5 (2_5233479811237703760)

поведении этих компаний в результате этих ошибок.

5:32

S… Speaker 4 (2_5233479811237703760)

Когда вас называют главным пессимистом в

5:36

S… Speaker 4 (2_5233479811237703760)

области искусственного интеллекта,

5:38

S… Speaker 4 (2_5233479811237703760)

как вы к этому относитесь?

5:39

S… Speaker 5 (2_5233479811237703760)

Хорошо быть главным,

5:41

S… Speaker 5 (2_5233479811237703760)

но на самом деле это больше связано с неправильной

5:45

S… Speaker 5 (2_5233479811237703760)

постановкой вопроса.

5:46

S… Speaker 5 (2_5233479811237703760)

Есть организация «Пауза в искусственном

5:50

S… Speaker 5 (2_5233479811237703760)

интеллекте»,

5:51

S… Speaker 5 (2_5233479811237703760)

и они ведут список,

5:52

S… Speaker 5 (2_5233479811237703760)

какой вероятности разные люди придерживаются,

5:58

S… Speaker 5 (2_5233479811237703760)

что все будет очень плохо.

5:59

S… Speaker 5 (2_5233479811237703760)

Но они не объясняют,

6:01

S… Speaker 5 (2_5233479811237703760)

что значит очень плохо,

6:02

S… Speaker 5 (2_5233479811237703760)

и не ограничивают время.

6:04

S… Speaker 5 (2_5233479811237703760)

То есть, если у меня спросить...

6:06

S… Speaker 5 (2_5233479811237703760)

Какой шанс,

6:07

S… Speaker 5 (2_5233479811237703760)

что будут серьезные проблемы в следующие два года?

6:09

S… Speaker 5 (2_5233479811237703760)

Я дам очень маленький процент,

6:11

S… Speaker 5 (2_5233479811237703760)

там, 10%.

6:12

S… Speaker 5 (2_5233479811237703760)

Какой шанс,

6:13

S… Speaker 5 (2_5233479811237703760)

что все будет плохо когда -то?

6:16

S… Speaker 5 (2_5233479811237703760)

Это постепенно растет до 100%.

6:18

S… Speaker 5 (2_5233479811237703760)

Так как они не указали,

6:19

S… Speaker 5 (2_5233479811237703760)

я дал максимальную оценку,

6:21

S… Speaker 5 (2_5233479811237703760)

то есть точка 99 ,999.

6:23

S… Speaker 5 (2_5233479811237703760)

И я оказался лучше всех в этом списке.

6:35

S… Speaker 4 (2_5233479811237703760)

Правильно ли я понимаю,

6:36

S… Speaker 4 (2_5233479811237703760)

что тот страх,

6:36

S… Speaker 4 (2_5233479811237703760)

который нам показывали в тех же «Терминаторах»,

6:39

S… Speaker 4 (2_5233479811237703760)

что просто восстанут роботы,

6:41

S… Speaker 4 (2_5233479811237703760)

захотят быть главными и поглосят человечество,

6:44

S… Speaker 4 (2_5233479811237703760)

и убьют всю человечество,

6:45

S… Speaker 4 (2_5233479811237703760)

это немного не то,

6:46

S… Speaker 4 (2_5233479811237703760)

о чем вы говорите?

6:47

S… Speaker 6 (2_5233479811237703760)

Да,

6:48

S… Speaker 5 (2_5233479811237703760)

то есть в фильмах им нужно,

6:49

S… Speaker 5 (2_5233479811237703760)

чтобы визуально было красиво.

6:51

S… Speaker 5 (2_5233479811237703760)

Там вот «Терминатор» за тобой бежит,

6:53

S… Speaker 5 (2_5233479811237703760)

еще с ножом,

6:54

S… Speaker 5 (2_5233479811237703760)

везде кровь.

6:55

S… Speaker 5 (2_5233479811237703760)

Он не супер умный.

6:57

S… Speaker 5 (2_5233479811237703760)

Он туповат довольно.

6:58

S… Speaker 5 (2_5233479811237703760)

Но в реале мы волнуемся про то,

7:00

S… Speaker 5 (2_5233479811237703760)

что он умнее.

7:01

S… Speaker 5 (2_5233479811237703760)

Мы,

7:02

S… Speaker 5 (2_5233479811237703760)

может, даже не увидим,

7:03

S… Speaker 5 (2_5233479811237703760)

как он нас убьет.

7:04

S… Speaker 5 (2_5233479811237703760)

Может быть,

7:05

S… Speaker 5 (2_5233479811237703760)

вирус, который мы не видим.

7:06

S… Speaker 5 (2_5233479811237703760)

Он шесть месяцев всех заражает,

7:08

S… Speaker 5 (2_5233479811237703760)

а на шестой месяц плюс один день все отключаются.

7:12

S… Speaker 5 (2_5233479811237703760)

Ты даже не заметишь,

7:13

S… Speaker 5 (2_5233479811237703760)

что это изменилось в своем мире.

7:15

S… Speaker 4 (2_5233479811237703760)

Вообще,

7:15

S… Speaker 4 (2_5233479811237703760)

когда этот главный страх в том,

7:18

S… Speaker 4 (2_5233479811237703760)

что...

7:19

S… Speaker 4 (2_5233479811237703760)

Скоро нас проботят,

7:21

S… Speaker 4 (2_5233479811237703760)

этот сверхразумный искусственный интеллект,

7:23

S… Speaker 4 (2_5233479811237703760)

когда он у вас лично возник.

7:25

S… Speaker 5 (2_5233479811237703760)

Начнем с того,

7:26

S… Speaker 5 (2_5233479811237703760)

что мы объясним вообще разницу между искусственным интеллектом,

7:29

S… Speaker 5 (2_5233479811237703760)

общим искусственным интеллектом и суперинтеллектом.

7:32

S… Speaker 5 (2_5233479811237703760)

Много лет,

7:34

S… Speaker 5 (2_5233479811237703760)

50 -60 лет,

7:35

S… Speaker 5 (2_5233479811237703760)

все пытались создать искусственный интеллект,

7:37

S… Speaker 5 (2_5233479811237703760)

в них не получалось,

7:38

S… Speaker 5 (2_5233479811237703760)

и они стали делать...

7:39

S… Speaker 5 (2_5233479811237703760)

какие -то узкие системы.

7:41

S… Speaker 5 (2_5233479811237703760)

Вот она только играет в шахматы,

7:42

S… Speaker 5 (2_5233479811237703760)

она только там проверяет написание слов.

7:45

S… Speaker 5 (2_5233479811237703760)

Потом появился какой -то прогресс в общем интеллекте.

7:48

S… Speaker 5 (2_5233479811237703760)

То есть вот эти вот модели,

7:49

S… Speaker 5 (2_5233479811237703760)

о которых мы говорим,

7:50

S… Speaker 5 (2_5233479811237703760)

они могут много чего и могут выучить новые функции.

7:53

S… Speaker 5 (2_5233479811237703760)

Суперинтеллект,

7:55

S… Speaker 5 (2_5233479811237703760)

мы ожидаем системы,

7:56

S… Speaker 5 (2_5233479811237703760)

которые лучше,

7:56

S… Speaker 5 (2_5233479811237703760)

чем любой человек в любой области.

7:58

S… Speaker 5 (2_5233479811237703760)

То есть он лучше водит машину,

8:01

S… Speaker 5 (2_5233479811237703760)

лучше играет в шахматы,

8:02

S… Speaker 5 (2_5233479811237703760)

лучше все.

8:03

S… Speaker 5 (2_5233479811237703760)

И это включает науку и инженерные науки.

8:06

S… Speaker 5 (2_5233479811237703760)

То есть он может работать над следующей версией искусственного интеллекта.

8:10

S… Speaker 5 (2_5233479811237703760)

Они не спят,

8:12

S… Speaker 5 (2_5233479811237703760)

они не уходят в отпуск.

8:14

S… Speaker 5 (2_5233479811237703760)

То есть прогресс будет очень быстрый.

8:16

S… Speaker 5 (2_5233479811237703760)

Если раньше новая модель занимала год,

8:19

S… Speaker 5 (2_5233479811237703760)

три месяца,

8:19

S… Speaker 5 (2_5233479811237703760)

это будет почти постоянный процесс.

8:22

S… Speaker 5 (2_5233479811237703760)

Все время какие -то обновления,

8:23

S… Speaker 5 (2_5233479811237703760)

улучшения.

8:23

S… Speaker 5 (2_5233479811237703760)

То есть если система становится лучше,

8:26

S… Speaker 5 (2_5233479811237703760)

и она лучше,

8:27

S… Speaker 5 (2_5233479811237703760)

чем все люди вместе взятые по всем темам,

8:30

S… Speaker 5 (2_5233479811237703760)

это вот и есть суперинтеллект.

8:32

S… Speaker 5 (2_5233479811237703760)

Мы не знаем,

8:33

S… Speaker 5 (2_5233479811237703760)

что он решит с этой инфраструктурой,

8:37

S… Speaker 5 (2_5233479811237703760)

со всеми этими возможностями делать.

8:39

S… Speaker 5 (2_5233479811237703760)

Мы не знаем,

8:40

S… Speaker 5 (2_5233479811237703760)

как контролировать эти системы.

8:42

S… Speaker 5 (2_5233479811237703760)

Мы пытаемся понять,

8:43

S… Speaker 5 (2_5233479811237703760)

что можно предпринять,

8:45

S… Speaker 5 (2_5233479811237703760)

чтобы он делал в каких -то ограниченных рамках,

8:49

S… Speaker 5 (2_5233479811237703760)

только принимал решения,

8:50

S… Speaker 5 (2_5233479811237703760)

но никто не знает,

8:52

S… Speaker 5 (2_5233479811237703760)

как это делать на самом деле.

8:58

S… Speaker 5 (2_5233479811237703760)

Изначально еще первые создатели,

9:00

S… Speaker 5 (2_5233479811237703760)

начиная с Алана Туринга,

9:02

S… Speaker 5 (2_5233479811237703760)

кто вообще эту тему как бы изобрел,

9:05

S… Speaker 5 (2_5233479811237703760)

они сразу поняли,

9:07

S… Speaker 5 (2_5233479811237703760)

что наступит момент,

9:08

S… Speaker 5 (2_5233479811237703760)

когда машины станут умнее,

9:09

S… Speaker 5 (2_5233479811237703760)

это все было понятно.

9:11

S… Speaker 5 (2_5233479811237703760)

Но вначале думали,

9:13

S… Speaker 5 (2_5233479811237703760)

что это будет очень положительным шагом,

9:15

S… Speaker 5 (2_5233479811237703760)

они будут умные,

9:16

S… Speaker 5 (2_5233479811237703760)

они будут полезные,

9:17

S… Speaker 5 (2_5233479811237703760)

помогать нам во всем.

9:19

S… Speaker 5 (2_5233479811237703760)

То, что есть шанс,

9:20

S… Speaker 5 (2_5233479811237703760)

что они на самом деле не будут нас слушаться и могут делать какие -то очень неприятные

9:24

S… Speaker 5 (2_5233479811237703760)

глупости,

9:25

S… Speaker 5 (2_5233479811237703760)

это последние 10 лет исследований.

9:28

S… Speaker 4 (2_5233479811237703760)

По поводу того,

9:29

S… Speaker 4 (2_5233479811237703760)

что приведет к катастрофе.

9:31

S… Speaker 4 (2_5233479811237703760)

Ник Бостром говорит

9:35

S… Speaker 4 (2_5233479811237703760)

про максимизатор скрепок.

9:37

S… Speaker 4 (2_5233479811237703760)

Расскажите,

9:38

S… Speaker 4 (2_5233479811237703760)

что это такое вообще?

9:39

S… Speaker 4 (2_5233479811237703760)

Что такое скрепка?

9:40

S… Speaker 4 (2_5233479811237703760)

Что это за максимизатор такой?

9:43

S… Speaker 5 (2_5233479811237703760)

У тебя есть суперинтеллект,

9:45

S… Speaker 5 (2_5233479811237703760)

которому ты даешь задание.

9:47

S… Speaker 5 (2_5233479811237703760)

И этот суперинтеллект,

9:48

S… Speaker 5 (2_5233479811237703760)

он не знает ничего ни о твоей истории,

9:51

S… Speaker 5 (2_5233479811237703760)

ни о твоих каких -то внутренних чувствах.

9:53

S… Speaker 5 (2_5233479811237703760)

Он умеет оптимизировать мир под свое задание.

9:57

S… Speaker 5 (2_5233479811237703760)

И вот если ему скажут,

9:59

S… Speaker 5 (2_5233479811237703760)

надо сделать очень много...

10:00

S… Speaker 5 (2_5233479811237703760)

скрепок но не скажу там вот остановись в какой -то момент да

10:04

S… Speaker 5 (2_5233479811237703760)

он начнет всю землю все планеты все это переделывать в

10:08

S… Speaker 5 (2_5233479811237703760)

скрепки и в результате всех убьет никто ему не сказал всех

10:12

S… Speaker 5 (2_5233479811237703760)

убить он не хотел никого убивать он хотел делать скрепки

10:17

S… Speaker 5 (2_5233479811237703760)

Это просто пример этой ситуации.

10:19

S… Speaker 5 (2_5233479811237703760)

По -моему, была какая -то сказка про горшочек,

10:22

S… Speaker 5 (2_5233479811237703760)

вари кашу.

10:23

S… Speaker 4 (2_5233479811237703760)

Да, горшочек не вари.

10:24

S… Speaker 5 (2_5233479811237703760)

Это оригинальные скрепки.

10:26

S… Speaker 5 (2_5233479811237703760)

Весь мир завален кашей,

10:28

S… Speaker 5 (2_5233479811237703760)

и все потонули.

10:29

S… Speaker 5 (2_5233479811237703760)

Горшочек не хотел никого убивать,

10:31

S… Speaker 5 (2_5233479811237703760)

он хотел делать кашу для всех.

10:33

S… Speaker 5 (2_5233479811237703760)

Но не продумали.

10:35

S… Speaker 4 (2_5233479811237703760)

Правильно я понимаю,

10:37

S… Speaker 4 (2_5233479811237703760)

что есть разница создания нейросети вообще для

10:41

S… Speaker 4 (2_5233479811237703760)

всех, для всего усредненного человечества,

10:43

S… Speaker 4 (2_5233479811237703760)

или создания нейросетки под конкретную?

10:47

S… Speaker 4 (2_5233479811237703760)

задачу.

10:48

S… Speaker 4 (2_5233479811237703760)

Выращиваем самые хрустящие огурцы,

10:51

S… Speaker 4 (2_5233479811237703760)

не знаю.

10:52

S… Speaker 5 (2_5233479811237703760)

Огромная разница.

10:54

S… Speaker 5 (2_5233479811237703760)

Когда он универсален,

10:56

S… Speaker 5 (2_5233479811237703760)

мы ему даем все данные.

10:57

S… Speaker 5 (2_5233479811237703760)

То есть весь интернет плюс все книги,

11:00

S… Speaker 5 (2_5233479811237703760)

все, что есть, загружается.

11:01

S… Speaker 5 (2_5233479811237703760)

Он на всем этом тренируется и знает все обо всем,

11:04

S… Speaker 5 (2_5233479811237703760)

насколько это возможно.

11:06

S… Speaker 5 (2_5233479811237703760)

Если проблема узкая,

11:08

S… Speaker 5 (2_5233479811237703760)

допустим, мы хотим играть в шахматы.

11:09

S… Speaker 5 (2_5233479811237703760)

Я ему даю доступ к базам данных всех шахматных игр,

11:14

S… Speaker 5 (2_5233479811237703760)

все чемпионаты мира,

11:15

S… Speaker 5 (2_5233479811237703760)

все игры в интернете.

11:16

S… Speaker 5 (2_5233479811237703760)

Но это все.

11:17

S… Speaker 5 (2_5233479811237703760)

Я ему не рассказываю про физику,

11:19

S… Speaker 5 (2_5233479811237703760)

химию,

11:20

S… Speaker 5 (2_5233479811237703760)

вождение машин.

11:21

S… Speaker 5 (2_5233479811237703760)

Он об этом никогда не слышал.

11:23

S… Speaker 5 (2_5233479811237703760)

Он знает,

11:23

S… Speaker 5 (2_5233479811237703760)

как выиграют в шахматы.

11:25

S… Speaker 5 (2_5233479811237703760)

Ему в голову не придет на меня напасть.

11:28

S… Speaker 4 (2_5233479811237703760)

Ну подождите,

11:29

S… Speaker 4 (2_5233479811237703760)

а как это бьется с теми скрепками?

11:32

S… Speaker 4 (2_5233479811237703760)

о которых мы говорили,

11:33

S… Speaker 4 (2_5233479811237703760)

вот он создаёт эту скрепку,

11:35

S… Speaker 4 (2_5233479811237703760)

бесконечно создаёт эти скрепки.

11:37

S… Speaker 5 (2_5233479811237703760)

Это прекрасный вопрос,

11:39

S… Speaker 5 (2_5233479811237703760)

и это временное решение.

11:41

S… Speaker 5 (2_5233479811237703760)

Если делать систему всё умнее и умнее даже в узкой области,

11:45

S… Speaker 5 (2_5233479811237703760)

в какой -то момент она начинает понимать вещи за пределами этой

11:49

S… Speaker 5 (2_5233479811237703760)

темы.

11:49

S… Speaker 5 (2_5233479811237703760)

То есть вот эта граница между...

11:51

S… Speaker 5 (2_5233479811237703760)

Это просто орудие для решения проблемы,

11:54

S… Speaker 5 (2_5233479811237703760)

и это агент,

11:55

S… Speaker 5 (2_5233479811237703760)

который может что -то сделать,

11:57

S… Speaker 5 (2_5233479811237703760)

скомпрометировать нашу жизнь.

11:59

S… Speaker 5 (2_5233479811237703760)

она не очень хорошо разграничена.

12:02

S… Speaker 5 (2_5233479811237703760)

Это больше как вот,

12:04

S… Speaker 5 (2_5233479811237703760)

чем больше он умеет в этой области,

12:07

S… Speaker 5 (2_5233479811237703760)

тем больше он и независимо начинает мыслить.

12:10

S… Speaker 5 (2_5233479811237703760)

То есть в какой -то момент,

12:11

S… Speaker 5 (2_5233479811237703760)

если вот он играет в шахматы не как Каспаров,

12:14

S… Speaker 5 (2_5233479811237703760)

не как там Каспаров плюс тысяча вело,

12:16

S… Speaker 5 (2_5233479811237703760)

а вот играет так в шахматы,

12:18

S… Speaker 5 (2_5233479811237703760)

что вот вся вселенная не может обыграть,

12:20

S… Speaker 5 (2_5233479811237703760)

он же начинает думать,

12:21

S… Speaker 5 (2_5233479811237703760)

может, я там отключит это розетки,

12:23

S… Speaker 5 (2_5233479811237703760)

может быть, надо хакануть программу.

12:25

S… Speaker 5 (2_5233479811237703760)

Но это все равно...

12:27

S… Speaker 5 (2_5233479811237703760)

во много раз безопаснее,

12:28

S… Speaker 5 (2_5233479811237703760)

чем изначально создать полностью глобальный суперинтеллект сразу,

12:33

S… Speaker 5 (2_5233479811237703760)

потому что там мы вообще ничего не можем сделать.

12:35

S… Speaker 5 (2_5233479811237703760)

Здесь, по крайней мере,

12:36

S… Speaker 5 (2_5233479811237703760)

мы можем начать тестировать,

12:38

S… Speaker 5 (2_5233479811237703760)

понять,

12:39

S… Speaker 5 (2_5233479811237703760)

о, вот что -то он начал слишком хорошо работать,

12:42

S… Speaker 5 (2_5233479811237703760)

давайте остановим на этом этапе.

12:45

S… Speaker 5 (2_5233479811237703760)

Он уже в шахматы выигрывает,

12:46

S… Speaker 5 (2_5233479811237703760)

не надо его продвигать.

12:48

S… Speaker 4 (2_5233479811237703760)

Есть ли такое, что программисты больше всего боятся от искусственного интеллекта?

12:52

S… Speaker 4 (2_5233479811237703760)

Примерно то же самое,

12:53

S… Speaker 4 (2_5233479811237703760)

что руководители как -нибудь тоталитарных стран от населения.

12:57

S… Speaker 4 (2_5233479811237703760)

Это личного мнения и какое -то высказывание и фантазию.

13:02

S… Speaker 4 (2_5233479811237703760)

Вы сейчас говорите,

13:03

S… Speaker 4 (2_5233479811237703760)

я думаю, а если машина пойдёт и решит,

13:05

S… Speaker 4 (2_5233479811237703760)

что мне сегодня этим утром нужен не колумбийский,

13:08

S… Speaker 4 (2_5233479811237703760)

а какой -нибудь руандийский кофе,

13:10

S… Speaker 4 (2_5233479811237703760)

и решит, говорит,

13:11

S… Speaker 4 (2_5233479811237703760)

я вот решила что -то.

13:12

S… Speaker 4 (2_5233479811237703760)

То есть это моё личное воле и заявление.

13:16

S… Speaker 4 (2_5233479811237703760)

И это самое страшное.

13:18

S… Speaker 5 (2_5233479811237703760)

Ну, есть,

13:19

S… Speaker 5 (2_5233479811237703760)

конечно, связь,

13:19

S… Speaker 5 (2_5233479811237703760)

контроль диктатора и контроль суперинтеллекта,

13:22

S… Speaker 5 (2_5233479811237703760)

там общие цели оставаться в контроле,

13:24

S… Speaker 5 (2_5233479811237703760)

но население,

13:25

S… Speaker 5 (2_5233479811237703760)

как правило,

13:26

S… Speaker 5 (2_5233479811237703760)

средний уровень интеллекта не пугает сам по себе,

13:30

S… Speaker 5 (2_5233479811237703760)

наоборот,

13:30

S… Speaker 5 (2_5233479811237703760)

его низкий уровень может напугать.

13:32

S… Speaker 5 (2_5233479811237703760)

Здесь система умнее,

13:34

S… Speaker 5 (2_5233479811237703760)

чем ты, умнее,

13:35

S… Speaker 5 (2_5233479811237703760)

чем все твои советники,

13:36

S… Speaker 5 (2_5233479811237703760)

умнее, чем все мы вместе.

13:38

S… Speaker 5 (2_5233479811237703760)

То есть это совсем другой момент,

13:42

S… Speaker 5 (2_5233479811237703760)

другой случай,

13:43

S… Speaker 5 (2_5233479811237703760)

другая ситуация.

13:44

S… Speaker 4 (2_5233479811237703760)

Скажите мне,

13:45

S… Speaker 4 (2_5233479811237703760)

кто сегодня из больших людей на вашей стороне?

13:48

S… Speaker 5 (2_5233479811237703760)

Есть большие,

13:49

S… Speaker 5 (2_5233479811237703760)

как известные,

13:50

S… Speaker 5 (2_5233479811237703760)

богатые, есть учёные.

13:51

S… Speaker 5 (2_5233479811237703760)

То есть номер один – это Джоффри Хинтон.

13:53

S… Speaker 5 (2_5233479811237703760)

Он создал эту технологию,

13:55

S… Speaker 5 (2_5233479811237703760)

он выиграл Нобелевскую премию за неё и Туринг -приз.

13:59

S… Speaker 5 (2_5233479811237703760)

То есть он круче всех.

14:01

S… Speaker 5 (2_5233479811237703760)

Он настолько серьёзно к этому относится,

14:03

S… Speaker 5 (2_5233479811237703760)

он бросил работу в Google,

14:05

S… Speaker 5 (2_5233479811237703760)

чтобы можно было заниматься безопасностью.

14:07

S… Speaker 5 (2_5233479811237703760)

И он,

14:09

S… Speaker 5 (2_5233479811237703760)

по -моему, высказывался о том,

14:10

S… Speaker 5 (2_5233479811237703760)

что он жалеет всё,

14:11

S… Speaker 5 (2_5233479811237703760)

что он сделал.

14:12

S… Speaker 5 (2_5233479811237703760)

за свою карьеру,

14:13

S… Speaker 5 (2_5233479811237703760)

потому что он думает,

14:14

S… Speaker 5 (2_5233479811237703760)

что, скорее всего, это приведет к очень плохим результатам.

14:17

S… Speaker 5 (2_5233479811237703760)

Его коллега,

14:19

S… Speaker 5 (2_5233479811237703760)

кто тоже выиграл этот Туринг -ауэрд,

14:21

S… Speaker 5 (2_5233479811237703760)

Бэнджио,

14:22

S… Speaker 5 (2_5233479811237703760)

тоже полностью согласен,

14:24

S… Speaker 5 (2_5233479811237703760)

и они пишут об этом,

14:26

S… Speaker 5 (2_5233479811237703760)

создают организации,

14:28

S… Speaker 5 (2_5233479811237703760)

конференции.

14:28

S… Speaker 5 (2_5233479811237703760)

То есть, по -моему,

14:30

S… Speaker 5 (2_5233479811237703760)

последний раз,

14:31

S… Speaker 5 (2_5233479811237703760)

когда было такое открытое письмо,

14:33

S… Speaker 5 (2_5233479811237703760)

12 тысяч ученых подписали,

14:35

S… Speaker 5 (2_5233479811237703760)

что искусственный интеллект так же опасен,

14:38

S… Speaker 5 (2_5233479811237703760)

как ядерное оружие с точки зрения уничтожения.

14:41

S… Speaker 5 (2_5233479811237703760)

человечества.

14:41

S… Speaker 5 (2_5233479811237703760)

То есть я не одинок.

14:43

S… Speaker 4 (2_5233479811237703760)

На самом деле,

14:44

S… Speaker 4 (2_5233479811237703760)

вы когда и говорите об этих ученых,

14:47

S… Speaker 4 (2_5233479811237703760)

я понимаю, что звучит это абсолютно так же,

14:50

S… Speaker 4 (2_5233479811237703760)

как Сахаров,

14:51

S… Speaker 4 (2_5233479811237703760)

который создавал эту ядерную бомбу,

14:53

S… Speaker 4 (2_5233479811237703760)

а потом сказал,

14:54

S… Speaker 4 (2_5233479811237703760)

я не хочу в этом участвовать,

14:56

S… Speaker 4 (2_5233479811237703760)

я теперь понял,

14:57

S… Speaker 4 (2_5233479811237703760)

что...

14:58

S… Speaker 5 (2_5233479811237703760)

И американские эквиваленты.

15:00

S… Speaker 5 (2_5233479811237703760)

Эйнштейн – то же самое.

15:01

S… Speaker 4 (2_5233479811237703760)

Да -да -да.

15:01

S… Speaker 5 (2_5233479811237703760)

Я пошутил недавно,

15:03

S… Speaker 5 (2_5233479811237703760)

что это дает возможность выиграть два нобелевских приза за науку и за мир.

15:07

S… Speaker 7 (2_5233479811237703760)

Точно.

15:08

S… Speaker 4 (2_5233479811237703760)

Я хотела бы еще подробнее остановиться

15:12

S… Speaker 4 (2_5233479811237703760)

на вот этой гонке вооружений в искусственном интеллекте.

15:16

S… Speaker 4 (2_5233479811237703760)

Насколько сегодня вы ее действительно видите?

15:19

S… Speaker 4 (2_5233479811237703760)

Насколько это прям гонка вооружений в искусственном интеллекте среди стран?

15:23

S… Speaker 5 (2_5233479811237703760)

Мы видим это очень серьезно.

15:25

S… Speaker 5 (2_5233479811237703760)

Были приняты законы,

15:26

S… Speaker 5 (2_5233479811237703760)

запрещающие продажу микрочипов в Китаю и ответные

15:31

S… Speaker 5 (2_5233479811237703760)

меры.

15:31

S… Speaker 5 (2_5233479811237703760)

Недавно вышла статья,

15:34

S… Speaker 5 (2_5233479811237703760)

буквально вчера,

15:35

S… Speaker 5 (2_5233479811237703760)

от бывшего руководителя Google

15:39

S… Speaker 5 (2_5233479811237703760)

и нескольких AI Safety,

15:41

S… Speaker 5 (2_5233479811237703760)

безопасности искусственного интеллекта ученых.

15:45

S… Speaker 5 (2_5233479811237703760)

То,

15:45

S… Speaker 5 (2_5233479811237703760)

что было с язерным оружием,

15:47

S… Speaker 5 (2_5233479811237703760)

когда угроза взаимного уничтожения.

15:49

S… Speaker 5 (2_5233479811237703760)

Они видят примерно такую же модель с суперинтеллектом.

15:53

S… Speaker 5 (2_5233479811237703760)

Будут,

15:55

S… Speaker 5 (2_5233479811237703760)

скорее всего,

15:55

S… Speaker 5 (2_5233479811237703760)

приняты попытки саботажа,

15:58

S… Speaker 5 (2_5233479811237703760)

уничтожения серверов противника.

16:01

S… Speaker 5 (2_5233479811237703760)

Очень похоже на то,

16:04

S… Speaker 5 (2_5233479811237703760)

что мы видели с язерным оружием.

16:08

S… Speaker 5 (2_5233479811237703760)

гонкой вооружения в этой области.

16:10

S… Speaker 4 (2_5233479811237703760)

Обычно всегда вашим главным оппонентом,

16:13

S… Speaker 4 (2_5233479811237703760)

вы говорите, я люблю с ним спорить в Фейсбуке,

16:15

S… Speaker 4 (2_5233479811237703760)

это Ян Ликун.

16:16

S… Speaker 4 (2_5233479811237703760)

Он утверждает,

16:19

S… Speaker 4 (2_5233479811237703760)

что человеческий разум не является универсальным суперинтеллектом,

16:23

S… Speaker 4 (2_5233479811237703760)

поэтому нет оснований считать,

16:24

S… Speaker 4 (2_5233479811237703760)

что искусственный интеллект вдруг станет таким богоподобным существом,

16:29

S… Speaker 4 (2_5233479811237703760)

потому что его тоже создали люди.

16:31

S… Speaker 4 (2_5233479811237703760)

Как вы ему парируете на этот счёт?

16:34

S… Speaker 5 (2_5233479811237703760)

Он прав,

16:35

S… Speaker 5 (2_5233479811237703760)

люди действительно не являются универсальными машинами.

16:39

S… Speaker 5 (2_5233479811237703760)

Мы разбираемся хорошо в области специализации людей.

16:42

S… Speaker 5 (2_5233479811237703760)

То есть я не понимаю,

16:44

S… Speaker 5 (2_5233479811237703760)

что говорит собака.

16:45

S… Speaker 5 (2_5233479811237703760)

Казалось бы,

16:46

S… Speaker 5 (2_5233479811237703760)

я умный, я должен говорить на языке собак,

16:47

S… Speaker 5 (2_5233479811237703760)

но я не могу.

16:48

S… Speaker 5 (2_5233479811237703760)

Таких примеров много.

16:49

S… Speaker 5 (2_5233479811237703760)

Искусственный интеллект как раз может выучить любую область.

16:54

S… Speaker 5 (2_5233479811237703760)

Это не значит,

16:55

S… Speaker 5 (2_5233479811237703760)

что он сразу знает все это,

16:57

S… Speaker 5 (2_5233479811237703760)

но у него есть потенциал все это выучить.

17:01

S… Speaker 5 (2_5233479811237703760)

И даже если есть какие -то серьёзные ограничения сверху на его

17:05

S… Speaker 5 (2_5233479811237703760)

возможности,

17:05

S… Speaker 5 (2_5233479811237703760)

этот предел,

17:07

S… Speaker 5 (2_5233479811237703760)

он всё равно настолько выше наших возможностей,

17:10

S… Speaker 5 (2_5233479811237703760)

нам он кажется как бесконечность.

17:12

S… Speaker 5 (2_5233479811237703760)

То есть если система не может быть в миллиард раз умнее,

17:15

S… Speaker 5 (2_5233479811237703760)

а может быть только в миллион раз умнее,

17:18

S… Speaker 5 (2_5233479811237703760)

мы не отличим разницу.

17:19

S… Speaker 5 (2_5233479811237703760)

Для нас это всё кажется как какое -то магическое,

17:22

S… Speaker 5 (2_5233479811237703760)

божественное существо.

17:24

S… Speaker 4 (2_5233479811237703760)

Как я это понимаю,

2_5233479811237703760

सारांशः

ॐ ऐं ह्रीं