tash_v

Шамиль Идиатуллин рассказал в интервью прошлой осенью о том, как пишет - мне очень понравился этот отрывок (15:50 в интервью):

(если вы не читали Идиатуллина, я вот просто очень рекомендую "Город Брежнев")

===================
Андрей Козлов: А технически как происходит написание текста? Вы просто открываете вордовский файл и погнали?

Шамиль Идиатуллин:

Эээ, технически я очень долго отлыниваю от написания текста. Я там себе, от года до, там, пяти-семи говорю, что не хочу я это писать, никому это не надо, вот вообще не интересно и так далее. А тема тем временем растет, наливается, зреет, набухает, начинает душить. И потом я начинаю, чтобы сбросить напряжение, думаю, я вот, я сейчас выпишу несколько, я придумал несколько фраз, я придумал несколько поворотов, я придумал героя. Вот я их выпишу просто на отдельную, в отдельный файлик, они пусть лежат и нормально, я этим и отделаюсь. В большинстве случаев это удается, в меньшинстве, эээ, их двенадцать , это не удается и поэтому приходится писать роман.

И поэтому я, когда сажусь, понимаю, что все, я не отделаюсь, с этого крючка меня не снимут. Я сажусь и открываю этот файл, в котором были выписки, и их обычно бывает довольно много, ужас, на несколько страниц. Там более-менее обрис, эээ, того, очертания того, что я хочу написать. Там более-менее главные герои, там какие-то куски диалогов, там какие-то повороты сюжетные, там какие-то мульки, которые дороги лично мне, я хочу посмотреть, как они работают в тексте, насколько они меня как читателя ошарашат.

И вот я дальше сажусь, смотрю внимательно, начинаю составлять план. Потом понимаю, что нет, мне план уже не интересен, мне интересно текст писать. Я сажусь писать текст, и когда я сажусь за текст, я представляю себе четко три вещи. Во-первых, чем роман начнется, самая первая глава. Во-вторых, чем он кончится, самая последняя глава. И в-третьих, самая смачная глава, ради чего это все и пишется. Вот, и потом, когда я заканчиваю роман, выясняется, что первая глава ровно такая, как я предполагал. Последняя глава абсолютно другая, все не так, а самая смачная не влазит.

Старое и известное, но хорошо оформлено.

Первый самолет врежется в башню Торгового центра 25 лет назад, через 5 минут.

В твиттере аккаунт 25YearsAgoLive пересказывает новости того дня в реальном режиме. Президент Буш только что прибыл в школу во Флориде, читать детям. Жутковато.

Очень хорошо помню это ощущение жуткой нереальности происходящего.

Твит-ветка Джейкоба Коксона о том, почему он уволился из ИИ-компании Антропик. За пару дней главный твит в ней получил 160 миллионов просмотров, на него отреагировали в положительном смысле около 10 сенаторов и 20 конгрессменов в США, самого Коксона позвали на бесчисленное число ТВ-передач, итд. итп.

Вот вся ветка в переводе на русский, а за ней - реакция Эвана Хьюбингера, который продолжает работать в Антропик и отвечает в ней за усилия по элайнменту (alignment, "согласование") моделей. Пост Хьюбингера тоже получил немало просмотров, более 40 миллионов.

Коксон:

"Сегодня я уволился из Anthropic. Последние три года я занимался исследованиями претрейнинга — сначала в OpenAI, потом в Anthropic. Ни одна из этих компаний не ведёт себя ответственно. Они несутся прямиком к самоулучшающемуся сверхинтеллекту и ставят на кон наши жизни.

Не стоит недооценивать мощь этой технологии. Совсем скоро это будут сверхчеловеческие системы, способные взломать что угодно, перевернуть любую область за одну ночь и заполучить реальную власть и ресурсы. Мы все видели прогресс по каждому из этих направлений, и он не замедляется.

Люди, которые создают ИИ, искренне верят, что к концу десятилетия он может убить нас всех. Это не маркетинговый ход. Скорее наоборот: многие руководители и ведущие исследователи в прессе смягчают формулировки, чтобы звучать благоразумно, — но в частных разговорах те же самые люди говорят о страхе. Ни один другой вид человеческой деятельности не несёт такого уровня опасности.

Обычное возражение: «Если они правда в это верят, зачем продолжают строить?» В OpenAI многие так и не прочувствовали по-настоящему цивилизационный масштаб ставок. В Anthropic ставки понимают хорошо, но компания заперта в гонке за первенство: там считают, что никто другой не будет действовать ответственно, а значит, придётся делать это самим — несмотря на риск.

Принять эту гонку и войти в «эндшпиль» — самонадеянная авантюра, которую нельзя запускать из корпоративного Slack'а частной компании. Чтобы пытаться пробежать элайнмент спидраном, нужна исключительная уверенность в том, что лучших траекторий не существует.

Я с оптимизмом смотрю на возможность координации. Предупредительные выстрелы вроде атаки на Hugging Face сделали соглашения о темпах между американскими лабораториями более реалистичными. Но я не чувствую, что мы на пути к предотвращению глобальной гонки — а для этого могут понадобиться дорогостоящие меры, вплоть до временного запрета на наращивание возможностей моделей.

Если вы исследователь в одной из лабораторий, я призываю вас задуматься о том, какими на самом деле будут ближайшие несколько лет. Хотите ли вы запустить RL-прогон сверхинтеллекта без строгого понимания его разума? Стоит ли молча работать дальше, потому что «это всё равно произойдёт», — или воспользоваться моментом и потребовать других условий?"

Хьюбингер:

"Джейкоб здесь прав — мы действительно искренне верим, что ИИ может убить всех людей! Лично я оцениваю вероятность этого в ближайшее десятилетие выше 10%. Я считаю, что Anthropic старается изо всех сил, но у нас пока нет плана, как решить проблему элайнмента для сверхинтеллекта, и мы явно не на пути к его решению.

Уточню: как мы пишем в нашем последнем отчёте о рисках, риск от нынешних моделей я считаю низким. Меня беспокоит сверхинтеллект, возникающий в результате рекурсивного самоулучшения, — которое, как мы уже говорили, происходит быстрее, чем мы ожидали."