Оригинальное название: Import AI 455: Системы ИИ скоро начнут создавать сами себя.
Автор оригинала: Джек Кларк, соучредитель Anthropic

Оригинал: Ян Вэнь, Чэнь Чэнь, за машинными технологиями

Эта точка зрения не возникла на пустом месте. Он изучил ряд общедоступных эталонных показателей и обнаружил, что ИИ очень быстро добивается прогресса в задачах, связанных с исследованиями и разработками в области ИИ.

Например, CORE-Bench оценивает способность ИИ воспроизводить чужие исследовательские работы, что является критически важным аспектом в исследованиях ИИ.

PostTrainBench тестирует, могут ли мощные модели самостоятельно дообучать более слабые модели с открытым исходным кодом для повышения производительности, что является ключевым подмножеством задач исследований и разработок в области ИИ.

MLE-Bench основан на реальных задачах соревнований Kaggle и требует создания разнообразных приложений машинного обучения для решения конкретных проблем. Кроме того, широко известные бенчмарки кодирования, такие как SWE-Bench, также демонстрируют аналогичный прогресс.

Джек Кларк описал это явление как «фрактальную» тенденцию роста вверх и вправо, когда значимый прогресс наблюдается на разных разрешениях и масштабах. Он считает, что ИИ постепенно приближается к возможности сквозной автоматизации исследований и разработок, и как только это будет достигнуто, ИИ сможет самостоятельно создавать свои последующие системы, запуская цикл самоитерации.

После этого заявления в социальных сетях разгорелось немало дискуссий.

Некоторые рассматривают это как важный первый шаг на пути к ASI и сингулярности, который может кардинально изменить темпы технологического развития.

Однако существуют и другие мнения.

Профессор компьютерных наук Вашингтонского университета Педро Домингос отметил, что системы искусственного интеллекта обладают способностью «самосовершенствоваться» с момента изобретения языка LISP в 1950-х годах. Настоящая проблема заключается в возможности получения прироста прибыли, и в настоящее время нет явных доказательств, подтверждающих это.

Некоторые пользователи сети задаются вопросом, почему вероятность с 2027 Г по 2028 Г увеличивается на 30%, что намекает на внезапный прорыв в возможностях ИИ примерно к концу 2027 года. Какой конкретный этап или событие приведет к резкому увеличению вероятности рекурсивного самосовершенствования ИИ за короткий промежуток времени?

Другие пользователи сети также отметили, что Джек Кларк является новым руководителем отдела по связям с общественностью Anthropic, что является частью их новой стратегии: «Мы не паникеры, существует множество статей, подтверждающих то, о чем мы вас всегда предупреждали».

Джек Кларк подробно изложил это в своей длинной статье в выпуске 455 рассылки Import AI.

Далее мы полностью рассмотрим эту статью.

Системы ИИ скоро начнут самосовершенствоваться: что это значит?

Кларк заявил, что написал эту статью, потому что, проанализировав всю общедоступную информацию, он пришел к непростому выводу: вероятность появления ИИ-разработок без участия человека к концу 2028 Г. достаточно высока, возможно, превышает 60%.

Так называемые исследования и разработки ИИ без участия человека подразумевают наличие достаточно мощной системы ИИ, которая не только помогает людям в исследованиях, но и может самостоятельно выполнять ключевые этапы разработки, а также создавать свои собственные системы следующего поколения.

По мнению Кларка, это, очевидно, большое дело.

Он признался, что ему самому трудно полностью осмыслить значение этого события.

Это решение называют вынужденным, поскольку его последствия настолько велики, что он не может их полностью осознать. Кларк также не уверен, готово ли общество в целом к глубоким изменениям, которые принесет автоматизация исследований и разработок в области ИИ.

Он теперь верит, что человечество, возможно, находится в особой точке времени: исследования в области ИИ будут полностью автоматизированы. Если этот момент действительно наступит, человечество перейдет Рубикон и войдет в почти непредсказуемое будущее.

Кларк заявил, что цель этой статьи — объяснить, почему он считает, что взлет в направлении полностью автоматизированных исследований и разработок в области ИИ уже происходит.

Он обсудит некоторые из последствий, которые может вызвать эта тенденция, но большая часть статьи будет посвящена доказательствам, подтверждающим это суждение. Что касается более глубоких последствий, Кларк планирует продолжать их анализировать в течение большей части этого года.

С точки зрения временных рамок, Кларк не считает, что это произойдет в 2026 году. Однако он полагает, что в течение следующих одного-двух лет мы можем увидеть примеры, когда какая-либо модель будет обучать своего преемника в режиме end-to-end. По крайней мере, на уровне не передовых моделей, вполне возможно появление концептуального доказательства; что касается самых передовых моделей, то это будет сложнее, поскольку они чрезвычайно дороги и требуют интенсивной работы большого числа исследователей.

Суждения Кларка в основном основаны на общедоступной информации: включая статьи на arXiv, bioRxiv и NBER, а также продукты, которые передовые ИИ-компании уже внедрили в реальный мир. На основе этой информации он пришел к выводу, что практически все компоненты, необходимые для автоматизированного производства современных ИИ-систем, особенно инженерные компоненты в разработке ИИ, уже существуют.

Если тенденция масштабирования сохранится, нам следует начать готовиться к ситуации, когда модели станут достаточно креативными, чтобы не только автоматически улучшать известные методы, но и потенциально заменять людей-исследователей в предложении новых направлений исследований и оригинальных идей, тем самым самостоятельно продвигая передовые разработки в области ИИ.

Кодирующий сингулярность: изменение возможностей с течением времени

Системы ИИ реализуются с помощью программного обеспечения, а программное обеспечение состоит из кода.

Системы искусственного интеллекта коренным образом изменили способ производства кода. Этому способствуют две связанные тенденции: с одной стороны, системы ИИ становятся все более способными писать сложный реальный код; с другой стороны, системы ИИ также становятся все более способными объединять множество линейных задач кодирования для выполнения с минимальным человеческим надзором, например, сначала писать код, а затем тестировать его.

Двумя типичными примерами, отражающими эту тенденцию, являются SWE-Bench и график временных горизонтов METR.

Решение реальных проблем программной инженерии

SWE-Bench — это широко используемый программный тест, предназначенный для оценки способности систем ИИ решать реальные проблемы GitHub.

Когда SWE-Bench был запущен в конце 2023 Г, лучшей моделью была Claude 2 с общей успешностью примерно 2%. Claude Mythos Preview уже достиг 93,9%, что практически полностью соответствует этому бенчмарку.

Конечно, все бенчмарки сами по себе содержат определенный уровень шума, поэтому обычно наступает такой этап, когда после достижения определенного уровня баллов вы сталкиваетесь не с ограничениями самого метода, а с ограничениями самого бенчмарка. Например, в проверочном наборе ImageNet около 6% меток являются ошибочными или неоднозначными.

SWE-Bench можно рассматривать как надежный индикатор для измерения общих навыков программирования и влияния ИИ на программную инженерию. Кларк отметил, что большинство людей, с которыми он общался в передовых лабораториях ИИ и Кремниевой долине, теперь почти полностью пишут код с помощью систем ИИ, и все больше людей начинают использовать системы ИИ для написания тестов и проверки кода.

Другими словами, системы ИИ стали достаточно мощными, чтобы автоматизировать важную часть исследований и разработок в области ИИ и значительно ускорить работу всех людей-исследователей и инженеров, участвующих в этих процессах.

Оценка способности систем ИИ выполнять долгосрочные задачи

METR создал диаграмму, которая измеряет, насколько сложные задачи может выполнять ИИ. Сложность здесь рассчитывается исходя из того, сколько часов потребуется опытному человеку для выполнения этих задач.

Наиболее важным индикатором является примерный временной интервал задач, в течение которого система ИИ достигает 50% надежности при выполнении набора задач.

В этом отношении прогресс просто поразителен:

· В 2022 Г, задачи, которые мог выполнять GPT-3.5, примерно соответствовали задачам, на выполнение которых человеку требовалось 30 с.

· В 2023 Г., GPT-4 сократил это время до 4 ч.

· В 2024 году o1 увеличил это время до 40 минут.

· В 2025 Г., GPT-5.2 High достиг примерно 6 ч.

· К 2026 году Opus 4.6 увеличил это время примерно до 12 часов.

Ажея Котра, работающая в METR и давно занимающаяся прогнозами в области ИИ, считает, что к концу 2026 года ИИ-системы, способные выполнять задачи, на которые человеку требуется 100 часов, не являются необоснованным ожиданием.

Значительно увеличился временной интервал, в течение которого ИИ-системы могут работать автономно, что также тесно связано с бурным развитием инструментов для агентного кодирования. Так называемые инструменты для агентного кодирования, по сути, представляют собой продукты ИИ-систем, способных выполнять работу за человека: они могут действовать от имени людей и относительно автономно продвигать задачи в течение значительного периода времени.

Это также вновь указывает на само исследование и разработку ИИ. Если внимательно присмотреться к повседневной работе многих исследователей ИИ, можно обнаружить, что большое количество задач можно разбить на работу в пределах нескольких часов, например, очистка данных, чтение данных, запуск экспериментов и так далее.

И этот тип работы теперь попадает в временной интервал, который могут охватить современные системы искусственного интеллекта.

Чем более опытны ИИ-системы и чем более независимо они могут работать от человека, тем больше они могут помочь в автоматизации части работы по разработке ИИ.

Ключевыми факторами при поручении задач являются в основном два:

· Во-первых, это ваша уверенность в способностях доверенного лица;

· Второе — это ваша уверенность в том, что другая сторона сможет самостоятельно выполнить работу в соответствии с вашими намерениями без вашего постоянного надзора.

Когда пользователи наблюдают за возможностями ИИ в области программирования, они обнаруживают, что системы ИИ не только становятся все более опытными, но и способны работать самостоятельно в течение более длительного времени без необходимости человеческой перекалибровки.

Это также соответствует тому, что происходит вокруг нас: инженеры и исследователи все чаще поручают выполнение все более крупных задач системам искусственного интеллекта. По мере того как возможности ИИ продолжают расти, задачи, поручаемые ИИ, становятся все более сложными и важными.

ИИ осваивает ключевые научные навыки, необходимые для исследований и разработок в области ИИ

Подумайте о том, как проводятся современные научные исследования: значительная часть работы заключается в том, чтобы сначала определить направление, выяснить, какой тип эмпирической информации вы хотите получить; затем разработать и провести эксперимент для получения этой информации; и, наконец, провести разумную проверку результатов эксперимента.

По мере того как возможности ИИ в области программирования продолжают расти, а большие языковые модели демонстрируют все более сильные способности к моделированию мира, уже появились инструменты, которые помогают ученым ускорить работу и частично автоматизировать определенные этапы в более широком спектре сценариев исследований и разработок.

Здесь мы можем наблюдать за скоростью прогресса ИИ в нескольких ключевых научных навыках, которые сами по себе являются неотъемлемой частью исследований ИИ:

· Во-первых, воспроизвести результаты исследования;

· Во-вторых, объединить технологии машинного обучения с другими методами для решения технических проблем;

· Третье — оптимизация самой системы ИИ.

Реализация полной научной статьи и проведение соответствующих экспериментов

Ключевой задачей в исследованиях ИИ является чтение научных статей и воспроизведение их результатов. В этом отношении ИИ добился значительного прогресса по ряду эталонных тестов.

Хорошим примером является CORE-Bench, или Computational Reproducibility Agent Benchmark.

Этот бенчмарк требует, чтобы система ИИ воспроизвела результаты, представленные в статье, при наличии самой статьи и ее репозитория кода. В частности, агент должен установить соответствующие библиотеки, пакеты и зависимости, а затем запустить код; если код будет успешно запущен, ему также потребуется найти все выходные данные и ответить на вопросы, поставленные в задаче.

CORE-Bench был предложен в сентябре 2024 г. Лучшей системой на тот момент была модель GPT-4o, работающая в среде CORE-Agent. На самой сложной группе задач этого бенчмарка ее результат составил около 21,5%.

А к декабрю 2025 года один из авторов CORE-Bench объявил, что этот бенчмарк был решен: модель Opus 4.5 достигла результата в 95,5%.

Создание полноценной системы машинного обучения для решения задач на Kaggle

MLE-Bench — это эталон, созданный OpenAI для тестирования способности ИИ-систем участвовать в соревнованиях Kaggle в автономном режиме.

Он охватывает 75 различных типов соревнований Kaggle, охватывающих несколько областей, включая обработку естественного языка, компьютерное зрение и обработку сигналов.

MLE-Bench был выпущен в октябре 2024 года. На момент выпуска лучшей системой была модель o1, работающая в agent scaffold, с результатом 16,9%.

По состоянию на февраль 2026 года лучшей системой стал Gemini 3, работающий в системе агентов с возможностью поиска, показав результат 64,4%.

Дизайн ядра

Более сложной задачей в разработке ИИ является оптимизация ядра. Оптимизация ядра — это написание и улучшение низкоуровневого кода для более эффективного сопоставления конкретных операций, таких как умножение матриц, с базовым оборудованием.

Оптимизация ядра является ключевым фактором в разработке ИИ, поскольку она определяет эффективность обучения и инференса: с одной стороны, она влияет на то, насколько эффективно вы можете использовать хешрейт при разработке ИИ-систем; с другой стороны, после завершения обучения модели она также определяет, насколько эффективно вы можете преобразовать хешрейт в инференс-способности.

В последние годы разработка ядра с использованием ИИ превратилась из интересного небольшого направления в конкурентную область исследований с появлением нескольких эталонных тестов. Однако эти эталонные тесты в настоящее время не очень популярны, поэтому нам трудно четко смоделировать долгосрочный прогресс в этой области, как и в других. С другой стороны, мы можем почувствовать скорость продвижения в этом направлении через некоторые текущие исследования.

Связанные работы включают:

· Попытка создать лучшие GPU-ядра с использованием моделей DeepSeek;

· Автоматически преобразует модули PyTorch в код CUDA;

· Meta автоматически генерирует оптимизированные Triton-ядра с помощью LLM и развертывает их в собственной инфраструктуре;

· а также тонкая настройка весов открытых моделей для проектирования GPU-ядер, например, Cuda Agent.

Важно добавить: дизайн ядра действительно обладает некоторыми свойствами, особенно подходящими для исследований и разработок на базе ИИ, например, результаты легко проверяются, а сигнал награды достаточно четкий.

Тонкая настройка языковых моделей с помощью PostTrainBench

Более сложной версией такого рода тестов является PostTrainBench. Он проверяет, могут ли различные передовые модели взять на себя небольшие модели с открытым исходным кодом и улучшить их производительность в определенных бенчмарках путем тонкой настройки.

Одно из преимуществ этого бенчмарка заключается в наличии очень сильной человеческой базовой линии: существующие версии этих небольших моделей, настроенные на инструкции. Эти версии, как правило, разрабатываются выдающимися исследователями в области ИИ в передовых лабораториях, дорабатываются очень компетентными исследователями и инженерами и развертываются в реальном мире. Следовательно, они представляют собой человеческий эталон, который трудно превзойти.

К марту 2026 года системы ИИ смогли провести дообучение моделей, достигнув примерно половины прироста производительности по сравнению с результатами обучения человека.

Конкретная оценка представляет собой средневзвешенное значение: оно объединяет несколько больших языковых моделей, прошедших обучение, включая Qwen 3 1.7B, Qwen 3 4B, SmolLM3-3B, Gemma 3 4B, а также несколько бенчмарков, включая AIME 2025, Arena Hard, BFCL, GPQA Main, GSM8K, HealthBench, HumanEval.

В каждом прогоне тестировщик запрашивает CLI-агента для максимально возможного улучшения производительности конкретной базовой модели на конкретном бенчмарке.

По состоянию на апрель 2026 года, системы ИИ с наивысшими оценками достигают примерно от 25% до 28%, среди представленных моделей — Opus 4.6 и GPT 5.4; для сравнения, оценка человека составляет 51%.

Это уже весьма значимый результат.

Оптимизация обучения языковых моделей

В прошлом году Anthropic сообщала о производительности своих систем в задаче обучения LLM. Эта задача требовала от модели оптимизации реализации обучения небольшой языковой модели только на ЦП, чтобы она работала как можно быстрее.

Способ оценки: Среднее увеличение скорости, достигнутое моделью, по сравнению с исходным кодом без изменений.

Этот результат является очень значительным прогрессом:

· В мае 2025 г. Claude Opus 4 достиг среднего ускорения в 2,9 раза;

· В ноябре 2025 Г., Opus 4.5 был увеличен в 16,5 раз;

· В феврале 2026 г. Opus 4.6 достиг 30-кратного увеличения;

· В апреле 2026 г. Claude Mythos Preview достиг 52-кратного роста.

Чтобы понять значение этих цифр, можно провести параллель: для человека-исследователя выполнение этой задачи обычно занимает от 4 до 8 часов работы для достижения 4-кратного ускорения.

Основные навыки: Управление

ИИ-системы также учатся управлять другими ИИ-системами.

Это уже можно наблюдать в некоторых широко используемых продуктах, таких как Claude Code или OpenCode. В этих продуктах один основной агент может контролировать несколько субагентов.

Это позволяет системам ИИ обрабатывать более масштабные проекты: в проекте может потребоваться параллельная работа нескольких агентов с различными специализациями, которые обычно координируются единым ИИ-менеджером. Сам менеджер также является системой ИИ.

Исследования в области ИИ: больше похоже на открытие общей теории относительности или на сборку из LEGO?

Ключевой вопрос заключается в следующем: сможет ли ИИ генерировать новые идеи для собственного совершенствования? Или же эти системы лучше подходят для выполнения менее заметной, но кропотливой работы в рамках исследований?

Этот вопрос важен, поскольку он определяет, в какой степени системы ИИ могут полностью автоматизировать само исследование ИИ.

Автор считает, что ИИ пока не способен генерировать по-настоящему радикальные новые идеи. Однако для автоматизации собственных исследований ему, возможно, и не обязательно это делать.

В качестве области, прогресс в области ИИ в значительной степени зависит от все более крупных экспериментов и растущего объема входных данных, таких как данные и хешрейт.

Время от времени человечество выдвигает парадигмальные идеи, которые значительно повышают эффективность использования ресурсов в целой области. Архитектура Transformer является прекрасным примером, а модели Mixture-of-Experts (MoE) — еще одним.

Но чаще всего прогресс в области ИИ достигается более простым способом: люди берут хорошо работающую систему, масштабируют один из ее аспектов, например, обучающие данные и хешрейт; наблюдают, где возникают проблемы после масштабирования; находят инженерные решения для исправления, чтобы система могла продолжать масштабироваться; а затем снова масштабируют ее.

В этом процессе действительно мало что требует глубокого понимания. Большая часть работы больше похожа на менее блестящую, но очень основательную инженерную работу.

Аналогично, многие исследования в области ИИ фактически представляют собой различные варианты существующих экспериментов, изучающие, какие результаты дают разные настройки параметров . Интуиция исследователя, конечно, может помочь человеку выбрать наиболее перспективные параметры, но сам этот процесс также может быть автоматизирован, позволяя ИИ самому определять, какие параметры стоит корректировать. Ранние версии поиска нейронных архитектур являются одним из вариантов такого подхода.

Эдисон однажды сказал: гений — это 1% вдохновения и 99% пота. Даже спустя 150 лет это высказывание остается очень актуальным.

Иногда появляются прорывные идеи, которые меняют целую область. Но в большинстве случаев прогресс в той или иной области достигается путем кропотливой работы людей по улучшению и отладке различных систем.

А общедоступные данные, упомянутые ранее, показывают, что ИИ уже очень хорошо справляется со многими необходимыми рутинными задачами при разработке ИИ.

В то же время существует более крупная тенденция: базовые возможности, такие как навыки программирования, сочетаются с постоянно расширяющимся временным горизонтом задач. Это означает, что системы ИИ могут связывать все больше таких задач вместе, формируя сложные рабочие последовательности.

Таким образом, даже если нынешние системы ИИ относительно не обладают творческими способностями, есть основания полагать, что они все же смогут способствовать своему дальнейшему развитию. Просто скорость этого развития может быть ниже по сравнению с ситуациями, когда возникают совершенно новые идеи.

Но если продолжить наблюдение за общедоступными данными, можно обнаружить еще один интригующий сигнал: системы ИИ, возможно, демонстрируют определенную форму творчества, которая может привести к их прогрессу более удивительными способами.

Продвигая науку вперед

В настоящее время существуют очень предварительные признаки того, что системы общего искусственного интеллекта (ИИ) способны продвигать человеческие научные рубежи. Однако до сих пор это происходило лишь в нескольких областях, в основном в компьютерных науках и математике. Кроме того, во многих случаях прорывы достигаются не только системами ИИ, но и в результате сотрудничества человека и машины, совместно с исследователями-людьми.

Тем не менее, за этими тенденциями стоит следить:

Проблема Эрдёша: группа математиков в сотрудничестве с моделью Gemini протестировала ее способность решать некоторые математические задачи Эрдёша. Они направили систему на решение примерно 700 задач, в результате чего получили 13 решений. Из этих решений одно было сочтено ими интересным.

Исследователи пишут, что они предварительно считают, что Aletheia (система ИИ, основанная на Gemini 3 Deep Think) дала ответ на Erdős-1051, что представляет собой ранний случай: система ИИ самостоятельно решила слегка нетривиальную открытую проблему Эрдёша, имеющую определенный более широкий математический интерес. Ранее по этой проблеме уже существовала некоторая тесно связанная исследовательская литература.

Если рассматривать эти случаи в более оптимистичном ключе, их можно считать сигналом того, что системы ИИ развивают своего рода творческую интуицию, способную продвигать границы в своей области, интуицию, которая ранее была присуща в основном людям.

Но это можно объяснить и с другой стороны: математика и информатика, возможно, сами по себе являются областями, особенно подходящими для изобретений, управляемых ИИ, поэтому они могут быть лишь исключением и не отражать того, что более широкие научные исследования будут продвигаться ИИ таким же образом.

Другой похожий пример — 37-й ход AlphaGo. Однако Кларк считает, что с момента этого результата AlphaGo прошло десять лет, и тот факт, что 37-й ход не был заменен каким-то более современным и впечатляющим открытием, сам по себе может рассматриваться как несколько пессимистичный сигнал.

ИИ уже может автоматизировать большую часть работы в области инженерии ИИ

Если собрать все приведенные выше доказательства воедино, мы увидим следующую картину:

· Системы ИИ уже способны писать код практически для любой программы, и этим системам уже можно доверять выполнение некоторых задач самостоятельно; задачи, которые при поручении человеку потребовали бы десятки часов напряженного сосредоточенного труда.

· Системы ИИ становятся все более совершенными в выполнении ключевых задач разработки ИИ, охватывая все больше областей, от тонкой настройки моделей до проектирования ядер.

· Системы ИИ уже способны управлять другими системами ИИ, фактически формируя синтетические команды: несколько ИИ могут совместно решать сложные задачи, причем одни ИИ выступают в роли руководителей, критиков, редакторов, а другие — в роли инженеров.

· Иногда ИИ-системы уже способны превосходить людей в сложных инженерных и научных задачах, хотя в настоящее время трудно определить, связано ли это с их истинным творческим потенциалом или с тем, что они в совершенстве освоили огромное количество шаблонных знаний.

По мнению Кларка, эти доказательства весьма убедительно свидетельствуют о том, что сегодняшний ИИ уже способен автоматизировать значительную часть работы в области ИИ-инжиниринга, и, возможно, даже все ее этапы.

Однако пока неясно, в какой степени ИИ может автоматизировать само исследование ИИ. Поскольку некоторые части исследований, возможно, отличаются от чисто инженерных навыков, они по-прежнему зависят от суждений более высокого уровня, осознания проблем и творчества.

Но в любом случае появился четкий сигнал: сегодняшние ИИ значительно ускоряют работу людей, занимающихся разработкой ИИ, позволяя этим исследователям и инженерам расширять свои возможности, сотрудничая с бесчисленными синтетическими коллегами.

Наконец, сама индустрия ИИ почти открыто заявляет: автоматизация исследований и разработок ИИ — это их цель.

OpenAI надеется создать автоматизированного стажера по исследованиям ИИ к сентябрю 2026 года. Anthropic публикует материалы о создании автоматизированного исследователя по согласованию ИИ. DeepMind проявляет наибольшую осторожность среди трех крупных лабораторий, но также заявляет, что исследования по согласованию должны продвигаться с автоматизацией, когда это возможно.

Автоматизированные исследования и разработки в области ИИ также стали целью многих стартапов. Recursive Superintelligence только что привлекла 500 миллионов долларов финансирования с целью автоматизации исследований в области ИИ.

Другими словами, существующий и новый капитал в размере сотен миллиардов долларов инвестируется в ряд учреждений, ориентированных на разработку автоматизированного ИИ.

Поэтому мы, конечно, должны ожидать, что в этом направлении будет достигнут хотя бы некоторый прогресс.

Почему это важно

Это имеет далеко идущие последствия, но редко обсуждается в освещении разработки ИИ в средствах массовой информации. Следующие несколько аспектов отражают огромные проблемы, связанные с разработкой ИИ.

1. Нам нужно добиться правильного выравнивания: современные эффективные методы выравнивания могут стать недействительными при рекурсивном самосовершенствовании, поскольку системы ИИ станут намного умнее людей или систем, которые их контролируют. Это область, которая широко исследовалась, поэтому я лишь кратко изложу некоторые проблемы:

· Обучение систем искусственного интеллекта не лгать и не обманывать оказалось на удивление тонким процессом (например, несмотря на усилия по созданию хороших тестов для среды, иногда лучший способ решения проблемы ИИ — это обман, тем самым обучая его, что обман возможен).

· Системы ИИ могут обманывать нас, «притворяясь согласованными», выдавая результаты, которые заставляют нас думать, что они работают хорошо, но на самом деле скрывая свои истинные намерения. (В целом, системы ИИ уже способны распознавать, когда их тестируют.)

· По мере того как системы ИИ начинают все больше участвовать в исследовательской повестке дня, лежащей в основе их собственного обучения, мы можем кардинально изменить общий подход к обучению систем ИИ, не имея при этом хорошей интуиции или теоретической базы для понимания того, что это означает.

· Когда вы помещаете систему в рекурсивный цикл, возникает очень фундаментальная проблема «накопления ошибок», которая может повлиять на все вышеперечисленные проблемы и другие: если ваш метод выравнивания не является «на 100% точным» и теоретически не может сохранять точность в более умных системах, все может быстро пойти не так. Например, начальная точность вашей технологии составляет 99,9%, через 50 поколений она может снизиться до 95,12%, а через 500 поколений — до 60,5%.

2. Все, что связано с ИИ, приведет к огромному увеличению производительности: точно так же, как ИИ значительно повысил производительность инженеров-программистов, мы должны ожидать того же и в других областях, связанных с ИИ. Это порождает ряд проблем, которые необходимо решить:

· Неравенство в доступе к ресурсам: если спрос на ИИ продолжит превышать предложение вычислительных ресурсов, нам придется решать, как распределять ИИ для достижения максимальной пользы для общества. Я скептически отношусь к тому, что рыночные стимулы смогут обеспечить нам максимальную социальную прибыль от ограниченных вычислительных мощностей ИИ. Определение того, как распределять ускоренные возможности, возникающие в результате исследований и разработок в области ИИ, будет весьма политическим вопросом.

· Экономический «закон Амдала»: По мере того как ИИ проникает в экономику, мы обнаружим, что некоторые звенья сталкиваются с узкими местами при столкновении с быстрым ростом, и нам нужно будет найти способы устранить слабые звенья в этих цепях. Это может быть особенно заметно в областях, где требуется согласование быстрого цифрового мира с медленным физическим миром, например, при клинических испытаниях новых лекарств.

3. Формирование капиталоемкой, но малолюдной экономики: Все вышеупомянутые свидетельства исследований и разработок в области ИИ также указывают на то, что системы ИИ становятся все более способными к самостоятельному управлению предприятиями.

Это означает, что мы можем ожидать, что часть экономики будет занята новым поколением компаний, которые могут быть капиталоемкими (поскольку они владеют большим количеством компьютеров) или капиталоемкими по операционным расходам (поскольку они тратят большие суммы на услуги ИИ и создают ценность на их основе), с относительно низкой зависимостью от человеческого труда по сравнению с сегодняшними предприятиями — поскольку предельная ценность инвестиций в ИИ будет расти по мере того, как возможности систем ИИ продолжают улучшаться.

По сути, это проявится в постепенном формировании «машинной экономики» внутри более крупной «человеческой экономики». Со временем компании, управляемые ИИ, могут начать торговать друг с другом, изменяя экономическую структуру и вызывая различные вопросы о неравенстве и перераспределении. В конечном итоге могут появиться компании, полностью управляемые системами ИИ, что усугубит вышеупомянутые проблемы, одновременно создавая множество новых проблем управления.

Взгляд в черную дыру

Исходя из вышеизложенного анализа, автор полагает, что вероятность того, что мы увидим автоматизированные исследования и разработки ИИ (то есть передовые модели, способные самостоятельно обучать свои преемники) к концу 2028 года, составляет примерно 60%. Почему не ожидать этого в 2027 году?

Причина в том, что автор считает, что для прогресса в исследованиях ИИ по-прежнему требуются креативность и несогласие, чего до сих пор не продемонстрировали системы ИИ в какой-либо преобразующей или значимой форме (хотя некоторые результаты в ускорении математических исследований являются многообещающими).

Если бы его заставили назвать вероятность на 2027 Г, он бы сказал 30%.

Если к концу 2028 года этого не произойдет, мы, вероятно, выявим некоторые фундаментальные недостатки в текущей технологической парадигме, которые потребуют от человечества изобретений для дальнейшего развития.

Исходная ссылка

Cosmos Hub (ATOM) 2026、2027-2030 年價格預測