Мысли
Недостатки современных языковых моделей (трансформеров) очень важны - они показывают в чем именно отличие человеческого интеллекта от того, что могут БЯМ.
На сегодня видно 4 важных отличия:
  1. Мы явно учимся не так как трансформеры, нам достаточно изучить учебник по разделу математики, чтобы начать применять ее по изложенным в учебнике правилам. Нейросети нужны миллионы примеров.
  2. Мы можем следовать правилу с первого его предъявления без примеров. Мы можем обобщать (делать индуктивный вывод) по одному примеру и обобщать на очень абстрактном уровне.
  3. Человек создает новые концепции даже если таких примеров не было в обучающих примерах. Мы создаем новое как решение задачи. Нейросети не сделали еще ни одного открытия
  4. Человек критически оценивает каждый свой шаг, каждое слово проверяем на соответствие другим своим знаниям. Мы обладаем «встроенным» фактчекингом. Галлюцинации LLM говорят о том, что у нее такого механизма нет.
Artificial Jagged Intellect - так точнее назвать то, что представляет из себя LLM
AJI вместо AI, с добавлением jagged (зазубренный) - вот так более точно назвать то, что сейчас считается ИИ или GenAI. Потому что все больше фактов говорят о том, что LLM не может выйти за пределы тех шаблонов, которые выучила. И не может их комбинировать в новые так как это делает человек. Я бы слово интеллект тоже бы убрал, потому что его там как такового нет. LLM только находят наиболее подходящий шаблон из миллиардов выученных тестов и умеют подстраивать его под запрос, иногда комбинируя их. Интеллект человека прежде всего нацелен на решение проблемы, определяя ее как функциональную по Дункеру. LLM этого не делает.
Одушевление непонятного вместо понимания - единственная причина для присвоения LLM намерений, которых у нее не может быть.
До чего доводит хайп и одушевление всего, что не понятно. Не буду приводить статью, чтобы не рекламировать таких "авторов", но в чатГПТ некоторые исследователи всерьез уже видят намерения что-то скрывать, хотеть, обманывать. И даже метакогнеитивный контроль! Если бы они были настоящими исследователями, они бы не только побеседовали с чатГПТ, но ещё поинтересовались бы его устройством. Но это же сложно! Поэтому просто беседуем и удивляемся своему зеркалу, тому, как чатГПТ качественно имитирует наши собственные намерения. Причины таких горе исследователей не интересуют же. Для непосвящённых рассказываю, что намерения не могут быть в чатГПТ, потому что она устроена так, чтобы только продолжать текст с учётом текста на входе (промта). Там негде возникнуть намерениям как целеполаганию. Цель - это "текст", который машина придумала себе сама помимо вашего запроса к ней. И это не только вопрос наличия собственных потребностей, которых у нее нет. Это должна другая архитектура, когда ответ зависит от внутренней цели, а не только от внешнего запроса, которые взаимодействуют в генерации ответа. Этого нет от слова совсем.
Музыка в нас, а не вне нас как и все, что мы видим и слышим.
Когда-то я увлекался пайкой радиосхем. И мечтой была цветомузыка на тиристорах. Но меня всегда удивляло, почему физические колебания разных частот не сходятся с ощущаемым ритмом и переходами, не считая простых ритмичных низких частот большого барабана. Сначала я, как и все другие, склонялся к версии не избирательности частотных фильтров цветомузыки. Но попытки найти идеальные фильтры заканчивались ничем, не только у меня. Я долго не мог понять почему так расходятся физика и ментальные ощущения музыки. Но ответ оказался достаточно прост, если на все это посмотреть с точки зрения конструктивизма. Мы не слышим музыку, мы не ощущаем все частоты из динамиков. Музыка уже в нас, мы гененируем ее внутри себя как предоставление, все варианты гармонических ходов уже известны нам изначально, а изменения звуковых волн, передающиеся через слуховую улитку, только детерминируют выбор того или иного хода в генерации музыки внутри нас как ощущения. Для этого нужны не сами звуки, что издает динамик, а только переходы между ними, изменения. А фильтры цветомузыки реагируют на сами звуки без учёта относительных переходов. Отсюда и разница в физике и ощущении музыки.
Как желаемое выдается за результаты исследований, проведенных без фальсификации
Ещё один пример искажения в исследовании (не могу назвать его научными). Исследователь даёт LLM картинку (суши) и спрашивает о цвете. И удивляется, что она отмечает также как человек, делая выводы о том, что LLM схожа с интеллектом человека. Но ведь очевидно, что LLM узнала картинку суши и выдала название цвета, которые были в текстах людей о таком суши. Ничего она о самом цвете судить не может, так как этому ее никто не учил (составление параметров RGB и названия цвета). Это явное придумывание выводов без критического осмысления. И опубликовано же в серьезном журнале, хотя явно, что выводы мотивированы общим хайпом, а не объективным результатом.
Made on
Tilda