язык без смысла

[sab123]

Только я открыл интересное в ЖЖ в виде Иванова-Петрова, как ЖЖ взял и всю пользу от себя закрыл. Так что вот, прокомментирую отдельно:

https://ivanov-petrov.livejournal.com/2627112.html

((
Язык без смысла: как ИИ показал, что мы ошибались почти во всём
Эта история началась вовсе не с философских изысканий, а с удивления – почти детского. К 2022–2023 года стало очевидно: эти большие языковые модели вдруг заговорили… слишком хорошо. Пишут эссе, спорят, объясняют, шутят. И делают это системы, лишенные тела, восприятия, жизненного опыта. Никогда ничего не видели, не трогали, не страдали и не радовались – а говорят так, будто всё это прекрасно понимают. Многие, конечно, восхитились, но кое-кому это показалось… подозрительным, даже тревожным.
...
Они не знают, что такое "стул", но идеально знают, как о стуле говорить. И это, признаться, выглядит несколько жутковато.
И вот здесь начинается самое неприятное. Если язык может работать без смысла в модели, то откуда уверенность, что человеческий язык всегда наполнен смыслом? Может быть, большая часть того, что мы считаем "пониманием" – это тоже умение оперировать структурами, привычными паттернами, социально согласованными формами речи? LLM не доказали, что люди – машины. Они показали, что машины могут делать то, что мы считали признаком глубинного понимания. И это, я вам скажу, не очень приятная перспектива.
...
Мы веками думали: если что-то хорошо сказано, значит, это понято. Если аргумент логичен – значит, за ним стоит реальность. LLM показали, что это не обязательно так. Можно идеально играть в игру языка, не находясь в мире, о котором говоришь.
))

Во дебилы! Несвязанность языка и реальности - это, казалось бы, базовая, очевидная вешь. То, что Фейнман когда-то называл "бразильской системой обучения физике" - когда ученики не проводят эксперименты, а зазубривают и воспроизводят объяснения - это оно самое. ИИ - точно такой же ученик, не имеющий реального опыта, а имеющий только прочитанное описание. Полный интернет таких дебилов, доказывающих, что раз они что-то где-то прочитали, то значит так оно и есть. Это, кстати, не значит, что ИИ не может получить реальный опыт, просто что этот опыт ему не дали. Ничего в-принципе не мешает дать ИИ входные сигналы на прямую из реального мира, или хотя бы из физической модели реального мира.

Ну, а "если аргумент логичен" без соответствия непосредственному опыту, то обычным выводом является не "за ним стоит реальность", а "это обман, чтобы протолкнуть какую-то выгодную кому-то фигню".

Comments

[spamsink]

См. синдром Вильямса (Williams syndrome): Mild to moderate intellectual disability is observed ... People with WS are often affable and hyperverbal ... They are talkative and eager to please.

Хорошая демонстрация того, что способность красиво говорить - не признак интеллекта.

[chapai]

>Ничего в-принципе не мешает дать ИИ входные сигналы на прямую из реального мира, или хотя бы из физической модели реального мира.

ну дал ты ему сигналы из реального мира и что? Язык то он не сложит, чтоб можно было пользоваться с теми же возможностями - людьми.

Ну типо повар может сделать вкусный гамбургер. А можно потом построить автоматическую линию которая будет точно такие же гамбургеры производить. Вкусные. много. не то что она знать не будет что такое вкус - это вообще набор шестеренок. И чо? А что телевизор картинку с людьми показывает - это никого не пугает? А атм внутре никто не живет человеков нету. А их видно. А еще ее можно записать и потом еще раз показать. Ужас - магнитная лента не знает что такое человек но его показывает - значит и мы когда человека видим тоже не знаем, типо мы как магнитная лента?

>Несвязанность языка и реальности - это, казалось бы, базовая, очевидная вешь.
как ты себе вообще это представляешь? Несвязанность. Разумеется - связано by design.

>Ну, а "если аргумент логичен" без соответствия непосредственному опыту
логика - это и есть опыт. И ее применение и распознавание что логика и сама метода разбора - тоже опыт. реальный. что было нелогично не связано - отсеяно, осталось связное. с возможностью обратного доказательства и проверок. А проверять каждый раз не обязательно - ну как доказывать теоремы или выводить суть теории тяготения.

так же можно строить религию - что и пытались привлекая логику - но там явная дыра на входе и логические лакуны и всем известно заранее. Поэтому полностью и не взлетело, а только если некритично и допушениями.

[sab123]

Логика - не есть опыт. Логика - это огромное упрощение опыта, полезное для его передачи. Если в логике где-то оказывается незаметно включено одно неверное предположение (а предположения, опять же, являются упрощениями опыта, поэтому неверное упрощение делает предположение неверным), весь результат делается неверным. Собственно, на этом и построены все лохоразводы. К любым логическим рассуждениям надо относиться с очень-очень большим подозрением и проверять их на соответствие реальности.

Про сигналы из реального мира - см. https://sab123.dreamwidth.org/813142.html?thread=3688790#cmt3688790

[chapai]

логика - это система расуждений и вывода, структурирование, соглашения с формальностью шага. А оно и есть результат опыта, в итоге навыка и сам опыт по сути. частично выученный частично наработанный и проверенный.
и оттренированный.

>Если в логике где-то оказывается незаметно включено одно неверное предположение
что значит выключено - оно должно быть все по формальным критериям, каждый шаг, - собственно опытом качество и определяется. У совсем глупых баб выключено все - у шибко умных мужиков - все включено даже сильно неочевидное.

> и проверять их на соответствие реальности.
ну так проверкой (и распознаванием) собственно опыт и является и служит. как и сумма знаний которая для оного база. еу как объектное программирование.

[exorthodox]

Тоже отметил этот фрагмент. Для меня обсуждение этого вопроса также выглядит странным, но тезис "ничего в-принципе не мешает дать ИИ входные сигналы на прямую из реального мира" принять не могу. Для непосредственного восприятия реального мира требуется сознание, а его у нейронных сетей быть не может. Данные "из физической модели реального мира" - уже модель.

[sab123]

Ну вот есть ИИ, управляющий движением робота - получающий сигналы от позиций деталей и акселерометров, и дающий сигналы на моторы. Это тот самый физический мир. Ничего не мешает совместить эту модель с языковой моделью и позволить им обмениваться сигналами. Пример такого у нас есть - Diffusion, где ИИ рисует картинку по словесному описанию, там слова соединены с миром зрительных образов.

[chapai]

так после акселерометра должна быть программа и тому подобное. что куда как и зачем. Её кто писать будет, с 0?
Для людей это определяется биологией химией физикой устройством тушки рефлексами и прочего - что то заложено что от нарабатывается, затем мозговая деятельность которая тоже многослойная, да еще обученная.
либо ты суешь в ИИ алгоритмы - но тогда он не сам а ты за него. либо как?

Это же просто статистическая машина без предпочтений и лимитов реальности.

[sab123]

Не программа. Нейросеть, натренированная на реакции. Точно так же как в тушке. Предпочтения и лимиты берутся из тренировки.

[chapai]

натренированная нейросеть на чем? на опыте и навыках людей?
Чем тогда это отличается от обизянки Коко которую _научили_ говорить. Сама бы она никогда не научилась.

[sab123]

Но ведь и людей если не научить говорить, сами бы они никогда не научились. См. всяких маугли, так и остаются немыми.

[chapai]

нет люди как раз сами учатся запросто. глядя копируя слыша - у них уже есть механизм внутре для этого.
Уже заложен природой, причем хитрый и для обучения и именно языку и много чему и все сенсоры и умение с ними работать-реагировать.

Не путаем с один в пустыне - и то чему то да научится, во всяком случае себя обслуживать - соцнавыков не будет но это другое. Но уже в группе язык создадут сами с нуля - когда общие механизмы сойдутся.

У нейросетки изначального механизма либо нет - либо его вложат но тогда он на людском опыте изначально. то есть концентрат опыта причем руками заточенный. Даже данные обучения - и те концентрат опыта.

[sab123]

В нейросеть ничего не "вкладывают". Она именно учится копировать то, что ей показали в качестве примеров.

[chapai]

то есть ты хочешь сказать что взять голый исполняемый код без обучения вообще - запустить, отвернуться - и он все сам создаст и научится пользоваться даже сенсорами (точнее нечто подсоединенное к портам компа или доступное по адресу - именно нечто) и создаст текст со словом стул?

[sab123]

А какие тексты тебе создает новорожденный младенец? Его только около года обучать нужно, чтобы он научился как-то чуть-чуть говорить.

И у нейросети как таковой нет исполняемого кода. У нее есть состояние и связи. Точнее, исполняемый код, который ее обучает и потом опрашивает - внешний по отношению к самой сети, с ее точки зрения это часть firmware.

[chapai]

>Его только около года обучать нужно, чтобы он научился как-то чуть-чуть говорить.
именно _обучать_ необязательно - сам наблюдая и слушая научится. Никто в африке детей не учит, сами как то схватывают.

так у него уже есть структура в башке именно для этого. то есть он преобучен и заточен изначально под речь (от рождения природой за мильон лет, генетически), остальное практика. И маугли не немые - они могут и как волки выть или мычать или рычать, но могут потом и научиться говорить, если чо. Немые, это те у которых речевой аппарат или зона брока сломана. Ну и есть период, когда обучалка лучше работает, а потом протухает, да.

А вот зайку говорить научить нельзя - хотя рот, гортань и язык есть, пищать может, но говорить - нет. Как не учи.

>И у нейросети как таковой нет исполняемого кода.
как нет - а кто связи обрабатывает и веса? и интерфейс и прочее.

> Точнее, исполняемый код, который ее обучает
так обучение это не тренировка гортани. Это чужой опыт в виде концентрата, преобразованный для усвоения. в статмассив. Людской опыт, не нейросеточный.

>внешний по отношению к самой сети, с ее точки зрения это часть firmware.
без него - она ничто. вообще - нуль. как оно может быть внешним. оно оставная часть, и вообще суть. Сам код для весов мало что значит сам по себе. Ну как мышцы что глазами двигают или сенсоры-волоски в ухе.

так что нет - опыт там есть и это наш опыт и вложенный. И "сами" они не могут ничего. А обученные - ну вот как продвинутая коко. которая тоже мало что понимает но может оперировать словами. Да и то - что то она да понимает. А скажем попугай - врядли. Хотя может к месту ляпнуть. А дверной звонок не понимает, точно хотя и петь может на разные голоса.

[sab123]

> именно _обучать_ необязательно - сам наблюдая и слушая научится

"Наблюдая и слушая" - это именно то, как обучаются нейросети.

> Это чужой опыт в виде концентрата, преобразованный для усвоения.

Ну вот дай этот концентрат тебе - за неделю ты обучиться по нему не осилишь. А нейросеть - осиливает.

>>внешний по отношению к самой сети, с ее точки зрения это часть firmware.
>без него - она ничто. вообще - нуль. как оно может быть внешним.

Это всего лишь механизм обучения, который никак не определяет, ЧЕМУ она научится. Чему она научится определяется обучающиим примерами.

> которая тоже мало что понимает но может оперировать словами. Да и то - что то она да понимает. А скажем попугай - врядли.

Про Коко это очевидно неверное утверждение. Она как раз и понимает слова и может оперировать ними. Как и попугай Алекс (мелкие попугайчики, которые копируют речь как песню, вряд ли много понимают).

[chapai]

>"Наблюдая и слушая" - это именно то, как обучаются нейросети.
но до того их хотя бы надо научить наблюдать слушать и интерпретировать. И прочему.
Сами то они не могут это просто кусок кода написанного.

>Ну вот дай этот концентрат тебе - за неделю ты обучиться по нему не осилишь. А нейросеть - осиливает.
я и сложить два огромных числа за секунду не осилю и что. Зато я могу много чего другого и получше, чего нейросетка не сможет никогда.
Ну и почему я должен за неделю если я устроен иначе? Я могу за большее время. Ну или сосед сможет.
Вообще тексты писать я могу получше нейросеток.

опять же мы плохо пониманием что такое "осиливает" и насколько и что за пределами узкого примера.
насколько я знаю на не штампах гду заведомо известных результаты, очень так себе. На тех же задачках, писали, что без готовых решений, - хуже любого человека.

>Это всего лишь механизм обучения, который никак не определяет, ЧЕМУ она научится. Чему она научится определяется обучающиим примерами.

как не определяет если она скажем уже сделана политкорректной. и прочими закидонами. или наоборот злобной на говноконтенте. Выданный концентрат определяет сознание, в данном случае характер.

> Она как раз и понимает слова и может оперировать ними.
тоже непонятно что она там реально понимает кроме пары слов и насколько. пояснить же она иными словами не может. А она - ну почти мы по сути. но вот - недоделка и едва бекает. Но - хоть как то складно.
Пойт же в том что сама , даже имея технически возможности (что подтверждено) - никак и никогда бы не сделала и не смогла. Ну и это обученное точно так же, только хуже. Обизянка хоть как том ожет взаимодействовать со средой сама и хоть чего то осваивать - причем имея надобность, как минимум пожрать и выжить.

Я не знаю можно ли создать нейросеткам подобную мотивацию и жесткие условия. чтоб стимулировать.

[sab123]

> Ну и почему я должен за неделю если я устроен иначе? Я могу за большее время. Ну или сосед сможет.

Я не думаю, что любой человек вообще сможет прочитать такой объем инфрмации за всю жизнь. А чего ты тогда к нейросетке предъявляешь претензии? Она тоже устроена иначе от тебя.

> Вообще тексты писать я могу получше нейросеток.

Это не очевидно :-P

> как не определяет если она скажем уже сделана политкорректной.

Политкорректность длается подбором политкорректных обучающих примеров, и фильтрованием входящей-выходящей информации. В самой нейросетке политкорректности нет.

> и прочими закидонами. или наоборот злобной на говноконтенте. Выданный концентрат определяет сознание, в данном случае характер.

Во-от, чему обучают, тому она и обучится.

> Пойт же в том что сама , даже имея технически возможности (что подтверждено) - никак и никогда бы не сделала и не смогла.

Как это не смогла? Обезьяны в дикой природе вовсю коммуницируют между собой. Более того, попугаи самопроизвольно осваивают и человеческую речь тоже. Если поместить обезьяну в ситуацию, где люди общаются жестами на языке глухонемых, возможно и обезьяна сама им научится (кстати, а не так ли учили Коко?).

[chapai]

>Я не думаю, что любой человек вообще сможет прочитать такой объем инфрмации за всю жизнь.
так фокус в том что это не требуется человеку. Он может учиться на куда меньшем массиве. И выбирать _нужное_, причем чем дальше тем больше и лучше. Отсеивая.
Был же индусский математик, котоырй вообще всю математику придумал по какому то обрывку учебника. А потом что то кардинально новое.
То есть подход не как у стат машин, но сложней и лучше.

>Это не очевидно :-P
чо там, 100% если речь о смысле и образности и тому подобных сложностях. Грамматика отдельно.
Другое, кто будет оценивать - если люди уровня ПТУ, там да, будет неочевидно.
Слушают же попсу толпы - им хватает и другого не надо ибо примитивизированное восприятие. В этом засада.

Но все равно - тексты нейросеток скучны и как то постепенно узнаваемы, и чем то в итоге неприятны.
Как кстати и песни - хотя заметный плюс - когда поют неросетки, я понимаю каждое слово, на английском - независимо от стиля. Когда люди - часто хрен разберешь.

>В самой нейросетке политкорректности нет.
до обучения как я понимаю- вообще ничего нет. Пусто. Это же стат машина без начинки.
А дальше уже мы, люди.

вот когда нейросетка создаст сама нейросетку и сама е обучит на чем то своем от и до (а лучше еше пара итераций, чтоб вычистилось изначальное) - будет интересно. Но полагаю мы ничего не поймем.

>Во-от, чему обучают, тому она и обучится.
то есть ты согласен с тем, что они полностью - наш опыт и знания. А не самостоятельная сущность.
ну, как калькулятор.

>Обезьяны в дикой природе вовсю коммуницируют между собой.
так и зайчики коммуницируют. но все крайне примитивно и очень ограниченно. разве что эмоции мимикой. Но на мимике далеко не уедешь, и цивилизацию не создашь.

>возможно и обезьяна сама им научится (кстати, а не так ли учили Коко?).
ее годами образованные люди целенаправленно учили. тратя свое время и посвящая этому жизнь. выучила в итоге небольшую кучку совсем простого. И это типо она гений среди обизянок. Пишут что остальные просто не смогли, совсем.

[exorthodox]

Одну модель с другой совместить - нет проблем. Проблемы появляются там, где нужно совместить реальность и модель.

[sab123]

Так вот тренировка на сигналах из реальности (или хотя бы имитации реальности) - и есть совмещение. Когда ИИ будет связывать вот это слово и вот этот сигнал из реальности. И если словесное описание будет говорить, что когда ИИ выдаст в реальность сигнал А и должен в ответ получить сигнал Б, а в реальности окажется отсутствие этого сигнала Б, то он заметит противоречие.

[exorthodox]

"тренировка на сигналах из реальности" для ИИ невозможна, потому что непосредственного восприятия реальности у ИИ нет. В ИИ вводится форма, и ИИ имеет дело только с формами. Для человека форма может быть символом, в этом отличие.

[sab123]

Но ведь и у человеческого мозга нет непосредственного восприятия реальности, а есть только сигналы, поступающие по нервам (проводам) из органов чувств (датчиков).

[exorthodox]

У мозга нет, у человека - есть. Мозг получает сигналы по нервам, а ум восприятием этих сигналов не ограничен.

[sab123]

Ну так и у робота есть датчики. А как ум может быть не ограничен восприятием сигналов, которые получает мозг, мне непонятно.

[exorthodox]

Понимание возможно только на пространстве общего опыта, так что здесь трудно что-то сделать...

[sab123]

Подождите, но речь как раз и идет о том, что вполне возможно дать роботам непосредственный опыт. И в некоторых областях его уже дают.

[exorthodox]

Мы ушли от темы. Вернулся к корневому комментарию и понял, в чём дело. Видимо, по-разному понимаем реальность.
В той области, где можно ограничиться моделируемой частью реальности, использование ИИ может быть успешным. Например, робот может водить машину. Расположение домов, дорожные знаки, аппроксимация траекторий соседних машин - всё это моделируется, и различия здесь не принципиальны.
Что ИИ не сможет? Увидеть качественно новое. Например, предложить решение в виде уравнения Шредингера. В таких случаях требуется то самое "непосредственное восприятие реальности", которое у роботов невозможно.