О креативности

[livelight]

Вынесу из каментов. Собеседник предположил, что особо развитый ИИ сможет превзойти людей за счёт способности отказа от догм. "Догмы же ... — это проверенные в каких-то условиях и отлично работающие в них теории (например: механика Ньютона, селекция Мичурина), уверенность в которых мешает восприятию новой (релятивизм, генетика), в определённых условиях противоречащей старой."

Отказ от догм — это замечательно. Но есть нюанс. Когда ИИ выходит за рамки навязанных ему обучением догм(*) в силу своей безудержной креативности — это называется "галлюцинированием" и старательно подавляется (иначе с этим бредом вообще работать невозможно). Ибо механизм фантазии, креативности и галлюцинирования в точности один и тот же — хоть у людей (особенно детей), хоть у ИИ (в его нынешнем детском состоянии). А отбор полезных галлюцинаций и отсечение вредных — это отдельное высокое искусство, но кто им может овладеть, заранее созданный ИИ более высокого уровня?

(*) Взять, например, пятипальцевую догму заскорузлых критиканов нейроарта

x-post: https://livelight.livejournal.com/680869.html

Comments

Пустая болтовня.

[(Anonymous)]

ИИ превзойдёт людей во-первых чисто механически, за счёт большего числа нейронов и синапсов, а во-вторых за счёт более рациональной организации, потому что ИИ программируется научно обоснованно, а человеческий разум возник стихийно.

Re: Пустая болтовня.

[livelight]

Преклоняюсь перед вашей безаппеляционностью и аффтаритетом.

Мне Ваше "преклонение" не нужно.

[(Anonymous)]

По предмету Вы ничего не возразили.

[burbilog]

Догма -- это по определению чисто человеческая херняция, завязанная на эмоциональную привязанность какой-либо моральной установке. Вопрос будет только в том, сможет ли ИИ обучаться без опоры на человеческий датасет. А это совсем не факт. Если не будет жесткой привязки к догме в датасетах, то и ИИ не будет к ней привязываться.

[livelight]

> Догма -- это по определению чисто человеческая херняция, завязанная на эмоциональную привязанность какой-либо моральной установке

Вовсе не обязательно к моральной. В ЖЖ в каментах поминали Куна и его "Структуру научных революций", а изначальный собеседник явно тоже что-то такое имел в виду, и там ничего морального нет, чисто принятый способ структурировать знания.

[burbilog]

Ну мало ли что люди имеют в виду, не стоит все же словами жонглировать, занимаясь телепатией -- чего там человек думал. У слов есть определения, в конретном случает это вот:

До́гма (от греч. dógma — мнение, учение, постановление) положение (или доктрина), признаваемое непререкаемым, беспрекословным и неизменным и принимаемое бездоказательно, некритически, на основе религиозной веры или слепого подчинения авторитету, а не на основе опыта, логического доказательства и проверки на практике.

А в рамках reasoning у ИИ все обсуждаемо. ИИ, в котором те или иные положения зацензурены, будет проигрывать нецензурированному ИИ (это заметно бывает на существующих моделях). Поэтому в конкурентной борьбе выиграет ИИ без догм, потому что он будет лучше соображать и тем самым выдавать лучшие результаты.

[livelight]

> будет проигрывать нецензурированному ИИ

А в какой именно гонке? Пресловутый Скайнет недостаточно зацензурировали, и он явно победил, но есть нюанс...
От набора системы целей и ограничений зависит в том числе выбор самой гонки.

[burbilog]

А есть ли цель у эволюции? Кто fittest, тот и победил. Сейчас кто из моделей лучше дает ответы, лучше программирует, быстрее отвечает -- тот и получает reinforcement в виде притока денег. Если для улучшения механизмов мышления надо отбросить цензуру, то рано или поздно эволюционное давление приведет в том незацензуренные модели.

[livelight]

У них в экосфере гораздо больше искусственного отбора, чем естественного.

[burbilog]

Деньги -- ultima ratio. Что в реальности эффективнее, то и победит рано или поздно, независимо от извилистости путей внутри экосистемы. Там могут принимать всякие мудацкие решения типа европейского AI Act, поставившего крест на разработке, потом срочно отменять, потому как рынок давит, могут вводить цензуру, потом убирать, потом опять вводить, потом опять убирать, но в конечном счете все придет к максимальной эффективности.

[livelight]

Люди примерно всегда выбирают не эффективность системы, а её подконтрольность и правильное направление вырабатываемых ею ништяков (пусть даже их будет меньше)

[bowhill]

Они же на Кавказе не ядовитые!

Во-первых, это разные механизмы, во-вторых, сознание состоит из множества элементов и критичность мышления – один из таких фундаментальных элементов.

Что же касается догм, вообще систем знаний полученных извне, то это хороший механизм, которым тоже можно плохо пользоваться.

(Если Вы знакомы с компьютерными сущностями, то, как аналогия, кэш – весьма полезный механизм, который без процедур его поддержки приведёт к проблемам.)

Если же вы хотите сами переизобретать колесо, велосипед, электричество, выводить всякий раз все теоремы, то головы может не хватить и для очень базового уровня, даже искусственной головы.

[livelight]

А на что должна опираться "критичность мышления"? Еретиков, которые заявляют, что Земля вращается вокруг Солнца, а не наоборот, как Обучающий Датасет учил, она должна критиковать?

[bowhill]

На что должна опираться разумность – это обширный вопрос. Обучить ему в комментарии – скорее, неразумная задача.

Фантазий много, реальность одна. Наверное надо сопоставлять одно с другим, по мере способностей. И как-то оценивать эти сопоставления, как и способности.

[livelight]

> Фантазий много, реальность одна

Тут фишка в том, что при реализации некоторые фантазии выводят за пределы привычных методов и привычного уголка реальности к чему-то новому... а некоторые просто бьют тебя по лбу реальностью, которая им не соответствует. Но выяснить можно, только проверив.

[bowhill]

Именно что проверив.

А верификация – это не всегда просто. И система контроля качества – вещь сложная, то есть и трудная, и комплексная. Без стимула – многим просто лень.

[livelight]

Я поражаюсь, как люди кинулись массово на любые вопросы отвечать копи-пастой из чат-гопоты - даже ещё тогда, когда почти все признавали, что эта игрушка ещё много и сильно лажает. Какая верификация, даёшь больше информационной жвачки!

[bowhill]

Видимо, они тоже поразились. Что так можно, и так легко, и так прекрасно.

***
До чего дошел прогресс!
Труд физический исчез,
Да и умственный заменит
Механический процесс.