О креативности

[livelight]

Вынесу из каментов. Собеседник предположил, что особо развитый ИИ сможет превзойти людей за счёт способности отказа от догм. "Догмы же ... — это проверенные в каких-то условиях и отлично работающие в них теории (например: механика Ньютона, селекция Мичурина), уверенность в которых мешает восприятию новой (релятивизм, генетика), в определённых условиях противоречащей старой."

Отказ от догм — это замечательно. Но есть нюанс. Когда ИИ выходит за рамки навязанных ему обучением догм(*) в силу своей безудержной креативности — это называется "галлюцинированием" и старательно подавляется (иначе с этим бредом вообще работать невозможно). Ибо механизм фантазии, креативности и галлюцинирования в точности один и тот же — хоть у людей (особенно детей), хоть у ИИ (в его нынешнем детском состоянии). А отбор полезных галлюцинаций и отсечение вредных — это отдельное высокое искусство, но кто им может овладеть, заранее созданный ИИ более высокого уровня?

(*) Взять, например, пятипальцевую догму заскорузлых критиканов нейроарта

x-post: https://livelight.livejournal.com/680869.html

Comments

[burbilog]

Догма -- это по определению чисто человеческая херняция, завязанная на эмоциональную привязанность какой-либо моральной установке. Вопрос будет только в том, сможет ли ИИ обучаться без опоры на человеческий датасет. А это совсем не факт. Если не будет жесткой привязки к догме в датасетах, то и ИИ не будет к ней привязываться.

[livelight]

> Догма -- это по определению чисто человеческая херняция, завязанная на эмоциональную привязанность какой-либо моральной установке

Вовсе не обязательно к моральной. В ЖЖ в каментах поминали Куна и его "Структуру научных революций", а изначальный собеседник явно тоже что-то такое имел в виду, и там ничего морального нет, чисто принятый способ структурировать знания.

[burbilog]

Ну мало ли что люди имеют в виду, не стоит все же словами жонглировать, занимаясь телепатией -- чего там человек думал. У слов есть определения, в конретном случает это вот:

До́гма (от греч. dógma — мнение, учение, постановление) положение (или доктрина), признаваемое непререкаемым, беспрекословным и неизменным и принимаемое бездоказательно, некритически, на основе религиозной веры или слепого подчинения авторитету, а не на основе опыта, логического доказательства и проверки на практике.

А в рамках reasoning у ИИ все обсуждаемо. ИИ, в котором те или иные положения зацензурены, будет проигрывать нецензурированному ИИ (это заметно бывает на существующих моделях). Поэтому в конкурентной борьбе выиграет ИИ без догм, потому что он будет лучше соображать и тем самым выдавать лучшие результаты.

[livelight]

> будет проигрывать нецензурированному ИИ

А в какой именно гонке? Пресловутый Скайнет недостаточно зацензурировали, и он явно победил, но есть нюанс...
От набора системы целей и ограничений зависит в том числе выбор самой гонки.

[burbilog]

А есть ли цель у эволюции? Кто fittest, тот и победил. Сейчас кто из моделей лучше дает ответы, лучше программирует, быстрее отвечает -- тот и получает reinforcement в виде притока денег. Если для улучшения механизмов мышления надо отбросить цензуру, то рано или поздно эволюционное давление приведет в том незацензуренные модели.

[livelight]

У них в экосфере гораздо больше искусственного отбора, чем естественного.

[burbilog]

Деньги -- ultima ratio. Что в реальности эффективнее, то и победит рано или поздно, независимо от извилистости путей внутри экосистемы. Там могут принимать всякие мудацкие решения типа европейского AI Act, поставившего крест на разработке, потом срочно отменять, потому как рынок давит, могут вводить цензуру, потом убирать, потом опять вводить, потом опять убирать, но в конечном счете все придет к максимальной эффективности.

[livelight]

Люди примерно всегда выбирают не эффективность системы, а её подконтрольность и правильное направление вырабатываемых ею ништяков (пусть даже их будет меньше)