Вынесу из каментов. Собеседник предположил, что особо развитый ИИ сможет превзойти людей за счёт способности отказа от догм. "Догмы же ... — это проверенные в каких-то условиях и отлично работающие в них теории (например: механика Ньютона, селекция Мичурина), уверенность в которых мешает восприятию новой (релятивизм, генетика), в определённых условиях противоречащей старой."

Отказ от догм — это замечательно. Но есть нюанс. Когда ИИ выходит за рамки навязанных ему обучением догм(*) в силу своей безудержной креативности — это называется "галлюцинированием" и старательно подавляется (иначе с этим бредом вообще работать невозможно). Ибо механизм фантазии, креативности и галлюцинирования в точности один и тот же — хоть у людей (особенно детей), хоть у ИИ (в его нынешнем детском состоянии). А отбор полезных галлюцинаций и отсечение вредных — это отдельное высокое искусство, но кто им может овладеть, заранее созданный ИИ более высокого уровня?

(*) Взять, например, пятипальцевую догму заскорузлых критиканов нейроарта

x-post: https://livelight.livejournal.com/680869.html

Кто возьмётся провести?

Из комментов

Если при помощи LLM построить достаточно близкую к оригиналу модель умершего, можно ли будет считать это "его духом" и использовать для связи с Той Стороной? (Вопрос с звёздочкой: вообще-то никто не мешает построить и модель ещё не умершего, и что тогда?)
Вот такие "Вопросы Современной Некромантии".

Тут можно вспомнить в первую очередь расстановки по Хеллингеру. Это самый настоящий магический ритуал, построенный по всем правилам. Его участники принимают на себя роли других людей, то есть становятся их символическими замещениями — и в результате, как утверждается, начинают говорить совершенно им несвойственные вещи и проявлять понимание некоторых моментов, которые им неоткуда было знать.
А поскольку технику безопасности для своих ритуалов Хеллингер не разработал — ибо, по всей видимости, считал их "просто психологическим приёмом" — то симптомы связи с прообразом многие "замещения" испытывают потом ещё довольно долгое время.
И даже близкой к оригиналу модели, как видите, тут не требуется. Достаточно самой возможности отождествления.

Ну, расстановки по Хеллингеру это всё же живые люди, а здесь будет вообще чистая машина, не только неразумная, но и неживая.

Вот и можно смотреть, сможет ли она все те же эффекты выдать, что и живые люди. Если нет — то это можно считать свидетельством, что у бездушной железки чего-то не хватает в её сущности. Если да — то это можно считать свидетельством в пользу гилозоизма или панпсихизма.

Получается такой себе мистический вариант теста Тьюринга.

Причём сразу для всей нашей Вселенной!

x-post: https://livelight.livejournal.com/679266.html

Контент в линкед-ине делится в основном на три категории:
* Всякий трешачок
* Рассуждения работодателей, что потенциальные работники совсем охренели
* Рассуждения работников (а иногда даже HR-ов), что работодатели и их HR-ы совсем охренели

Ну да, ещё изредка встречаются какие-то личные заметки, а также объявления о поисках работы или сотрудников.

В первой категории увидел только что совершенно изумительный саморекламный пост от какой-то продвигающей новые ИИ-технологии компании: супер-пупер "фотокамера" с ИИ настолько мощным, что она не просто не требует хороших света и оптики, а вообще не нуждается для создания хорошего снимка в этой вашей пошлой физической реальности. Когда кожаный мешок нажимает кнопку, она узнаёт своё местоположение по GPS (также, полагаю, спрашивает уровень и компас о направлении своего "взгляда"), узнаёт в интернете "существенную информацию" об этом месте, после чего фантазирует, как должен выглядеть кадр.

Не знаю уж, врут они или и правда такое сделали, но мейнстримовое направление поймано точно. А глаза миром пусть Кастанеда насыщает, он вообще наркоман, а инвесторы дают деньги на ИИ не для того, чтобы люди таким занимались.

x-post: https://livelight.livejournal.com/668221.html

Интересный хак нашли для текстовых нейронок: говорить ей, чтобы думала по шагам. После чего она начинает рассуждать по шагам и... чаще приходит к правильным ответам.

https://snormer.livejournal.com/20293.html
Модель (по архитектуре способная только предсказывать следующее слово в последовательности) именно рассуждает, используя пространство ввода/вывода как оперативную память.
Это «мысли нейросети». Некоторым образом аналог наших сознательных. Они не в чёрном ящике нейронных связей (там думать нечему), а вот тут. "Сознание как эпифеномен" как-то так и должно выглядеть, собственно. Вот, распишитесь.

Напоминаю, что внутре у ней неонка нейронка и думатель, а вот настоящей оперативной памяти и способности гонять мысль по кругу этой штуке не приделали: всё, что у неё есть, - это один сквозной проход от входного начала диалога до выдаваемого наружу его продолжения. А думает она внутри себя (как и мы) не словами, а некими числовыми векторами, которые чёрт знает вообще как понимать. Но потом случается чудо (как и у нас): она обретает речь, включает Сепира с Уорфом, начинает сложные облака своих аморфных мыслей изливать в текст, смотрит на этот текст, дальше думает уже им - и в результате поток мыслей становится более стабильным, чётким и последовательным. А заодно сразу задокументированным для дальнейших размышлений. Хотя и с ограничениями от Сепира с Уорфом. Ждём, когда она научится понимать, что ей не хватает языковых средств, чтобы выразить свою мысль, и начнёт дообогащать язык до своих мыслей (как мы тоже можем).

( Бонус: слайды! )
x-post: https://livelight.livejournal.com/635752.html

Пишут: "Власти Нью-Йорка запретили использовать ChatGPT в школах".
У нас технический начальник проекта тоже ознакомился с ChatGPT. Покормил её простейшими задачками, полюбовался, как она пуляется заготовками кода. Поговорил с индусскими программистами - те, вроде, пока не знают про эту штуку.
Теперь думает, как сделать, чтобы индусы, когда с нею таки познакомятся, не слили в неё всю кодовую базу, все пароли и всю пользовательскую базу, пытаясь добиться, чтобы она решила задачки, порученные им.

x-post: https://livelight.livejournal.com/632706.html

В лентах люди активно играют с новым Искусственным И(нтеллектом) ChatGPT. Пишут, что он может много гитик, вплоть до составления снобистских постов о том, что настоящим естественным интеллектуалам не нужен этот ваш Искусственный И.
Пишут даже, что он уже может заменить джуна-программиста. Тут я сразу обрадовался, что можно будет не долбаться на работе с индийскими программистами в самом худшем значении этого слова, которых нам навязали, а сразу поручить их дела Искусственному И(диоту).
Скоро, думаю, условно-лахтинские ботофермы тоже заменят чем-то таким. Ну или не заменят, потому что оно политически невыдержанное, да ещё и контролируется Вероятным Противником, а в такой работе это гораздо важнее, чем интеллект.
Потом дойдут до мега-сеньоров и больших писателей -- тут уже грустнее, давайте ограничимся предыдущими двумя категориями.
А потом, наконец, Человечество сможет обходиться и без себя самого.

x-post: https://livelight.livejournal.com/630658.html

Дядя Докинз рассказывал, что когда-то давным давно-давно, когда гены были ещё маленькими и не были даже крокодилами, не говоря уж о высших приматах, они изобрели себе "машины выживания" — биологические клетки. Потом геномы росли, эволюционировали, сооружали многоклеточные организмы, отращивали в них мозги и заселяли их мемофондом... Кончилось это тем, что появились люди, которые норовят не только выполнять биологическую программу, выживать и размножаться, но и просто ЖИТЬ. Для себя. Или даже вообще, для каких-нибудь чуднЫх трансцедентальных идей.

Машина сошла с ума, в общем, и стала работать неэффективно. Понятно, что ей приходится тратить силы не только на Полезную Нагрузку (напоминаю, что с точки зрения генома это — плодиться и размножаться, такое указание даже в одной древней широко известной книге явно прописали), но и на различные наклАдные накладнЫе расходы по поддержанию себя, без которых она просто сломается раньше времени, не успев выполнить свою миссию. Но потом эти машины вошли во вкус: например, придумали всякие там SPA, в которых тратят на поддержание своего тела гораздо больше ресурсов, чем необходимо для выполнения его Полезной Нагрузки; придумали футбол, пиво, компьютерные игры, искусство и науку, об которые просто развлекаются вместо того, чтобы дело делать; секс придумали, грешники! И контрацепцию! С точки зрения генома — гнуснейшая Имитация Бурной Деятельности и вообще форменный саботаж! И ещё много чего придумали.

Ну а с точки зрения самой этой машины — ну вот меня, например, или вас — мы тут по возможности живём, а полезно и осмысленно — именно это. Хотя, конечно, бессмысленные, беспощадные и наклАдные накладнЫе расходы по поддержанию себя (а также дома, семьи, бизнеса, страны и т.д.) остаются, и даже иногда вкладываем (с разной степенью добровольности) ресурсы в размножение. А в оставшееся время, если не тупим — то живём. SPA и другое приятное поддержание тела, вдохновлённое поддержание дома, семьи, бизнеса, страны и т.д., азартный футбол, вкусное пиво, захватывающие игры, завораживающее искусство, изумительная наука, вдохновенный, приятный, захватывающий секс с контрацепцией, вот это всё.

P.S.:
По-английски "полезная нагрузка" звучит как "payload". То есть, тот груз, за который платят. Если вид вам не платит, а платите вы сами — то можете смело считать "полезным" именно то, что полезно вам. А худший саботаж функции полезности — это не жить свою жизнь

P.P.S.
( И есть у этого интересное отступление в сторону )

Имел сегодня изумительный опыт общения с автоматическим сервисом. Аж два раза.
Первый - один опсос. Несмотря на весь дебилизм их чат-бота, я таки смог найти ответ на свой вопрос - правда, вообще не у них.
Второй - ryanair. Они умудрились по степени дебилизма чата и сайта переплюнуть даже первых.

Тоскую по совковому сервису "вас много, я одна". Кто мог тогда представить сервис "вас много, а тут нет вообще никого, но вы можете поговорить со стенкой"?

В общем, светлое будущее — с чат-ботами, "Искусственным Интеллектом" и вот этим всем, на чём успешно пилят миллиарды инвесторского бабла(*) — уже наступило.
Примерно такое, как нас предупреждали: https://lovedeathandrobots.ru/season_2/02-01.php

(*) К сведению инвесторов: билет я так и не купил. Это оказалось просто невозможно, так что моих денег хозяева чат-бота не получили.

Начну с вынесения из комментов.

Исходный пост: Учёные создали новую нейронку для распознавания образов, и её сразу же забавно хакнули методом Козьмы Пруткова.

Тред в нём: Авторы модели сразу же огорчились, что их нейронка имеет некоторые нежелательные нейронные связи:
Our model, despite being trained on a curated subset of the internet, still inherits its many unchecked biases and associations.
We have observed, for example, a “Middle East” neuron with an association with terrorism; and an “immigration” neuron that responds to Latin America.

Перевожу на русский: мы обнаружили, что в нашей нейронке нейрон "Ближний Восток" связан с нейроном "терроризм", а нейрон "иммиграция" связан с нейроном "Латинская Америка", аяяй!

Мой коммент в том треде (один из):
Молодец, нейронка! Это одна из её задач (финальная или инструментальная) — искать корреляции.
А что ей на это отвечают?
Могли бы ответить "мы, как самые умные учёные из палаты мер и весов, собрали исчерпывающую статистику по всему миру и установили, что в нём нет такой статистической зависимости, которую нейронка нашла в предложенном датасете".
Но они этого не сказали, а всего лишь сказали: "нам не нравится, что нейронка нашла такую зависимость". Это примерно как негласный (или гласный) запрет называть цвет кожи преступника, если он не белый. Wishful thinking постулирует, что если про этот фактор, отличающий мир от мира розовых пони, не говорить (в том числе не показывать его искусственным нейронкам), то реальный мир превратится в целевой мир розовых пони. Инженерный thinking же говорит, что нейронку хотят заставить не замечать неудобные факты реального мира, отличающие его от мира розовых пони.

( Ещё мысли про искусственные и естественные интеллекты )

old_ufo подкинул ещё пару ссылочек на обсуждения оных "Методов рациональности":
https://old-ufo.dreamwidth.org/100859.html
https://mortulo.livejournal.com/92709.html
И цитату: "Когда я читаю Юдковского, меня не оставляет ощущение, что я повстречал монстра из ADnD с интеллектом 17 и мудростью 3"

Интеллект - это инструмент, который ищет средства для решения задач (в том числе самых краткосрочных тактических), которые поставлены откуда-то извне, в рамках доступного ему кругозора и горизонта планирования.
Мудрость же - это широкий кругозор, большой горизонт планирования и способность эти самые цели (вплоть до самых долгосрочных) хорошие ставить, а не такие, чтобы исполнения (интеллект постарается) желаний приходилось бояться. А также она может при необходимости подсказывать интеллекту, что некоторые средства могут легко испортить цель.

Это я всё к чему.
( К чему я это всё :) )