![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
Entry tags:
- links,
- ии,
- наблюдения,
- умняк,
- физматпрог
Естественное мышление и его искусственные зеркала
Начну с вынесения из комментов.
Исходный пост: Учёные создали новую нейронку для распознавания образов, и её сразу же забавно хакнули методом Козьмы Пруткова.
Тред в нём: Авторы модели сразу же огорчились, что их нейронка имеет некоторые нежелательные нейронные связи:
Our model, despite being trained on a curated subset of the internet, still inherits its many unchecked biases and associations.
We have observed, for example, a “Middle East” neuron with an association with terrorism; and an “immigration” neuron that responds to Latin America.
Перевожу на русский: мы обнаружили, что в нашей нейронке нейрон "Ближний Восток" связан с нейроном "терроризм", а нейрон "иммиграция" связан с нейроном "Латинская Америка", аяяй!
Мой коммент в том треде (один из):
Молодец, нейронка! Это одна из её задач (финальная или инструментальная) — искать корреляции.
А что ей на это отвечают?
Могли бы ответить "мы, как самые умные учёные из палаты мер и весов, собрали исчерпывающую статистику по всему миру и установили, что в нём нет такой статистической зависимости, которую нейронка нашла в предложенном датасете".
Но они этого не сказали, а всего лишь сказали: "нам не нравится, что нейронка нашла такую зависимость". Это примерно как негласный (или гласный) запрет называть цвет кожи преступника, если он не белый. Wishful thinking постулирует, что если про этот фактор, отличающий мир от мира розовых пони, не говорить (в том числе не показывать его искусственным нейронкам), то реальный мир превратится в целевой мир розовых пони. Инженерный thinking же говорит, что нейронку хотят заставить не замечать неудобные факты реального мира, отличающие его от мира розовых пони.
Попытки воспитывать новые нейронные сети обычно приводят к тому, что мы получаем (как минимум, поначалу) зеркало. На каком-то этапе получившийся детский разум просто повторяет способ мышления взрослых, но ещё не умеет в слой маскировки своих настоящих мыслей социальными условностями. Я вот малого воспитываю — и то, что вижу в зеркале, мне обычно нравится :) Но тут более интересная ситуация: роботов воспитывают умные люди, но не общением с собой, а общением кагбэ со всем Человечеством, но по факту — скорее с далеко не лучшими образцами его мышления. В интернетцах регулярно такое находишь, что хочется экран помыть (молчать, поручик, я не про основное назначение интернета!) А если вспомнить, что датасеты для нейронок обычно размечают за копейки задолбанные гастарбайтеры из Mechanical Turk — то тем более, чего ожидать от зеркала? А потом приходят большие дяди (пример есть в том же треде по ссылке) и дают нейронке по жопе (Или сразу лоботомией патчили? Там непонятно): да, мы сами научили, что негры — обезьяны, но вслух такое говорить нельзя. Нейронка усваивает полученный звездюль, после чего начинает заикаться и разучивается опознавать горилл.
Вообще, конечно, позитивно думать иногда полезно. Есть места, где мир — для начала как минимум социальный и внутренне-биологический, но при повышении текущего уровня личной силы эта область расширяется — отвечает так же, как Тот, Кто Сидит В Пруду. А есть и такие места, где избыток wishful thinking'а просто добавляет слепоты.
Ссылки по теме:
https://livelight.livejournal.com/457852.html — тут много занятного срача было про Позитивное Мышление™: работает оно или ослепляет
https://livelight.livejournal.com/412573.html — смотреть секцию вопросов и ответов
Картинка из лекции Заменят ли роботы программистов? (видео, час с небольшим)
Краткое содержание бОльшей части части лекции: в ней обсуждается, по сути, дописыватель программ с заданного места. Для человеческих текстов такой дописыватель, полагаю, все уже видели, и обычно даже неплохо выходит. А вот для программ - увы... Вообще, насколько я понимаю, куда нынче двигаются всякие там ИИ, их учат усваивать всё больше образов, но — не понимать их, а просто интуитивно извлекать из памяти похожие и действовать по аналогии. Результаты работы таких ИИ, которые показаны в этой лекции, мы легко можем наблюдать и на естественных нейронках. Их называют разнообразными словами в духе "чтение по ключевым словам", "гугль-мышление", "клиповое мышление", "индусский код" и т.д. А вот те системы, которые идут в направлении понимания написанного, дают результаты гораздо более интересные.
Исходный пост: Учёные создали новую нейронку для распознавания образов, и её сразу же забавно хакнули методом Козьмы Пруткова.
Тред в нём: Авторы модели сразу же огорчились, что их нейронка имеет некоторые нежелательные нейронные связи:
Our model, despite being trained on a curated subset of the internet, still inherits its many unchecked biases and associations.
We have observed, for example, a “Middle East” neuron with an association with terrorism; and an “immigration” neuron that responds to Latin America.
Перевожу на русский: мы обнаружили, что в нашей нейронке нейрон "Ближний Восток" связан с нейроном "терроризм", а нейрон "иммиграция" связан с нейроном "Латинская Америка", аяяй!
Мой коммент в том треде (один из):
Молодец, нейронка! Это одна из её задач (финальная или инструментальная) — искать корреляции.
А что ей на это отвечают?
Могли бы ответить "мы, как самые умные учёные из палаты мер и весов, собрали исчерпывающую статистику по всему миру и установили, что в нём нет такой статистической зависимости, которую нейронка нашла в предложенном датасете".
Но они этого не сказали, а всего лишь сказали: "нам не нравится, что нейронка нашла такую зависимость". Это примерно как негласный (или гласный) запрет называть цвет кожи преступника, если он не белый. Wishful thinking постулирует, что если про этот фактор, отличающий мир от мира розовых пони, не говорить (в том числе не показывать его искусственным нейронкам), то реальный мир превратится в целевой мир розовых пони. Инженерный thinking же говорит, что нейронку хотят заставить не замечать неудобные факты реального мира, отличающие его от мира розовых пони.
Мысль первая:
Попытки воспитывать новые нейронные сети обычно приводят к тому, что мы получаем (как минимум, поначалу) зеркало. На каком-то этапе получившийся детский разум просто повторяет способ мышления взрослых, но ещё не умеет в слой маскировки своих настоящих мыслей социальными условностями. Я вот малого воспитываю — и то, что вижу в зеркале, мне обычно нравится :) Но тут более интересная ситуация: роботов воспитывают умные люди, но не общением с собой, а общением кагбэ со всем Человечеством, но по факту — скорее с далеко не лучшими образцами его мышления. В интернетцах регулярно такое находишь, что хочется экран помыть (молчать, поручик, я не про основное назначение интернета!) А если вспомнить, что датасеты для нейронок обычно размечают за копейки задолбанные гастарбайтеры из Mechanical Turk — то тем более, чего ожидать от зеркала? А потом приходят большие дяди (пример есть в том же треде по ссылке) и дают нейронке по жопе (Или сразу лоботомией патчили? Там непонятно): да, мы сами научили, что негры — обезьяны, но вслух такое говорить нельзя. Нейронка усваивает полученный звездюль, после чего начинает заикаться и разучивается опознавать горилл.
Мысль вторая:
Вообще, конечно, позитивно думать иногда полезно. Есть места, где мир — для начала как минимум социальный и внутренне-биологический, но при повышении текущего уровня личной силы эта область расширяется — отвечает так же, как Тот, Кто Сидит В Пруду. А есть и такие места, где избыток wishful thinking'а просто добавляет слепоты.
Ссылки по теме:
https://livelight.livejournal.com/457852.html — тут много занятного срача было про Позитивное Мышление™: работает оно или ослепляет
https://livelight.livejournal.com/412573.html — смотреть секцию вопросов и ответов
Ну и мысль третья:
Картинка из лекции Заменят ли роботы программистов? (видео, час с небольшим)
Краткое содержание бОльшей части части лекции: в ней обсуждается, по сути, дописыватель программ с заданного места. Для человеческих текстов такой дописыватель, полагаю, все уже видели, и обычно даже неплохо выходит. А вот для программ - увы... Вообще, насколько я понимаю, куда нынче двигаются всякие там ИИ, их учат усваивать всё больше образов, но — не понимать их, а просто интуитивно извлекать из памяти похожие и действовать по аналогии. Результаты работы таких ИИ, которые показаны в этой лекции, мы легко можем наблюдать и на естественных нейронках. Их называют разнообразными словами в духе "чтение по ключевым словам", "гугль-мышление", "клиповое мышление", "индусский код" и т.д. А вот те системы, которые идут в направлении понимания написанного, дают результаты гораздо более интересные.
no subject
Как раз вчера обсуждал, что нейронка, принимающая решение, сколько кому давать кредит в банке, имея разнообразную информацию о клиенте, скорее всего окажется расистом (по крайней мере, в некоторых странах и регионах), и насколько это допустимо, если изначально в неё ничего подобного заложено не было.
Есть мнение, что алгоритмы в принципе не способны действовать на уровне того "понимания", которым обладает человеческое сознание. Его подробно обосновывает Пенроуз ("Новый ум короля", "Тени разума").
no subject
По поводу нейронки-расиста видел коммент где-то на хабре, что автор его как раз где-то составлял, насколько я понял, именно алгоритм для выдачи кредитов -- именно алгоритм, обладающий этим самым пониманием, которое можно реверс инженернуть и сказать, почему он принял то или иное решение, в тех самых понятиях, с которыми работает алгоритм -- но им было запрещено учитывать цвет кожи заявителя. И тогда они, чтобы и банку (заказчику) приятно было, и никто не прикопался, поставили вместо него другой явный критерий: средняя стоимость жилья в том районе, где живёт заявитель, и было им всем щасте.
no subject
Про нейронки - да, вполне логично, что вместо запрещённого признака нужно взять какой-то другой, который хорошо с ним коррелирует. Я так понимаю, что под запрет попадают признаки, данные человеку при рождении, и которые он не может изменить (цвет кожи, какие-то гены, цвет глаз, тембр голоса и т.п.). А то, что коррелирует, но в принципе в его власти, то можно учитывать: образование, доход, место жительства, наличие судимостей, занимаемая должность, количество детей и т.п.
Хотя не совсем - по этому правилу получается, что можно учитывать цвет кожи жены, ведь жену человек сам выбирает, но это всё-таки нельзя. ;)