Вроде, "софт" принято называть "мемами" :) И они появились ещё до человека. А вот "средства разработки софта" - это да, очень продвинутый уровень.

А что касается той дискуссии, то человек, опытный в чём-то, может, взглянув на ситуацию, сразу чем-то задним понять, что тут к чему и что надо делать. Вот в этом направлении ИИ и тренируют пока. А способность построить модель или, тем более, провести рассуждение возникла в биологических нейронных сетях намноооого позже, чем такой уровень, и пока что ИИ не может себя анализировать и развивать не из-за отсутствия инструментов рефлексии, а потому что рефлексировать-то нечего пока: нет там внутри ни одной концепции, исключительно "что-то заднее".