Сёрл в 1980 году описал мысленный эксперимент. Человек сидит в комнате. Ему дают инструкции на английском: «
если видишь такой китайский иероглиф — отвечай таким». В дверь комнаты подают вопросы на китайском, обратно идут ответы на китайском. Снаружи кажется, что человек понимает китайский. Изнутри — он манипулирует символами по правилам без понимания.
Симуляция понимания. Не понимание.
Применительно к вашей работе. Когда вы пишете промпт «
оцени качество этого текста», модель не оценивает качество. Она симулирует процесс оценки качества. На вход — текст. На выход — структурированный ответ, который выглядит как оценка качества. Внутри — манипуляция символами по правилам, выученным на обучающем корпусе.
Симуляция выглядит как оценка. Это нормально — она специально обучена так выглядеть. Если бы она выглядела как «
random.choice(['хорошо', 'плохо'])» — её бы не покупали за деньги.
Но она не оценивает. Она применяет к вашему тексту усреднённый алфавит «качества» из обучающего корпуса.
Lerchner это формализовал так: «
If an artificial system were ever conscious, it would be because of its specific physical constitution, never its syntactic architecture». В переводе: никакая надстройка над синтаксисом не превратит синтаксис в субстрат смысла.
Применительно к нам: никакое масштабирование GPT-N не превратит модель в существо, которое понимает, что значит «качественный ответ» в саппорте именно вашей компании. Потому что это вопрос не объёма параметров, а онтологической категории.
В цикле 1 я уже разбирал смежный механизм в [«
Язык — это яд»] — почему LLM устроены как генератор языка, и world model в строгом смысле в них не помещается. Там был фокус на субстрат: язык как lossy compression реальности. Здесь фокус другой: что происходит с вашим бизнесом, когда вы передаёте онтологическую работу симуляции. Если 11-я была про машину, эта — про вас.