Эмоциональная реакция и конструирование компьютеров

Какие уроки разработчики самоуправляемых систем могут извлечь из исследований поведения биологических систем.

Эволюция наделила человека богатым набором процессов, помогающих ему ориентироваться в окружающем мире. Способность к познанию и эмоциональная реакция играют в этих процессах разные, но в равной степени важные роли. Система способностей к познанию помогает истолковывать явления окружающего мира и уяснять его смысл. Системы эмоциональных реакций служат основой для оценок и суждений, позволяют модулировать оперативные параметры познавательной деятельности и предупреждают о возможных опасностях. Результаты изучения взаимодействия этих двух систем могут быть подспорьем для создателей сложных самоуправляемых компьютерных систем, предназначенных для выполнения различных задач в динамичной, часто непредсказуемой и иногда опасной среде.

Когнитивные механизмы, которые позволяют истолковывать явления окружающего мира, уяснять их, размышлять о них и запоминать их, неплохо изучены. Но существует и второй набор механизмов, играющий столь же важную роль и неотделимый от первого; это — система эмоциональных реакций. Она дает возможность быстро оценивать события, формируя первоначальное суждение об их значении для субъекта: положительный — отрицательный, хороший — плохой, безопасный — опасный, благоприятный — вредный, желательный — нежелательный и т.д.

На уровне концепций и, в какой-то мере, на нейроанатомическом уровне эмоциональные реакции и способность к познанию представляют собой различные системы, но в функциональном отношении они, как правило, тесно переплетены. Эти системы функционируют параллельно, и каждая из них может обеспечивать оптимальное функционирование организма лишь во взаимодействии с другой. Существуют свидетельства того, что у людей с неврологическими нарушениями, поражающими эмоциональную (аффективную) систему, способность организовывать повседневную жизнь серьезно ограничена, даже если речь идет о нормальном выполнении казалось бы стандартных когнитивных задач [1]. Таким людям трудно выживать в нашем сложном мире. Мало того, другие специалисты, участвующие в работах по созданию искусственного интеллекта, неоднократно отмечали, что эмоциональная составляющая играет существенную роль в разумном поведении: она меняет приоритеты в сфере целеполагания и генерирует прерывания [2-5].

Данная статья подготовлена с целью положить начало дискуссии о том, какой вклад исследования эмоциональных реакций биологических систем могут внести в дело разработки самоуправляемых компьютерных систем.

Модель эмоциональных реакций и познавательной деятельности: три уровня поведения

В этом разделе мы кратко изложим суть нашей трехуровневой теории человеческого поведения [6], после чего рассмотрим вопрос о том, каким образом эти идеи можно использовать при разработке крупных компьютерных систем.

Существует довольно значительный пласт литературы по так называемым «аффективным вычислительным системам», предназначенным для распознавания или моделирования эмоциональных реакций человека [7-10]. Впрочем, проблемы проектирования машинных архитектур в этих работах, как правило, не затрагиваются. Наши собственные воззрения формировались под особым влиянием авторов, которые разрабатывают эти проблемы, и в первую очередь, под влиянием Аарона Сломана [9]. Как и он, мы полагаем, что процесс обработки информации человеком осуществляется на трех уровнях. Выделенные нами уровни — реактивный (reaction), рутинный (routine) и рефлективный (reflection) — соотносятся, но не во всем совпадают с тремя уровнями Сломана [11]. Так, если его реактивный уровень, в сущности, не отличается от нашего реактивного уровня, описанный им уровень созерцательных рассуждений близок по смыслу, но не идентичен нашему «рутинному» уровню, а его уровень «метауправления» также близок и также несколько отличается от нашего рефлективного уровня.

Обработка данных на каждом уровне обслуживает две различные функции: функцию оценки среды и того, что в ней происходит (это эмоциональная реакция, аффект), и функцию истолкования того, что происходит в окружающем мире (познавательная деятельность). На более высоких уровнях информация подвергается более глубокой переработке, а скорость обработки, соответственно, замедляется. Как показано на рис. 1, когнитивная и аффективная информация перетекает с уровня на уровень. Управляющая информация (в форме импульсов активации или подавления) перетекает сверху вниз.

Рис. 1. Трехуровневая модель

Самый низкий уровень — реактивный. Он складывается из базовых процессов. У животных эти процессы задаются генами, являясь врожденными. Для формирования поведения на данном уровне обучения не требуется. Реактивный уровень представляет собой непосредственные ответы на информацию об обстановке, поступающую от органов чувств. Его задача — обеспечить быструю реакцию на меняющуюся ситуацию.

На реактивном уровне субъект осуществляет мониторинг состояния как своего организма, так и окружающей среды. Эта задача выполняется с помощью быстродействующих детекторов, не предполагающих тщательной обработки поставляемых ими данных. При обнаружении опасных признаков реактивный механизм прерывает процессы обработки данных, протекающие в данный момент на более высоких уровнях (если таковые имеют место), переводит организм в состояние возбуждения и либо инициирует немедленный ответ, либо осуществляет подготовку к ответу. При этом имеет место отвлечение (перераспределение) ресурсов.

Реактивный механизм поведения дает «на выходе» некоторый набор быстрых и довольно простых прерываний, аффективных сигналов и моторных действий. Данные на этом уровне поведения подвергаются быстрой и довольно поверхностной обработке, поэтому реактивный уровень не дает возможности определять причины явлений и вообще выполнять задачи, далеко выходящие за простое реагирование на тот или иной набор раздражителей. На пути эволюционного развития этот уровень поведения сформировался раньше других, и у простых животных он является единственно возможным методом обработки информации. Но у более высокоразвитых животных и у людей прерывания, вызванные реактивным механизмом, активизируют механизмы обработки информации на более высоких уровнях (рутинном и рефлективном), и эти последние обеспечивают как выявление причины изменения обстановки, так и выбор соответствующего ответа. Ответы, генерируемые на реактивном уровне, могут усиливаться или подавляться информацией, поступающей с более высоких уровней; кроме того, такая информация может создавать эффект привыкания, снижая порог чувствительности к ожидаемым сигналам.

Средний уровень — рутинный. У людей на этом уровне формируются действия на базе навыков. Это, если можно так выразиться, хорошо заученные и в значительной степени сведенные к «рутине» поведенческие акции. К ним относятся почти все моторные навыки, включая владение речью. Поведение человека на рутинном уровне представляет собой очень сложную систему. Для выбора линии поведения и управления ею субъект обрабатывает значительные объемы данных. Рутинный механизм должен иметь доступ и к рабочей, и к более долговременной памяти, а также к механизмам оценки и планирования. Исходные для рутинного уровня данные поступают от сенсорных систем, снизу — с реактивного уровня — и сверху — с рефлективного уровня в форме сигналов управления (подавление и активация). В свою очередь, рутинный уровень может как подавлять, так и активировать ответы реактивного уровня, а при выявлении отклонений от нормы или от стандартных ожиданий этот уровень может направлять аффективную информацию наверх — на рефлективный уровень.

На рутинном уровне производятся оценки, которым присваиваются значения в трех измерениях. В научной литературе такими измерениями считаются позитивный аффект, негативный аффект и энергетическое возбуждение [12]. Многие исследователи эмоций сходятся в том, что позитивный аффект и негативный аффект представляют собой независимые измерения [13]. Так, в сознании человека, сидящего на диете, мотивация съесть аппетитное пирожное (источник позитивного аффекта) сосуществует с противоположной мотивацией, ибо от этого можно располнеть (источник негативного аффекта).

Как можно заключить из сказанного, главная особенность рутинного уровня поведения — наличие стандартных ожиданий. Когда эти ожидания не оправдываются, система может произвести коррекцию и извлечь из ситуации некоторый урок. Ожидания участвуют в формировании сигналов о потенциальных затруднениях; у людей эти ожидания активизируют эмоциональные процессы, которые играют важную роль при обработке информации на высоких уровнях.

Наивысший уровень — рефлективный. Рефлексия — это процесс, в ходе которого разум размышляет о самом себе. Иначе говоря, он оперирует собственными внутренними представлениями о своем опыте, о своем физическом воплощении, о своих действиях в данный момент и о текущем состоянии окружающей среды, а также о результатах своей деятельности, реализованных в виде планов, рассуждений и решений проблем. Этот уровень получает исходные данные только от уровней, лежащих ниже; информация непосредственно от органов чувств к нему не поступает, и он не способен неопосредованно управлять поведением субъекта. С другой стороны, прерывания, поступающие с нижних уровней, могут направлять и перенаправлять процессы обработки данных, протекающие на рефлективном уровне.

Существуют некоторые свидетельства того, что аффекты меняют режим обработки данных, осуществляемой в ходе познавательной деятельности. Речь идет о нейрохимической стимуляции, корректирующей весовые и пороговые значения, которые управляют оперативными характеристиками когнитивных механизмов, оказывая на них влияние и изменяя природу операций по обработке данных. Эти изменения влияют на то, каким образом осуществляется обработка информации на высоких уровнях, где сосредоточивается внимание, и какие ресурсы привлекаются к удержанию внимания. Так, похоже, негативные аффекты, особенно в сочетании с сильным возбуждением, влекут более сфокусированную и более глубокую обработку данных. В экстремальных случаях это приводит к резкому сужению поля зрения, вызванному стрессом. В противоположность этому позитивные аффекты стимулируют обработку данных, охватывающую более обширное поле сведений. В итоге, когда люди находятся в обстановке, доставляющей им удовольствие, их творческие возможности расширяются [14, 15]. Оба этих изменения адаптивны (одно из них нарастает с повышением уровня бдительности, другое — с возрастанием любопытства), хотя порой бывают контрпродуктивными.

Теория в контексте конструирования машин

Современные системы искусственного интеллекта чем-то напоминают три описанные уровня — реактивный, рутинный (действия) и рефлективный, но в них не предусмотрено разделение эмоциональных (оценка) и когнитивных (понимание) функций. Как модель «эмоциональная реакция и познавательная деятельность» может быть применима к проектированию компьютерных систем? Мы предполагаем, что реализация «эмоциональной» функции может привести к росту общей эффективности систем, особенно при функционировании в сложной и неблагоприятной среде.

Реактивный уровень в машинах. Реактивный уровень — царство встроенных сенсоров, как правило, обеспечивающих фиксированные ответы на изменение ситуации, — «зашитые» или заранее запрограммированные. Этот уровень необходим для обеспечения безопасности и выполнения других жизненно важных задач, где большое значение придается быстрой реакции на изменения. Действия на реактивном уровне играют существенную роль в функционировании машин.

При обнаружении признаков опасности животными на верхние уровни обработки информации передаются соответствующие оповещения. Но часто этим дело не ограничивается: претерпевают изменения и текущие реакции на окружающую обстановку. Эти изменения обычно реализуются весьма просто, и необходимые для их наступления условия выявляются без особых затруднений. Эффективность компьютерных систем можно повысить только за счет реализации этого примитивного механизма приспособления к важным изменениям в рабочей среде; в ряде случаев это уже проделано.

Рутинный уровень в машинах. На этом уровне выполняется повседневная вычислительная работа. Поэтому здесь требуется значительная вычислительная мощность и средства соотнесения с предшествующими событиями (память). Эти действия существенно отличаются от аналитических процедур, реализуемых на реактивном уровне. Так, для выявления несанкционированных вторжений необходимо произвести анализ на рутинном уровне. (Действия вирусов и злоумышленников становятся все более изощренными, так что, скорее всего, операции по их выявлению и по ликвидации ущерба придется инициировать на рефлективном уровне).

Важная характеристика людей и животных — их способность реагировать на отклонения от нормы. Подумать только, насколько ценными были бы вычислительные машины, если бы в них был заложен некий механизм для выявления таких отклонений. Давайте представим, что при прохождении некоторых контрольных точек компьютерные программы могут фиксировать отклонения от разумных нормативов по использованию ресурсов и времени и что в случае обнаружения таких отклонений включаются средства предупреждающей сигнализации. Таким образом, если до выхода на контрольную точку прошло слишком много времени (или программа вообще не вышла на контрольную точку), либо если при этом использовалось слишком много ресурсов, начинается поиск причин упомянутых отклонений, и, возможно, прекращается выполнение программы. Соответственно, слишком быстрое выполнение программы или недостаточное использование ресурсов тоже будут свидетельствовать о некоторых отклонениях. Включение таких функций способствовало бы резкому повышению устойчивости и надежности вычислительных систем.

Рефлективный уровень в машинах. На рефлективном уровне система ведет постоянный мониторинг своих действий. Этот уровень можно назвать и наивысшим звеном анализа, и самым слабым звеном в механизмах управления современными системами. И опять-таки надо отметить, что автоматический переход в режим «осторожных действий» либо даже прекращение жизненно важных операций или уклонение от их выполнения, не получили широкого распространения. Самоуправляемые системы должны быть достаточно гибкими для того, чтобы прекращать выполнение программ, которые могут нанести ущерб, которые используют слишком много ресурсов или, по-видимому, оказались в ситуации взаимной блокировки.

Примером может служить избыточный массив дисков RAID. Дисковые массивы с архитектурой RAID предназначены для обеспечения устойчивого и быстрого доступа к хранимым в них данным с высокой степенью надежности. Но как бы то ни было, данные все же теряются. Довольно часто такие потери происходят при попытках замены отказавшего диска [16]. Теоретически отказ диска не должен приводить к тяжелым последствиям, ведь системы RAID как раз и предназначены для разрешения аварийных ситуаций. Отказавший накопитель извлекается, и вместо него устанавливается исправное устройство. Но иногда оператор по недосмотру удаляет нормально функционирующий накопитель, и в результате получает второй отказ, оборачивающийся потерей данных. Существует несколько подходов, позволяющих уменьшить потери данных. Один из них состоит в том, чтобы обеспечить безопасное функционирование массивов RAID даже при двух отказах (скажем, применять RAID уровня 6). Другой путь — создать более совершенный интерфейс, позволяющий свести к минимуму число подобных ошибок.

Понятно, что второй подход лучше: важность организации эффективного взаимодействия человека и компьютера хорошо известна, другое дело, что на практике ей уделяют слишком мало внимания. При реализации первого подхода приходится платить высокую цену — вырастают затраты и падает эффективность. Вот здесь-то и пригодилась бы аффективная система. Представим себе, что потеря дискового накопителя выявляется на реактивном уровне, вызывая сигнал тревоги; в сущности, это можно определить как переход системы в состояние «озабоченности». К решению проблемы подключается человек (оператор), но тут в дело вступает рутинный уровень поведения системы: в ее памяти обнаруживаются примеры, когда действия оператора вели к возникновению более серьезных проблем; уровень озабоченности компьютерной системы повышается. В итоге изменяется способ функционирования системы: она переходит в более осторожный режим, определяемый изменением в правилах. Поскольку уровень безопасности был снижен, система может чаще инициализировать функцию резервного копирования (возможно, на удаленный накопитель), или начнет функционировать в параллельном «фоновом» режиме, а то и приостановит до лучших времен выполнение жизненно важных заданий.

Возможно и другое решение: на ходу перестроить систему RAID таким образом, чтобы она допускала, не теряя при этом данных, отказ второго диска, даже если за это придется заплатить снижением емкости или снижением производительности. Иначе говоря, почему бы не предусмотреть для компьютерных систем возможности реагирования на изменения в окружающей среде, подобного поведению человека в состоянии озабоченности? В этом случае машины проявляли бы осторожность даже при попытках устранить причину неблагоприятного изменения. Действия людей в таких случаях фокусируются на некотором ограниченном круге объектов; они обычно сразу же серьезно углубляются в процесс решения возникшей проблемы и пребывают в таком состоянии до тех пор, пока не выявлены причины изменений и не определены ответные реакции. Но вне зависимости от того, каким будет подход к организации поведения машин в условиях кризисных ситуаций, ясно, что требуется некоторое изменение их «нормальных» реакций.

Типичная проблема автоматизированных систем — отсутствие механизмов оповещения о неожиданных изменениях [17]. Эти системы хорошо приспособлены для работы даже в таких ситуациях, когда их компоненты выходят из строя, но они редко сообщают об этих отказах системам более высокого уровня или корректируют собственные действия. В результате человек-оператор или реализованные на более высоких уровнях механизмы мониторинга могут оставаться в неведении относительно имевших место проблем, даже если устойчивость к ошибкам уже существенно снизилась. Бывает, что за первым отказом следуют другие, и система оказывается непригодной к ремонту; при этом разбираться с возникшими непредвиденными осложнениями часто приходится человеку-оператору.

Ну, а зачем вообще использовать модель эмоциональных реакций? Не лучше ли просто программировать систему так, чтобы она защищала себя от разного рода проблем? Ведь самое эффективное решение любой мыслимой конкретной проблемы, если она нам известна и понятна, всегда будет состоять в написании соответствующего алгоритма. Зачем же тогда предлагать создание новой системы — системы эмоциональных реакций? Разве не проще проанализировать все потенциальные отказы и предложить меры по их устранению?

Обычно, размышляя об организации компьютерных систем, мы пользуемся категориями, которые специалисты в области искусственного интеллекта называют «сильными методами»; это методы, использующие знания той или иной предметной области. Иными словами, мы оперируем конкретными алгоритмами, которые предназначены для решения конкретных проблем с помощью механизма, предполагающего закладывание в соответствующий алгоритм существенного объема знаний по данной проблеме. Мягкие же методы и эвристики, напротив, не предполагают привлечения знаний из предметной области, поскольку они предназначены для решения гораздо более общих задач. По этой причине они требуют гораздо большего времени, они гораздо менее эффективны и часто не дают гарантии успеха. Используя слабые методы, мы выигрываем в универсальности, но проигрываем в эффективности.

Сильные методы всегда предпочтительны в случаях, когда мы знаем обстановку и понимаем ее особенности, когда окружающая среда предсказуема и ее сфера более или менее ограничена. Но когда эти условия не выполняются, предпочтение следует отдать слабым методам. В контексте обработки информации аффект — слабый метод. Его преимущество в том, что он помогает справляться с неожиданно возникающими проблемами. Аффект дополняет сильные алгоритмические методы в том смысле, что он повышает устойчивость системы в непредвиденных ситуациях. Ведь реальный мир характеризуется высокой степенью неопределенности и переменчивости. Для такой среды биология избирает слабые методы - методы универсальные и применимые к широкому спектру ситуаций. Так вот, по мере того как машины будут становиться все более автономными и все более подверженными факторам неопределенности, аффект будет все чаще применяться и в качестве механизма саморегуляции машин.

Разумеется, сильные методы тоже используются в мире биологии. Даже человек с его массивным мозгом сохранил систему многочисленных «встроенных» эффективных реакций на те или иные ситуации. Рефлексы и непроизвольные моторные реакции обеспечивают быстрый ответ на конкретные изменения обстановки, такие, как отсутствие опоры, потеря равновесия, горький вкус, запахи разложения, а также горячие поверхности или предметы с острыми краями. Эти ответы — быстрые «шаблонные» решения для ситуаций, возникающих при наступлении событий определенного класса. Но наряду с ними в мире биологии используются и более сложные, более медленные, рефлективные методы решения задач в необычных ситуациях. Биологические системы обеспечивают быструю реакцию на ситуации, требующие именно такого ответа, и медленную, «раздумчивую» реакцию, когда обстоятельства требуют, а время позволяет ответить на изменения именно таким образом.

Что из этого следует

Наделенный эмоциональными функциями компьютер мог бы на уровне «ощущений» оценивать свое собственное состояние и состояние окружающей среды. Он мог бы соизмерять свои действия со своими ожиданиями, и имел бы возможность анализировать собственные действия. Он мог бы судить о своей надежности и о надежности других систем, с которыми ему приходится взаимодействовать, а также мог бы корректировать собственное поведение с целью повышения эффективности, обращая внимание на обстоятельства, которые до сих пор не принимались в расчет. Он мог бы действовать с осторожностью, где это необходимо, и напористо, где это возможно. Он мог бы автоматически настраиваться таким образом, чтобы принимать в расчет возросшие риски и постоянно держать в поле внимания состояние собственного «здоровья», по крайней мере, в том, что касается инфраструктуры и обработки информации.

Осуществляя постоянный мониторинг своего состояния и состояния среды, система будет контролировать свой уровень удовлетворенности или озабоченности.

В случаях, когда компоненты системы нуждаются в обслуживании, уровень озабоченности будет возрастать, поскольку потребность в обслуживании означает снижение устойчивости к ошибкам, да и сам акт обслуживания может быть чреват ошибками. Операторы знают, что непосредственно перед выполнением и в ходе выполнения задач особой важности не следует осуществлять обслуживание системы или модернизацию программного обеспечения. Такое же чувство озабоченности должно быть присуще и компьютерным системам. Представим себе, что для выполнения некой расчетной задачи формируется группировка из нескольких машин. Допустим теперь, что все эти машины опрашиваются на предмет выяснения степени их готовности. Каждая из них получает запрос, сводящийся, в сущности, к вопросу «Как самочувствие?» Поучительно познакомиться с некоторыми возможными вариантами ответов: «Один из дисков моей системы RAID вышел из строя, так что если задача действительно важная, на меня лучше не рассчитывать»; «Меня немного беспокоит то, что я допустила несколько ошибок, поэтому я не смогу работать с максимальной производительностью: придется постоянно перепроверять результаты». «Я обеспокоена тем, что недавно подверглась атаке вирусов или хакеров».

В ходе длительной эволюции животные выработали совершенные механизмы выживания в непредсказуемом и динамичном мире, механизмы, в которых оценки на основе эмоциональных реакций сочетаются с методами модуляции системы в целом. Итогом данного процесса стало повышение надежности и устойчивости к ошибкам. Создатели компьютерных систем могут извлечь из этого опыта полезные уроки. n

Литература

D.A. Norton, A. Ortony, D.M. Russell, Affect and machine design: Lessons for the development of autonomous machines. IBM System Journal, Vol. 42, No. 1, 2003. Copyright IBM. All right reserved. Reprinted with permission.