Вышла в свет книга Б.И.Нигматулина и В.А.Пивоварова «Реакторы с тяжелым жидкометаллическим теплоносителем. История трагедии и фарса». Подробнее 

Благодарности. Я хотел бы поблагодарить своих коллег по совместной работе в АО «ВО «Безопасность»» - д.ф.-м.н., Встовского Г.В., гл. специалиста, Фингерта А.Б. и замначальника отдела экспертиз, Синцова А.Е., за их полезные комментарии и предложения по черновикам этой рукописи, а также за их терпение и поддержку.

Посвящение. Я хотел бы посвятить эту статью моему другу и соратнику, безвременно ушедшему из жизни к.т.н., Марку Валерьевичу Кузнецову, моему соавтору, опыт и идеи которого я широко использовал для подготовки этой статьи. Как высококвалифицированный ученый и практик экспертизы, Марк Валерьевич всегда оказывал  своим многочисленным коллегам и друзьям бескорыстную помощь, новые идеи и вдохновение на достижения в работе (но «Без фанатизма» - любил он повторять!). 

Если в тексе я употреблял выражения «Я считаю ... или я делаю… и т.п.», следует понимать, что это наше с Марком Валерьевичем общее - «Мы..., у нас..., нами...»

Введение

В настоящее время у нас существует определенная тенденция по дискредитации экспертов и экспертизы. Несколько сообществ практиков способствуют недоверию к суждениям и решениям, принятым экспертами. Я называю приверженцев этого движения «отрицателями экспертизы». Во многих отношениях это похоже на войну — войну за интеллектуальную власть, научный авторитет и даже экономическую или политическую выгоду. Это движение имеет некоторый успех.

Некоторые из них (Klein, G. (2017). Positive heuristics: Strategies for engaging in speculative thinking. Psychology Today. Retrieved from https://www.psychologytoday.com/blog/seeing-what-others-dont/201704/positive-heuristics ) подмечают понижение уровня экспертизы. Приведу наглядный пример из своей практики экспертной работы в АО «ВО «Безопасность», которая позиционируется как организация научно-технической поддержки Ростехнадзора РФ.

До 2017 г. руководство этой организации придерживалось линии на привлечение наиболее квалифицированных кадров по направлению своей деятельности в ряды своих экспертов. Успех такой кадровой политики ознаменовался реальными достижениями в объемах и качестве проводимой экспертизы безопасности (экспертизы обоснования безопасности) видов деятельности в области использования атомной энергии.

Однако в 2017 г. руководителями организации были назначены люди, весьма далекие от понимания специфики деятельности «ВО «Безопасность». Генеральным директором стал С. Русаков, а его заместителем – В. Тихонов.

С самого начала их «деятельности» наметился конфликт с ведущими специалистами-экспертами, которые быстро определили полную некомпетентность новых руководителей.

Спустя некоторое время эти подозрения в некомпетентности подтвердились, когда стало известно, что у гендиректора Русакова поддельный диплом бакалавра. Причем свидетельством о когнитивных способностях Русакова говорит тот факт, что дата получения диплома была на несколько лет раньше введения института бакалавриата!

Несмотря на то, что Русакова тихо убрали из организации, в его «правление» его стараниями были вынуждены уволиться несколько ведущих экспертов.

Пришедший на смену Русакову В.Тихонов начал просто реальную войну с кадрами, на которых держалась экспертная работа. Уволились либо были уволены «по сокращению штатов» (это при острой нехватке экспертов) более 20 сотрудников, включая 2-х докторов наук и 9 кандидатов наук.

Кузнецова М.В. без всяких оснований понизили в должности, что в немалой степени способствовало обострению у него болезни и преждевременному уходу из жизни.

Авторитарный стиль руководства, игнорирование мнений ведущих экспертов, практически разрушили прежде коллектив профессионалов.

Разумеется, такое состояние дел в организации не устраивало Ростехнадзор и В. Тихонова «ушли».

Надеюсь, мой пример из реальной жизни показывает реальную опасность понижения уровня экспертизы при низком уровне руководства и менеджмента экспертных организаций и полного непонимания сути экспертизы, ответственности, возложенной на экспертов и экспертную организацию!

Надеюсь, мой пример из реальной жизни показывает реальную опасность понижения уровня экспертизы при низком уровне руководства и менеджмента экспертных организаций и полного непонимания сути экспертизы, ответственности, возложенной на экспертов и экспертную организацию!

Можно утверждать, что наше общество отвергает экспертов из-за таких факторов, как широкая доступность информации в Интернете, позволяющая обычным гражданам поверить, что они знают все по любой заданной теме. Однако изменения, выявленные Интернетом, являются непреднамеренными. Они являются непреднамеренными последствиями достижений технологий в наш информационный век. В этой связи нас беспокоит преднамеренное поведение — преднамеренные попытки по крайней мере пяти сообществ, каждое со своими интересами, снизить доверие к экспертам и обесценить их вклад. Цель этой статьи состоит в том, чтобы исправить эти вводящие в заблуждение проблемы и пропагандировать сотрудничество с членами этих пяти неформальных сообществ, используя проблемы, которые они поднимают, для поиска путей поддержки и укрепления экспертных знаний.

Я начал свою карьеру в экспертизе, изучая опыт людей, которые достигли наивысших достижений человеческого потенциала и достижений. Я хотел бы описать сильные стороны экспертов и таким образом опровергнуть утверждения о том, что люди, включая экспертов, склонны к дефектному мышлению. Эти вопросы по-прежнему актуальны, и, во всяком случае, нападки на экспертов стали более резкими и были озвучены большим количеством представителей организаций и, даже, гражданского общества, чему я неоднократно был свидетелем. Мне кажется, что наше общество было бы намного хуже, если бы не навыки и вклад экспертов. Психология экспертов позитивная, а не негативная, но в этой статье мы чувствуем себя вынужденными перейти в наступление. Как указывалось в предыдущем пункте, мы надеемся на продуктивное взаимодействие с каждым из этих сообществ в целях повышения эффективности работы экспертов за счет улучшения профессиональной подготовки и технологий. Тем не менее, наша основная цель при написании этой статьи состоит в том, чтобы опровергнуть вводящие в заблуждение утверждения отрицателей экспертизы.

Широкая общественность, по-видимому, придерживается двух мнений по этому вопросу. Часто можно услышать, как люди говорят, что синоптики делают паршивую работу. Или что экономисты не могут предсказать реальные события на рынках. С другой стороны, мы часто слышали, как люди говорили что-то вроде: «У Василия Ивановича обнаружена редкая форма рака, и поэтому он отправился именно в клинику NN, где у них есть эксперты по онкологии».

Наше определение эксперта простое: люди, которые могут делать то, что вряд ли кто-то другой может сделать, основываясь на своих собственных навыках и опыте.

В этой статье мы сосредоточились на пяти полях сражений — пяти фронтах, на которых ведутся нападки на экспертов. Эти фронты включают исследователей решений, стремящихся разработать модели, которые могут превзойти экспертов; социологи, которые рассматривают экспертизу просто как социальную атрибуцию; Исследователи эвристики и предубеждений, которые утверждают, что экспертное суждение страдает от тех же предубеждений, что и все остальные; практико-ориентированные исследователи, стремящиеся заменить профессиональные суждения рецептами, основанными на данных; и специалисты по информатике, которые считают, что это только вопрос времени, когда искусственный интеллект превзойдет экспертов (рисунок 1).

И хотя мы являемся адвокатами-экспертами, стремящимися подчеркнуть сильные стороны экспертов, мы признаём, что эксперты не идеальны и никогда не будут таковыми. Тем не менее, было эмпирически продемонстрировано, что эксперты предлагают отличные возможности, помимо возможностей менее квалифицированных лиц, принимающих решения. Мы не вдаёмся в подробности о способностях экспертов, потому что есть много других статей которые освещали этот материал, но для ясности контекста нужно краткое описание сильных аспектов, которые обеспечивают эксперты.

 

Эта статья должна ответить на вопрос, что такое эксперт? Необходимо принимать во внимание национальные, культурные и специализированные особенности, которые влияют на определение эксперта.  Этот термин используется во всех отраслях и во всех сферах жизни. Большинство людей считают этот термин чем-то важным, что помогает им решить, кому доверять.

Источниками определений являются специализированные учреждения, стандарты, дипломированные институты и национальные правительственные ведомства. Каждая предметная специализация будет иметь свое мнение об определении эксперта. Стандарты существуют не только в предметах, но и в целом имеют множество определений.

Дипломированный институт - это организация, которая предоставляет своим членам родословную высокого профессионализма, которая гарантируется соблюдением строгих критериев членства.

Государственные ведомства выделяют экспертов с разными специальностями.

Правовая система всех стран имеет свое определение эксперта. Предлагается несколько общих определений, одно из которых имеет правовой контекст, представленное в Академии экспертов (https://academyofexperts.org/users-of-experts/what-is-an-expert-witness), в нем говорится:

Экспертом может быть любой, кто обладает знаниями или опытом в определенной области или дисциплине, выходящими за рамки того, что можно ожидать от непрофессионала.

Эксперты - это люди, к которым нужно обратиться для решения сложных ситуаций, потому что они часто имеют дело с новыми ситуациями и придумывают неожиданные, но обоснованные и кардинальные улучшения, они привлекают к сотрудничеству других экспертов, или специалистов узкого профиля, когда это необходимо, и они облечены ответственностью за свои действия. Люди идентифицируются как эксперты, потому что в своей области специализации их суждения в прошлом были очень точными и надежными, и эти качества продолжают отличать их работу. Эксперты используют более эффективные стратегии, чем другие, с меньшими усилиями. Эксперты воспринимают закономерности в данных и понимают смысл в образах и понятиях, которые другие не могут обнаружить. Эксперты формируют богатые ментальные модели случаев или ситуаций для поддержки смыслообразования и упреждающего мышления. Знания экспертов обширны, детализированы и высокоорганизованы. Эксперты по своей сути мотивированы усердно работать над сложными проблемами. У них есть яркие воспоминания о своих прошлых ошибках, и они стремятся избежать их повторения. Они по своей сути любопытны и мотивированы, чтобы расширить свои навыки, знания и возможности. Эксперты очень хорошо осведомлены о своей организации и ее истории, культуре и деятельности. Они высоко ценятся сверстниками. Люди зависят от них в плане критически важного, сложного технического руководства и принятия решений с высокими ставками и ответственностью.

Эксперты нужны для построения всех механизмов, которые предлагаются для замены экспертов — контрольных списков, моделей принятия решений, искусственно интеллектуальных акторов и т.д. Эксперты также необходимы для оценки, мониторинга, уточнения и пересмотра существующих и улучшенных систем, а также для анализа того, что пошло не так, когда системы вышли из строя.

Хотя внимание в этой статье сосредоточено на войне, которую ведут научные сообщества, следует отметить, что война ведется и на философском и политическом фронтах. В философии соображения концепции экспертизы, и научной экспертизы, в частности, привели к интересным дебатам по вопросу о том, почему люди должны прислушиваться к советам ученых, технологов или экспертов-свидетелей. Эта философская дискуссия распространяется на вопрос о том, каким должно быть соотношение между властью и легитимностью. Экспертиза является и философской и политической проблемой по ряду причин:

a.         она нарушает понятие демократического равенства и

b.        экспертами формируют своих суждений «вне досягаемости демократического контроля»

Общество может столкнуться с выбором между правлением экспертов и правлением демократии. Кроме того, если знание рассматривается как имеющее ценность, то эгалитарист будет настаивать на том, чтобы каждый был экспертом путем распространения знаний. В этой статье не рассматриваются эти философские и политические вопросы, и я поднимаю их здесь только для того, чтобы обеспечить некоторый контекст для научных дебатов об экспертизе.

Эксперты позволяют найти оптимальную (в смысле минимизации рисков в рамках приемлемого бюджета) позицию в системе координат деятельности:

·         что хочется сделать (разрешить);

·         чего нельзя делать (допускать);

·         что можно сделать (допустить);

·         что нужно сделать (обеспечить).

 

Сейчас я обсуждаю войну, которую ведут научные сообщества. Я описываю атаки, совершенные отрицателями опыта, и представляю мои опровержения этих нападений. Я начинаю с вызова со стороны сообщества «Исследование принятия решений» (ИПР), потому что этот объем работы можно проследить дальше всего, до середины 1960-х годов. Критика, сделанная этим сообществом, эхом отзывается и по сей день.

Для удобства чтения материала все ссылки вставлены непосредственно в текст.

Нападки со стороны сообщества «исследователей решений»

Ряд экспериментов в экспериментальной психологии используется для того, чтобы убедительно обосновать когнитивные ограничения человека в целом и ограничения так называемых экспертов в частности. Одно из самых ярких и мощных направлений исследований показало, что математические уравнения могут превзойти экспертов.

В течение последних 30 лет исследователи классифицировали, экспериментировали и теоретизировали о когнитивных аспектах прогнозирования и пытались объяснить, почему эксперты являются менее точными прогнозистами, чем статистические модели. Ряд исследователей указывают на человеческие предубеждения - за редким исключением эксперты хуже прогнозируют, чем байесовские вероятности, основанные на исторических, статистических моделях в тех случаях, когда среда прогнозирования сохраняет постоянство..

Целый ряд уважаемых математиков и статистиков показали, что простые формулы (линейные модели) могут превзойти экспертов в различных видах задач суждения. Это исследование включает в себя определение ключевых переменных, а затем формирование уравнения, в котором значения для каждой из переменных взвешиваются, а затем суммируются и подвергаются корреляционному анализу. Примерами являются рейтинги преподавателей аспирантов по сравнению с моделью, основанной на оценках и результатах тестов, или оценки врачами результатов биопсии рака по сравнению со статистикой выживаемости. Чтобы объяснить эти результаты и сослаться на опыт, некоторые медицинские специалисты утверждают, что они гораздо лучше выбирают и кодируют информацию, чем интегрируют ее.

Сообщество ИПР хочет уменьшить наше доверие к экспертам, потому что исследователи решений убеждены, что их линейные модели должны заменить экспертные суждения вплоть до того, чтобы по возможности, человеческие судьи должны быть заменены линейными моделями.

Опровержение 1: Откуда взялись формулы?

Что обычно ускользает от упоминания, так это то, что формулы изначально были получены из советов экспертов о том, каковы ключевые переменные, переменные, которые сами эксперты используют при вынесении своих суждений. Таким образом, ошибочно утверждать, что формулы превосходят экспертов, как если бы формулы были независимо выведены.

Опора на различные формулы, методики или расчетные коды для компьютеров иногда может показаться невинной забавой, когда это используют, например, для определения выигрышной стратегии для лотерей, ставок в букмекерских конторах и на ипподромах.

Однако, если речь идет о таких важных сферах деятельности как экологическая, технологическая, радиационная и, даже, ядерная безопасность, цена использования этих формул, методик и кодов может быть абсолютно неприемлема!

Есть случаи, когда формулы применялись из-за недостаточной компетенции специалистов, но еще более опасно, когда их применяют для сознательного ввода в заблуждение лиц, принимающих решение.

О некоторых таких случаях я писал ( см. Е. А. Катковский «О соответствии требованиям МАГАТЭ кодов RELAP‑5 и Athlet» Атомная стратегия №172 (стр. 11-14), март 2021г.).

Опровержение 2: Формулы ненадежны

Преимущество линейных моделей заключается в том, что они последовательны, но когда они терпят неудачу, они терпят неудачу с треском. Они терпят неудачу в сложных случаях, связанных с отклонениями от исторических и статистических тенденций, но они особенно терпят неудачу в тех случаях, когда человеческие знания, рассуждения и контекст имеют решающее значение. Линейная модель может сделать достойную работу по прогнозированию на основе множества переменных. Например, пойдет ли данный человек в кино в эти выходные, но остается слепой к тому факту, что человек, о котором идет речь, просто сломал ногу.

Опровержение 3: Ограничения контролируемых экспериментов

Исследователи обычно стремятся проводить тщательно контролируемые эксперименты, но стремление к контролю может исключить некоторые из беспорядочных переменных, с которыми эксперты должны бороться. К ним относятся задачи с плохо определенными целями, изменяющиеся условия, высокие ставки, несколько уровней членов команды и неопределенность в отношении характера и надежности данных. Исключая такого рода переменные, данные могут быть собраны эффективно и однозначно, но одним из отличительных признаков опыта является способность справляться с неоднозначными ситуациями. Поэтому, когда мы сталкиваемся с тщательно контролируемыми исследованиями, которые сообщают о слабых сторонах экспертов, мы должны обратить пристальное внимание на детали метода и экспериментального дизайна, используемого для сбора данных.

Опровержение 4: Восстановительное измерение

Исследование решений имеет тенденцию сводить экспертизу к отдельным показателям, таким как частота попаданий в суждение или производительность по какой-то одной фиксированной задаче. Характерный пример: аналитики разведки делают гораздо больше, чем делают прогнозы. Они собирают информацию, определяют переменные, представляющие интерес, и выявляют потенциальные последствия действий. Исследовательские проекты обычно ограничиваются аспектами производительности, которые легко измеряются, иногда одной мерой производительности, и, таким образом, могут привести к ограниченному и вводящему в заблуждение портрету того, как опыт проявляется для данного направления работы.

Опровержение 5: Преимущества не очень заметны

Даже когда линейные модели превзошли экспертов, было бы ошибкой делать вывод, что линейные модели сделали это правильно, а эксперты с треском провалились. В одном зарубежном исследовании (Grove, W. M., Zald, D. H., Lebow, B. S., Snitz, B. E., & Nelson, C. (2000). Clinical versus mechanical prediction: A meta-analysis. Psychological Assessment 12, 19–30.) авторы обнаружили, что линейные модели превзошли экспертов, что вполне верно. Но в 136 исследованиях, которые они изучили в своем мета-анализе, актуарные прогнозы превзошли экспертов в 63 исследованиях, эксперты превзошли актуарные прогнозы только в 8 исследованиях, и в остальных 65 исследованиях не было заметной разницы. Таким образом, еще один способ взглянуть на эти данные заключается в том, что актуарные прогнозы были лучше, чем у экспертов, менее чем в половине случаев. Кроме того, в исследованиях рассматривались ситуации, которые были шумными и сложными, поэтому, даже когда они выходили вперед, актуарные прогнозы были не очень точными. Просто экспертам было еще хуже. Таким образом, неясно, стоили ли преимущества актуарных прогнозов затраченных усилий.

Опровержение 6: Недостаточная проверка экспертизы

Ряд исследований в области прикладной психологии действительно сосредоточены на экспертизе и не только утверждают, что в качестве участников были эксперты, но и предоставляют некоторые доказательства того, что участники были, на самом деле, экспертами (Klein, G. (1998). Sources of power: How people make decisions. Cambridge, MA: MIT Press.), для описания нескольких уровней мастерства). Однако более типичными для литературы по исследованию решений являются исследования, в которых участники упоминаются как эксперты (имеющие многолетний опыт), но не предоставляют никаких убедительных эмпирических доказательств, оправдывающих эту атрибуцию — доказательств того, что так называемые эксперты действительно достигли высокого уровня мастерства. Исходя из представленной информации, они, скорее всего, являются учениками или младшими подмастерьями. Часто люди будут идентифицированы как эксперты, но им не хватит необходимой базы опыта.

Приведу пример из собственной практики, когда молодых специалистов, недавно окончивших ВУЗ и не имевших никакого опыта работы в области экспертизы обоснования безопасности ОИАЭ, не имевших профильного образования, директор АО «ВО «Безопасность» В. Тихонов назначал главными экспертами и, даже!!!,  руководителем экспертизы, хотя на этот счет есть четкий приказ Ростехнадзора о требовании к квалификации экспертов (Федеральная служба по экологическому, технологическому и атомному надзору: Приказ №420 от 20.10 2020г.)!

В общепроблемном смысле, если ознакомиться с выступлениями в массмедиа многих политологов, медиа-экспертов и других предполагаемых экспертов делать прогнозы о политических событиях, которые будут разыгрываться в будущем, так окажется, что эти «эксперты» показали минимальное количество опыта — их точность ненамного лучше, чем можно было бы ожидать от шимпанзе, бросающего дротики. Подразумевается, что в сложной задаче экспертное суждение не стоит воспринимать всерьез.

Нападки со стороны сообщества эвристиков и обладателей предубеждений (ЭП)

Вызов со стороны сообщества (ЭП) восходит к началу 1970-х годов. В статье с Даниэлем Канеманом и Амосом Тверски (Kahneman, D., & Tversky, A. (1979). Prospect theory: An analysis of decision under risk. Econometrica 47, 263–291), сообщество ЭП продемонстрировало, что люди становятся жертвами широкого спектра предубеждений и что даже эксперты иногда показывают эти предубеждения. Первой эвристикой, которую исследовали Канеман и Тверски, была неуместная вера в закон малых чисел. Они попробовали набор выборочных задач на группе психологов, включая двух авторов учебников по статистике, и обнаружили, что даже эти эксперты были уязвимы для предвзятости — они поспешили с выводами, основанными на размерах выборки, которые были слишком малы, чтобы быть действительными.

Выводы Канемана и Тверски о предвзятости суждений помогли создать мышление в сообществе ЭП и различных сообществах, находящихся под его влиянием, что экспертам не следует доверять. Исследовательская программа, которую ЭП установил для психологии, заключалась в том, чтобы искать доказательства того, что люди не идеальны, и ожидать, что эксперты, вероятно, будут самоуверенными и предвзятыми. Получение Канеманом Нобелевской премии и еще одной Нобелевской премии в 2017 году его коллеге Ричарду Талеру, наряду с распространением исследований ЭП в университетах, укрепило утверждение ЭП о том, что экспертные суждения не особенно точны. Популярные СМИ вторят этому утверждению — в редакционных статьях ошибки обычно объясняются с точки зрения подверженности ошибкам экспертов (часто называемой человеческой ошибкой) и предубеждений, жертвой которых они становятся.

Тверски и Канеман осторожно утверждали, что «в целом эти эвристики весьма полезны, но иногда они приводят к серьезным и систематическим ошибкам». Однако сообщество ЭП обычно игнорирует это предостережение и подчеркивает обратную сторону эвристики.

Позиция, которая стала широко распространенной, заключается в том, что когнитивная предвзятость присуща людям, распространена, независима от мастерства и неизбежна. Сообщество ЭП хочет уменьшить наше доверие к экспертам, потому что эксперты страдают теми же предубеждениями, что и все остальные, и к ним относятся с уважением, которого они не заслуживают (рисунок 2 иллюстрирует эту позицию ЭП).

Рисунок 2 (Художник Ева Морозова)

Опровержение 1: ЭП используют нерепрезентативные задачи

Парадигма ЭП обычно использует участников, которые не являются экспертами, и дает им задачи, которые практически не имеют экологической обоснованности. Правда, экспертные суждения иногда ухудшаются из-за использования эвристики, но большинство из этих эффектов уменьшаются или исчезают, когда исследователи добавляют контекст или заставляют настоящих экспертов заниматься своими знаковыми задачами, а не искусственными головоломками. Если исследователи берут экспертов (или кого-либо еще, если на то пошло) и ставят их в ситуацию, в которой они должны выполнять искусственную и незнакомую задачу, и удаляют любой значимый контекст и применяют единый и часто неуместный критерий оценки, то из этого ошибочно делается вывод, что они неспособны или некомпетентны.

Эвристические решения, методы основываются на связанных с задачей специальных знаниях, простейших правилах, интуитивных критериях, базирующих на предыдущем опыте и на других ненадежных методах вплоть до угадывания. Эвристические методы не всегда приводят к цели, даже когда решение существует, или они могут привести к неверному решению.

Когда используются эвристические методы?

• Неизвестен алгоритм.

• Доказано отсутствие алгоритмического решения.

• Существуют ограничения, налагаемые вычислительной техникой.

На основе эвристических решений, во многих случаях, потихоньку изобретаются алгоритмы. Эвристические программы в своей реализации базируются на алгоритмах.

Изменения в материалах, инструкциях, процедурах или экспериментальном дизайне могут привести к уменьшению или исчезновению эффектов смещения. Вот один из примеров. Задание по выбору представляет участнику четыре карты, лежащие на столе. На каждой карточке указана либо цифра, либо буква, и участнику сообщают, что на каждой карточке есть цифра с одной стороны и буква с другой. Задача состоит в том, чтобы оценить правильность правила, такого как Все карты с гласной с одной стороны имеют четное число с другой. Для этого конкретного правила люди склонны переворачивать только те карточки, которые показывают гласную или четное число, и это демонстрирует предвзятость подтверждения, потому что единственный способ опровергнуть гипотезу — это перевернуть карту, показывающую гласную или нечетное число. Однако, если проблема с четырьмя карточками переформулирована в более знакомой и значимой форме, как почтовые конверты, которые либо запечатаны, либо распечатаны с одной стороны и либо проштампованы, либо не проштампованы на другой, то смещение подтверждения менее вероятно. Другими словами, предвзятость была в проблеме и задаче, а не в участниках.

Также требуется квалификация возникновения предвзятости в области анализа данных. Эксперт обладает способностью распознавать шаблоны, выполнять задачи и решать проблемы. Поэтому неудивительно, что эксперту будет трудно определить и взвесить переменные в междисциплинарной задаче, ведь эксперт может знать свою конкретную область, такую как экономика или энергетика, довольно тщательно, но это все равно может не позволить ему предсказать успех футбольной команды в будущем сезоне!

Опровержение 2: ЭП использует ненадлежащий критерий производительности

Эксперименты ЭП основаны на одном показателе производительности (например, были ли ответы на вопросы о вероятности правильными? Соответствовали ли суждения о частоте слов их фактическим частотам?) и неуместный критерий эффективности: «объективная» истина, полученная из байесовской статистики и других аналитических методов. Зачем обвинять кого-то в том, что он не рассуждает с точки зрения базовых понятий, когда они не могут знать, что такое базовые понятия? Зачем ожидать, что первокурсники ВУЗа будут знатоками в байесовском анализе, который стал популярным в исследовательском сообществе только в 1980-х годах? Зачем предполагать, что рассуждения — это жонглирование вероятностями? Лаплас разработал нынешнюю формулировку теории вероятностей около 200 лет назад, и большинство людей вообще не владеют ею.

Нам не нужно ссылаться на предубеждения, чтобы объяснить, почему люди иногда неточны в задачах суждения, которые имеют оптимальные решения с использованием формальных аналитических методов. Это просто то, что люди не делают хорошо, но это не единственный или, тем более, лучший показатель рациональности. Если бы мы решили, что свободное владение латынью является маркером рациональности, большинство людей были бы неудачниками, но это просто говорит нам о том, что мы используем плохой маркер, предлагая людям разговаривать на языке, которого они не знают.

Существуют и другие критерии эффективности, такие как пограничное мышление — способность принимать решения, несмотря на неполную, неправильную и противоречивую информацию, когда установленные процедуры больше не применяются. Смежным критерием является спекулятивное мышление — диагностика того, что происходит в условиях неопределенности и двусмысленности, и предвидение того, что может произойти дальше. В этих условиях эвристика позволяет экспертам заниматься спекулятивным мышлением, даже если у них есть только небольшая выборка, использовать свой опыт для получения выводов из репрезентативных случаев и доступных им случаев из предыдущих событий. Эвристика позволяет экспертам вносить коррективы из предыдущих данных. Эта перспектива касается позитивной эвристики, способов, которыми эвристика позволяет нам рассуждать о незнакомых и неизведанных ситуациях.

Экспертные способности, такие как пограничное мышление и спекулятивное мышление, нелегко изучать в контролируемых условиях, и поэтому ими обычно пренебрегают, несмотря на их большую важность. Эвристика суждений, идентифицированная сообществом ЭП, бесценна в неопределенных, неоднозначных ситуациях с отсутствующей и противоречивой информацией, но сообщество ЭП оценивает эвристику по критериям, которые плохо подходят для эвристики: соответствие теории вероятностей и байесовской статистике.

Опровержение 3: ЭП - игра в уверенность

Сторонники ЭП все еще могут утверждать, что лица, принимающие решения, должны выносить важные суждения по таким вопросам, как вероятность различных рисков, и именно здесь аналитические методы, такие как теория вероятностей и байесовская статистика, так важны. Тем не менее, эксперты по-прежнему полагаются на свою интуицию, которая не очень хорошо подходит для таких суждений. Хуже того, эксперты проявляют чрезмерную уверенность в своих суждениях. Говорят, что исследование ЭП представляет неопровержимые доказательства. Подтверждающее поведение является последовательным открытием во всей литературе по экспериментальной психологии и литературе по когнитивной науке. Сообщество ЭП утверждает, что эксперты, как правило, слишком самоуверенны в вынесении суждений даже в пределах своей области компетенции.

Тем не менее, существуют смешанные доказательства этого утверждения, и доказательства проистекают из узких методов измерения достоверности. Эксперты, такие как синоптики и пожарные, очень осторожны, чтобы сохранить свои суждения в рамках своей основной специальности и использовать опыт и точную обратную связь для достижения разумного уровня уверенности в своих суждениях.

Отрицатели экспертизы указывают на чрезмерную уверенность со стороны так называемых экспертов в таких областях, как прогнозирование движения фондового рынка или прогнозирование политических событий в будущем — посмотрите на экспертов, которые дали Хиллари Клинтон 80% шансов на победу на выборах 2016 года, как только избирательные участки закрылись. Нельзя считать таких экспертов экспертами, потому что они окончательно не удовлетворяют ни одному из критериев экспертизы, включая, но не ограничиваясь, выполнением основной задачи области для обсуждения дополнительных операционных определений экспертизы. Чтобы квалифицироваться как эксперт, человек должен показать надежно превосходную производительность в реалистичных, репрезентативных задачах. Эксперты в области средств массовой информации умеют предлагать впечатляющие объяснения событий, которые уже произошли, а не делать точные прогнозы. Кроме того, эксперты и прогнозисты, которые уверенно предсказывали победу Клинтон, на самом деле не использовали свое собственное суждение — они просто обобщали результаты опросов, и данные опросов оказались ошибочными. Таким образом, на президентских выборах в США в 2016 году эксперты предоставляли результаты тщательного статистического анализа — именно те типы анализов, которые пропагандируют сообщества ЭП и Большие данные (Big Data) и Доказательная Эффективность (Evidence-Based Performance). Провал прогнозов иллюстрирует ограниченность статистического анализа, основанного на данных, а не ограничения экспертов.

В литературе ЭП приводятся свидетельства очевидцев как примеры самоуверенности и низкой точности. Еще один хорошо известный результат когнитивной науки, касающийся показаний очевидцев, заключается в том, что степень уверенности очевидца в идентификации в лучшем случае слабо коррелирует с точностью идентификации. Однако некоторые обнаружили как раз обратное — что идентификации с высокой степенью достоверности были очень точными, а идентификации с низкой достоверностью часто были неправильными.

Поэтому можно считать, что сообщество ЭП слишком самоуверенно в своих утверждениях о том, что эксперты слишком самоуверенны.

Следует дополнительно отметить, что в рамках технической системы риски сильно коррелированы, то есть риски одной подсистемы вызывают убытки в смежных подсистемах. Анализ этих сложных связей доступен лишь экспертам, а управление рисками технической системы имеет большую ценность по сравнению с управлением рисками в изолированном режиме (в рамках отдельных подсистем).

Опровержение 4: Эвристика ценна?

Подход ЭП обычно демонстрирует, что люди полагаются на эвристику, используя методы и задачи, которые побуждают участников использовать эвристику, даже если эвристика дает неточные суждения. Однако эта демонстрация не то же самое, что демонстрация того, что лицам, принимающим решения, было бы лучше без эвристики. Да, при определенных обстоятельствах, которые исследователи могли бы спроектировать, эвристика встает на нашем пути. Но есть много других обстоятельств, в которых эвристика бесценна, например, для пограничного мышления.

Конечно, для задач прогнозирования, включающих достаточно доказательств, хотелось бы, чтобы лица, принимающие решения, использовали аналитические инструменты в качестве перекрестной проверки (как, например при обучении нейронных сетей) интуитивных суждений и силы, которую иногда могут предоставить аналитические методы. Но я также выступаю за опору на экспертное суждение в качестве гарантии от предположений и ограничений формального анализа.

Экспертные возможности нелегко использовать в контролируемых условиях, и поэтому ими обычно пренебрегают, несмотря на их потенциальную ценность. Тем не менее, с усилием, экспертные способности, такие как те, которые я перечислил ранее (например, навык восприятия, знания, осмысление, упреждающее мышление), могут быть оценены. Исследовательское сообщество ЭП не смогло изучить более богатые, более широкие преимущества тех самых эвристик, которые они обнаружили. Стремление исследователей ЭП доказать, «какими дураками являются эти смертные», и их антипатия к экспертам, похоже, ослепили их от важности опыта в принятии реальных решений. Эта антипатия открыла путь для появления движения натуралистического принятия решений (НПР). Например, модель принятия решений с учетом признания зависит от эвристики доступности и репрезентативности, рассматривая их как сильные стороны, приобретенные благодаря опыту, а не его слабости.

Нападки со стороны социологических сообществ

Вызов со стороны социологии начался в 1970-х годах и проявился более решительно в 1980-х годах прошлого века. Суть этой атаки заключается в том, что опыт и познание находятся во взаимодействии между человеком и сообществом, и что ошибочно думать об отдельных экспертах.

Социологический анализ последствий профессиональной специализации уже давно рассматривает ценность профессий для общества. Учитывая его тесную связь с концепцией профессий, концепция экспертизы также оценивалась с социологической точки зрения. Этнографы и социологи исследовали опыт в таких областях, как астрономия, физика, энергетика и другие профессиональные области. Их резонансные парадигмы упоминаются как расположенное познание, распределенное познание, социология научного знания и научно-технические исследования. Исследователи сосредоточились на изучении науки (как внутри, так и за пределами лаборатории), приобретении и распространении научных знаний и других темах.

Социологическую атаку на экспертные знания можно рассматривать как косвенную атаку, поскольку социологическая позиция часто определяется как реакция против так называемой традиционной когнитивной психологии, которая обычно рассматривает единицу анализа как индивидуума и обычно размещает ресурсы для решения проблем внутри индивида (т.е. внутренние ментальные репрезентации). В отличие от этого, социологи утверждают, что познание (экспертное или иное) не является функцией индивидуального познания, а социально сконструировано. Если относить все познание к внутренним ментальным процессам, то требуется поместить весь объяснительный механизм познания также и в индивидуальный разум, что приводит к неправильному определению границ когнитивной системы и чрезмерному приписыванию только индивидуальному разуму всех процессов, которые приводят к возникновению разумного мышления и поведения. Четкий вывод из всего этого заключается в том, что роль эксперта остается социально обусловленной: судят не столько содержание доказательств или советов, сколько достоверность или легитимность лица, дающего доказательства или советы; если мы доверяем эксперту, мы должны доверять его советам.

Таким образом, мы видим, что некоторые социологи считают экспертизу ошибочным понятием, которое игнорирует критические ресурсы, от которых зависят эксперты. Некоторые сегменты социологического сообщества хотят уменьшить наше доверие к отдельным экспертам, чтобы подчеркнуть, что исследователи должны учитывать более широкий контекст. Поэтому мы считаем их взгляды частью войны с экспертами.

Опровержение

Одним из наиболее ценных аспектов социологических перспектив является повышение нашей осведомленности о важности внешних ресурсов и отношений с сообществом для приобретения и выражения опыта. Поэтому мы уважаем этих исследователей за их вклад.

Мы разочарованы теми социологами, которые рассматривают экспертизу как просто социальную атрибуцию, вопрос власти и авторитета, который не подвергается тщательному изучению. Мы также разочарованы ограниченным взглядом, который игнорирует важность индивидуального познания, знания и опыта и настаивает на том, что познание на практике вовсе не изолировано в умах людей, а распределено между людьми и контекстом их работы. Следовательно, все факты становятся социальными конструктами, а экспертиза существует только в рамках социальной конструкции.

Нельзя согласиться с этой позицией. Мы можем оценить эмоциональную привлекательность крайнего взгляда на то, что познание и опыт распределены, но мы не видим, как он может выдержать тщательную проверку. Нет смысла утверждать, что все познания и опыт распределены, как утверждать, что экспертиза не зависит от контекста работы и координации с коллегами. Существуют неопровержимые эмпирические доказательства того, что индивидуальные знания и опыт имеют решающее значение для успеха. Тот факт, что командная динамика и контекст работы имеют значение, не означает, что индивидуальный опыт не имеет значения.

Правильная позиция заключается в том, что индивидуальный опыт определяющ и занимает центральное место в человеческих достижениях, и что эксперты заметно отличаются от подмастерьев и новичков. Если подключить экспертов и неспециалистов к одной и той же рабочей среде, то результатом будут значительные различия в качестве результатов работы соответствующей группы (групп).

Нужно полностью согласиться с тем, что ресурсы для познания есть в мире, также согласиться с тем, что вопросы командной работы являются важной частью естественного процесса принятия решений — понятия макропознания относится к таким основным функциям, как координация и поддержание общей позиции.

Социологические исследования оказались ценными по таким темам, как ученичество, когнитивные стили, межкультурное познание, работа научных команд и другие области. Но некоторые настолько негативно реагируют на традиционные когнитивные индивидуалистические взгляды, что называют эти взгляды «когнитивным авторитаризмом».

Можно считать, что маятник качнулся слишком далеко, что привело к позиции, которая способствовала нападению на экспертов. Умеренная точка зрения заключается в том, что индивидуальное познание является благоприятным условием для экспертизы, которая просто оказывается условием, не представляющим особого интереса в социологическом анализе.

Некоторые сторонники социолого-конструктивистского взгляда обвиняют когнитивных индивидуалистов в том, что они не учитывают, что «знание» не находится в человеческих телах. Если бы социологические сообщества сказали, что познание не просто находится в человеческих телах, конфликтов могло бы быть меньше. Некоторых сторонников социологических взглядов, возможно, можно понять как не атакующих экспертизу как таковую, а как напоминающую когнитивным психологам о более широкой и необходимой перспективе. Нет сомнений в том, что экспертиза, как явление, влечет за собой много интересных социологических вопросов (например, как отдельные лица и организации воспринимают роль эксперта, как организации используют экспертов в качестве ресурсов или эвристики в принятии решений и как практики справляются с конфликтами, возникающими между ролью эксперта и организацией или бюрократией, в которой они работают). Но хотя экспертиза в различных областях может быть более или менее социально сконструированной и условной, это не означает, что не существует такой вещи, как индивидуальная экспертиза.

К счастью, социологи придерживаются сбалансированной точки зрения, которая здесь отстаивается, описывая важность индивидуального опыта наряду с социальными и контекстуальными факторами, которые могут иметь важное значение для развития и поддержания опыта. Мы ожидаем, что со временем этот сбалансированный социологический взгляд будет преобладать.

Теперь опишем проблемы, возникшие совсем недавно.

Нападки со стороны сообщества Доказательных практик

Сообщество Доказательных практик (СДП) (Gray, J. A. M. (1996). Evidence-based healthcare. London: Churchill Livingstone., Roberts, A. R., & Yeager, K. R. (Eds) (2004). Evidence-based practice manual: Research and outcome measures in health and human services. New York, NY: Oxford University Press.), основанных на фактических данных утверждает, что профессиональные области должны оценивать свои процедуры, находить лучшие научные доказательства, выводить предписывающие процедуры для каждого решения и ожидать, что практики будут придерживаться этих процедур, а не полагаться на свои собственные суждения.

Вывод заключается в том, что не нужно доверять экспертам-практикам (Haskins, R., & Margolis, G. (2014). Show me the evidence: Obama’s fight for rigor and results in social policy. Washington, DC: Brookings Institution Press). Так называемые эксперты-практики не так хороши, потому что они полагаются на анекдотические практики, а средства, которые они преследуют, часто устарели и неэффективны. Кроме того, эксперты устают, отвлекаются или забывают. Вместо того, чтобы доверять экспертам, мы должны полагаться на холодные, неопровержимые факты о том, что работает, а что нет.

СДП продвигает практики, основанные на данных, и хочет уменьшить наше доверие к экспертам, потому что их интуитивные суждения могут противоречить текущим руководящим принципам, основанным на данных.

Опровержение

Это СДП направлено на то, чтобы заменить опору на экспертов верой в научную строгость — тщательно контролируемые стимулы, однозначные задачи, контрольные группы, двойные слепые экспериментальные проекты и т.д. Однако СДП игнорирует ограничения научных исследований. Хотя в этом подразделе рассматриваются основанные на фактических данных практики, наши опасения глубже, касаясь ограничений научного исследования, познания и опыта.

Мы используем слово «вера» здесь намеренно, потому что большая часть энтузиазма в отношении практик, основанных на фактических данных, основана на надежде, что энергичное применение «научной рациональности» установит контроль над миром, полным риска. Эта вера сохраняется, несмотря на доказательства того, что применение передовой практики часто не улучшало результаты, а иногда даже ухудшало ситуацию. Мы поддерживаем проведение научных исследований эффективности различных методов и практик, но слишком часто научная доказательная база оказывается более мелкой и хрупкой, чем признают сторонники практик, основанных на фактических данных. Мы не утверждаем, что научные исследования бесполезны. Скорее, мы не думаем, что результатам таких исследований следует автоматически доверять, потому что методология была строгой.

Вот пример из реальной практики экспертизы безопасности АЭС по материалам ООБ и ВАБ.

Разработчики этих документов конечно очень чувствительны к замечаниям экспертов, поскольку такие материалы должны проходить обязательную экспертизу.

Однако отмечается три тенденции при рассмотрении результатов экспертизы:

•          - отрицание замечаний экспертов по причине несовершенства норм и правил, по которым ведется экспертиза;

•          - отрицание замечаний экспертов по причине отсутствия у них средств экспериментальной или расчетной базы проверки результатов экспертируемых документов;

•          - при повторной экспертизе документов, или тех же самых или аналогичных для других, более поздних проектов, отмечается удаление из документов спорных выводов, цифровых или схемных данных, ранее вызвавших замечания экспертов.

Особенно опасна последняя тенденция, основанная на надежде, что эксперты не смогут связать прежние замечания с новыми документами, т.к. эксперты не обладают системным подходам и нужной квалификации в экспертируемой проблеме!

СДП определили шесть когнитивных проблем (Klein, D., Woods, D. D., Klein, G., & Perry, S. J. (2016). Can we trust best practices? Six cognitive challenges of evidence-based approaches. Journal of Cognitive Engineering and Decision Making 10(3), 244–254.), фактически применяющих лучшие практики:

•          Характеристика проблемы в первую очередь. Практикующие эксперты не могут применять лучшие практики, не оценивая, в чем проблема.

•          Оценка достоверности доказательств. То, что данные были собраны и опубликованы, не означает, что изучая эти материалы, мы должны им доверять; опубликованные результаты часто не воспроизводимы. Слишком часто лучшая практика основана на одном исследовании. Даже если было проведено несколько исследований, они могут иметь ошибочный дизайн-проект исследования.

•          Принятие решения о том, что делать, когда лучшие практики противоречат профессиональным суждениям.

•          Определение того, как применять простые правила к сложным ситуациям. Глобальные правила могут не применяться к конкретным случаям.

•          Пересмотр планов, которые, как представляется, не работают. Для внесения изменений в разрабатываемые планы необходимы экспертные знания.

•          Рассмотрение средств правовой защиты, которые не являются официальной передовой практикой. Что делать лицу, принимающему решения, если нет никаких официальных лучших практик, основанных на рандомизированных контрольных испытаниях? Какую свободу действий имеет лицо, принимающее решения, при рассмотрении направлений действий, которые не были подтверждены?

Здесь нужно прийти к выводу, что лучший путь вперед — это признать сильные и слабые стороны экспертов и доказательств и смешать и то, и другое, уравновешивая узкие доказательства и широкий опыт. Подход к передовой практике наиболее серьезно пропагандируется в здравоохранении, где его называют доказательной медициной. Тем не менее, лучшая практика лечения молодого человека может отличаться от лечения пожилого пациента, особенно если у пожилого пациента есть дополнительные медицинские условия. Кроме того, в группе «молодых людей» различия в весе/размере тела, анатомии, сопутствующих заболеваниях и т.д. изменит план лечения. Доказательства, которые превращаются в правила, обычно собираются по одному медицинскому состоянию за раз, но пациенты часто страдают от нескольких различных проблем одновременно. Количество правил, необходимых для жонглирования всеми перестановками нескольких проблем, было бы неуправляемым.

И даже когда есть возможность написать правило, должно быть условное ветвление на основе контекста. Лучшей практикой может быть прием лекарств три раза в день в течение месяца, но если состояние ухудшается через две недели, следует ли его прекратить? Должен ли он быть модифицирован в соответствии с потребностями конкретного пациента? Передовая практика основана на средних показателях по большим выборкам; руководящие принципы, полученные на основе этих средних значений, могут не применяться к отдельным пациентам. Медицинские журналы могут выступать за одно лечение, но личный врач наблюдал за состоянием пациента с течением времени, наблюдал за реакцией пациента и терпимостью к различным методам лечения — это проблема принятия решения о том, что делать, когда лучшие практики противоречат профессиональным суждениям.

Наконец, мы ставим под сомнение веру в то, что научная строгость устранит необходимость для людей делать выводы.

Одним из аспектов движения, основанного на фактических данных, является объединение передовой практики в руководящие принципы или контрольные перечни, которые могут заменить экспертные знания. И хотя мы верим в ценность контрольных списков, мы также знаем об их ограничениях. Руководящие принципы, правила и контрольные списки поднимают над полом наш уровень знаний, предотвращая глупые ошибки — ошибки, которые даже студент-медик первого курса признал бы ошибкой. Но они также опускают потолок, что позволяет легко перейти к бездумному, некритичному режиму, который пропускает тонкие предупреждающие знаки и не служит потребностям пациентов.

Контрольные списки работают в стабильных, четко определенных задачах и должны быть тщательно разработаны с управляемым количеством шагов. Если контрольный список является последовательным, каждый шаг должен привести к четкому результату, который служит триггером для следующего шага. Однако в сложных и неоднозначных ситуациях предшествующие условия для каждого шага, вероятно, будут туманными и будут зависеть от опыта лица, принимающего решения, чтобы определить, когда начинать следующий шаг или начинать ли его вообще. Правильнее говорить о помощи экспертам, а не о их замене; понимая ограничения контрольных списков наиболее важными задачами, которые люди, вероятно, забудут. К сожалению, отрицатели экспертизы хотят заменить людей, даже экспертов, контрольными списками.

Контрольные списки не могут заменить экспертов. Кроме того, рискованно, когда новички используют контрольные списки для сложных задач, которые зависят от значительных неявных знаний, чтобы судить, когда делать следующий шаг, как изменить шаг, как решить, работает ли контрольный список. И опора на контрольные списки может препятствовать продвижению к высокой квалификации, заставляя практиков придерживаться существующих лучших практик, а не усердно работать, чтобы обогатить свои знания и опыт и, возможно, найти лучшие практики. Нужно рекомендовать заменить сообщество лучших практик подходом к лучшим практикам, опираясь на научные исследования наряду с советами экспертов.

Окончание следует