Эксперименты в экономике: как шоки помогают лучше понимать причины экономических явлений
В магистратуре «Экономика» стартует новый курс «Эксперименты в экономике: дизайн и эмпирический анализ», по окончании которого студенты научатся доказывать наличие причинно-следственных связей и количественно оценивать эффекты воздействия различных факторов на экономические показатели. О ценности некоторых эмпирических моделей, актуальных для науки и бизнеса, об эконометрике и машинном обучении — поговорили с автором программы курса Андреем Валентиновичем Аистовым, доцентом кафедры экономической теории и эконометрики.
- Андрей Валентинович, эксперименты обычно ассоциируются с естественными науками — физикой, химией… Как проводят эксперименты в экономике?
- Основные требования к эксперименту одинаковы в любой науке — достоверность полученного результата, исключение ложных эффектов и интерпретаций.
Как можно повысить точность измерения? Один из вариантов — измерить интересующую нас величину много раз и усреднить полученные значения. Известно, что среднее имеет меньшую погрешность, чем результат одного отдельного измерения.
Основное отличие так называемого искусственного экономического эксперимента от экспериментов физики, химии и многих других областей знаний заключается в том, что в экономике часто возникают ситуации, когда эксперимент невозможно повторить многократно, каждый раз помещая объект исследования в абсолютно одинаковые условия. Не каждый экономический агент, проводящий эксперимент, обладает необходимым количеством ресурсов для многократного повторения одинакового воздействия на изучаемый объект, при прочих равных условиях.
К известному фразеологизму «нельзя дважды войти в одну и ту же реку» можно добавить, что в экономике изменяется не только окружение, но и сам объект. Здесь надо сделать оговорку: от усреднения по времени (многократного повторения эксперимента) можно перейти к усреднению по ансамблю — рассмотреть много экономических агентов (объектов исследования), находящихся в примерно одинаковых условиях, при этом можно выявить некоторые закономерности их поведения.
Фактически многие школьники и студенты с таким подходом сталкивались, изучая модели, объединяемые общим названием «экономическая теория» (микроэкономика, макроэкономика, институциональная экономика, экономика общественного сектора, поведенческая экономика и т.д.). Все так называемые «теоретические» модели, записывающие языком математики причину и следствие, являются результатами естественных экспериментов. То есть исследователи не прикладывали титанических усилий по созданию определенных условий для точного измерения реакции «системы» на воздействие, а наблюдали за «окружающим миром» и отражали наблюдаемые закономерности в математических или эмпирических (количественных статистических) моделях, связывающих воздействие и результат между собой.
Хорошей помощью при проведении такого рода исследований являются экзогенно происходящие шоки, надо только уметь наблюдать за окружающим миром. Под «шоком» в данном случае понимается не только случайное воздействие (например, климатическое или эпидемиологическое), но и принятие политических решений, проведение реформ, законодательные изменения и т.п. Такого рода «резкие» воздействия (иногда, на первый взгляд, не связанные с экономикой) сильно облегчают задачу экономиста, ему остается лишь собрать необходимые данные и подобрать эмпирическую модель, чтобы превратить все это в естественный эксперимент, в котором причина и следствие изолированы от внешнего мира (магия эконометрики).
Конечным этапом являются выводы, рекомендации для принятия управленческих решений и т.п. Распределенные воздействия, происходящие в разные моменты времени с разной интенсивностью и вероятностью, тоже возможны в рамках естественных экспериментов, но требуют более совершенных эмпирических моделей, которые продолжают развиваться в настоящее время.
Если речь идет о курсе «Эксперименты в экономике: дизайн и эмпирический анализ», мы, конечно, не будем повторять модели и методы экономической теории; у студентов достаточно знаний и интуиции, чтобы формулировать гипотезы и различать причины и следствия. Наши задачи — доказывать наличие причинно-следственных связей и корректно количественно оценивать эффекты воздействия.
Основное внимание в нашем учебном курсе уделено эмпирическим моделям, позволяющим решать указанные выше задачи. Изучаемые в ходе освоения этого курса методы подходят как для естественных, так и для искусственных экспериментов, среди этих методов — рандомизация, разность разностей, разрывный дизайн…
- Могут ли методы оценки эффектов воздействия конкурировать с крайне популярными сейчас методами машинного обучения, или всё же у данных методов разные области применения?
- Подобный вопрос часто возникает у меня самого, но сформулированный в более широком смысле: где проходит грань между машинным обучением и эконометрикой?
Исходя из моего восприятия вопроса, могу сказать следующее. Машинное обучение в настоящее время находится на этапе своего интенсивного развития. Фактически повторяя путь развития эконометрики, относительно недавно начали появляться теоретические работы и компьютерные алгоритмы, позволяющие оценивать величины эффектов воздействия методами машинного обучения. В их основе лежат известные в эконометрике структурные модели, предполагающие, что исследователь знает возможные направления влияния, и в его распоряжении есть контролирующие и объясняющие переменные, которые могут влиять и на величину воздействия, и на результат. Если в решаемой задаче существуют ненаблюдаемые факторы, оказывающие одновременное влияние и на величину воздействия, и на результат, исследователю приходится использовать инструментальные переменные — как в обычной эконометрике. То есть идеологически — ничего нового, по сравнению с эконометрикой. Сложность заключается лишь в сборе необходимых данных и реализации состоятельных оценок методами машинного обучения.
Одно из достоинств классической эконометрики (развивающееся сейчас и в машинном обучении) — построение структурных моделей, обоснованных теоретически, следующих из процесса генерации данных и направленных на проверку предварительно сформулированных гипотез. Такие модели можно образно сравнить с топографической картой местности: в большинстве случаев они дают специалисту возможность увидеть изучаемый объект целиком, охватить его одним взглядом и видеть одновременно все так называемые предельные эффекты — влияние отдельных переменных на результат при прочих равных условиях. Последнее («при прочих равных») обычно невозможно в жизни (без использования моделей), поскольку все показатели обычно тесно связаны друг с другом (нет независимых характеристик, либо невозможно найти большую выборку объектов, у которых меняется лишь один показатель, а остальные остаются неизменными).
До недавнего времени итоговая модель в рамках машинного обучения была похожа на «черный ящик», связывающий «сигнал» на входе с результатом на выходе. Основными целями (и возможностями) машинного обучения были классификация и прогнозирование. Мы могли «обучить» модель на исторических или экспериментальных данных и после этого начать ей пользоваться, например, «пошевелить» сигнал на входе и посмотреть, что будет на выходе, построить partial dependence plot — аналог предельных эффектов в эконометрике. Сейчас есть возможность открыть этот «черный ящик», построив значения Шепли.
Возвращаясь к Вашему вопросу, хочется отметить, что эконометрические модели бинарного выбора уже давно используются в машинном обучении. Некоторые экономисты относят к машинному обучению также хорошо известные в эконометрике методы регуляризации (ridge регрессии и LASSO), методы снижения размерности, инструментальные переменные, поэтому сейчас уже трудно корректно разделить сферы интересов и методы эконометрики и машинного обучения. Возможно, через некоторое время разделение этих наук станет еще сложнее, но, если понимать Ваш вопрос буквально, методы оценки эффектов воздействия и машинное обучение — это разные методологии, решающие разные задачи.
Приведу простой пример. Хорошо известно, что цветы некоторых растений открываются и закрываются в определенное время суток. Можно добавить кукареканье петуха перед рассветом. Используя эти данные, с помощью регрессионной модели (эконометрики) и методами машинного обучения можно успешно прогнозировать время восхода Солнца. Если же мы создадим соответствующую контрольную группу (соберем наблюдения в местности, где нет петухов и цветущих растений) и оценим параметры соответствующей регрессионной модели, то выяснится, что воздействия петуха и растений на восход Солнца равны нулю — это эконометрика (построение моделей, позволяющих выявлять и оценивать причинно-следственные связи), по крайней мере пока это не машинное обучение.
- Стоит ли будущему выпускнику магистерской программы иметь в своем арсенале методы оценки эффектов воздействия?
- Если специалист планирует работать в крупном аналитическом отделе, то это точно нужно. Дополнительно хочется отметить, что именно университеты развивают технологии на рынке труда. Знания выпускников, позволяющие корректно оценивать, например, результаты управленческих решений, будут полезны любой фирме. При этом выпускник должен проявлять инициативу и предлагать свои услуги (о которых работодатель пока, может быть, даже не знает), поскольку преподаваемые нами методологии могут быть востребованы во многих сферах деятельности.
Эффекты воздействия важны везде. Если специалист владеет инструментами эконометрики, он может быть востребован в абсолютно разных областях. Полученные в ходе обучения знания и навыки полезны и самому выпускнику — они позволяют адекватно воспринимать и трактовать многие явления окружающей нас действительности, отсеивая ложные корреляции от причинно-следственных связей.
- Насколько курс «Эксперименты в экономике: дизайн и эмпирический анализ» можно назвать творческим? Какими качествами нужно обладать, чтобы в этом преуспеть, и что бы Вы пожелали своим студентам?
- Разумеется, это творческая дисциплина. Мы лишь на отдельных примерах показываем, какие данные и эмпирические модели позволяют корректно обосновать и оценить причинно-следственные связи. Хорошо известно, что университеты учат думать. В дополнение к этому хочу посоветовать студентам развивать способности нестандартно мыслить, замечать мелочи, иметь большое желание постоянно узнавать что-то новое и сохранить способность удивляться. Еще я часто вспоминаю слова одной из наших преподавательниц в университете: «В жизни надо заниматься тем, что Вам больше нравится», — реально, если читающие эти строки будут следовать этому правилу, то преуспеют в любом своем деле.