Знакомство с данными: что в таблице на самом деле

Начинаем с главного: как устроена таблица и что в ней можно посчитать.

Разберёмся, чем отличаются числа, категории и даты, научимся описывать тысячи строк несколькими числами и увидим, когда среднее обманывает, а медиана выручает.

Построим первые графики и гистограммы и научимся замечать в данных странное. Не всякое необычное значение ошибка: одни редкие, но настоящие, а другие невозможны. Решим, что оставить, что исправить и что убрать, и обсудим, как это влияет на выводы.

Сравниваем и ищем связи: что на что влияет

Учимся задавать данным вопросы и проверять гипотезы.

Сравним группы между собой, построим сводные таблицы, диаграммы рассеяния и ящики с усами, посчитаем коэффициент корреляции. Выясним, что бывают эффекты очевидные и едва заметные, и как отличить настоящую закономерность от шума.

Увидим, почему корреляция около нуля не всегда значит «связи нет», и почему даже сильная связь не доказывает, что одна величина влияет на другую.

Каждая команда проверит собственную гипотезу и честно скажет, подтвердилась она или нет.

От данных к выводам

Собираем всё вместе. Узнаем, почему сравнивать нужно не «сколько всего», а «сколько на единицу», и как это меняет выводы: сильные связи на глазах слабеют, а скрытые факторы выходят на свет.

Научимся объединять таблицы из разных источников, построим простую линейную модель и сделаем с её помощью прогноз, разберёмся, что значат её коэффициенты и насколько ей можно доверять.

Во второй половине занятия команды выбирают свой вопрос, анализируют данные и защищают результат: что нашли, как проверили и чего утверждать нельзя.