block 1
Профессия Data scientist
Что делает data scientist: объекты и признаки, целевая переменная, модель как формула, обучающие примеры и ошибка прогноза.
profession
level
3Data science
Data science builds models that predict from data and honestly measures how wrong they are.
monthly pay
junior 110 000 ₽ · mid 235 000 ₽ · senior 380 000 ₽
The job is a model whose errors you have measured, not a guess.
20 blocks · 160 lessons
A profession cannot start free. It opens together with Python. Every course · 3899 ₽ / month
progress
0%
course
block 2
Ошибка прогноза
Абсолютная и квадратичная ошибка, ошибка в процентах, MAE и RMSE, сравнение моделей, baseline «среднее» и единицы измерения ошибки.
block 3
Признаки из текста
Длина текста и число слов, очистка через strip и lower, слова-маркеры, флаги 0/1, капс и восклицания, нормализация и отчёт о признаках f-строкой.
block 4
Модели-правила
Классификатор с порогом, несколько классов через elif, правила с and, or и not, решающий пень, ошибки первого и второго рода и дерево из двух уровней.
block 5
Подбор параметров
Подбор коэффициента шагами, остановка по росту ошибки, проверка правила на выборке, градиент и градиентный спуск, learning rate и сходимость: всё циклом while.
block 6
Метрики по выборке
Ошибка модели на всей выборке: MAE, MSE, RMSE, смещение, доля верных ответов, подсчёт классов, прогноз по формуле и перебор порога.
block 7
Обучающая и тестовая выборки
Разбиение на train и test, baseline по среднему и медиане, выбросы в обучении, прогнозы списком, утечка теста и разбор худших ошибок.
block 8
Прогноз и ответ
Пары «ответ — прогноз» через zip: accuracy, матрица ошибок, точность и полнота, поиск ошибок через enumerate, проверки any и all, сравнение моделей и ошибка по сегментам.
block 9
Модели функциями
Модель и метрики как функции: predict, mae, accuracy, порог по умолчанию, отчёт из нескольких метрик, обучение константы, подбор порога и проверка формул.
block 10
Разбор данных
Из сырых строк в выборку: split по разделителю, заголовок и номер столбца, списки X и y, отсев битых строк, признаки из префиксов, доменов почты и текста, отчёт через join.
block 11
Словари признаков
Пример как словарь признаков, one-hot кодирование, баланс классов, мешок слов, частоты слов по классам, бейзлайн, словарь метрик и выбор лучшей модели.
block 12
Словарь и сходство
Словарь корпуса через множества, общие и отличающие слова, сходство Жаккара текстов и корзин, похожие пользователи, обучающие пары-кортежи, кодирование классов и утечка между train и test.
block 13
Пропуски и мусор
Безопасное приведение типов, удаление и заполнение пропусков средним, медианой и модой, флаг пропуска как признак, выбросы, своя ValueError и отчёт о качестве датасета.
block 14
Ближайшие соседи
Датасет как список словарей, евклидово расстояние, сортировка по расстоянию через lambda, k ближайших, голосование, kNN-регрессия, выбор k и масштаб признаков.
block 15
Статистика и случайность
Модули math, statistics, random и collections в работе дата-сайентиста: min-max и z-нормализация, корреляция, случайное и стратифицированное разбиение, баланс классов, бутстрэп и ошибки регрессии.
block 16
Модели классами
Единый интерфейс fit/predict: базовая модель по среднему, линейная регрессия, kNN-классификатор, стандартизация признаков, dataclass для примера и сравнение моделей в одном цикле.
block 17
Датасет из файла
Датасет в CSV: чтение через DictReader, типы и пропуски, признаки и целевая, предсказания в CSV, метрики в JSON, журнал экспериментов, сохранение модели и конфиг запуска.
block 18
Оценка моделей
Матрица ошибок, precision, recall и F1, порог классификации, ROC-кривая через перебор порогов, k-fold кросс-валидация, переобучение и несбалансированные классы.
block 19
Проект: модель оттока
Собираем модель оттока целиком: загрузка и чистка клиентов, разбиение, baseline, признаки и масштаб, логистическая регрессия градиентным спуском, метрики, порог под бизнес-задачу и отчёт.
block 20
Итоговый кейс: выбор модели
Кейс с собеседования: сравниваем модели кредитного скоринга на кросс-валидации, выбираем по деньгам, а не по accuracy, считаем эффект, ловим утечку данных, объясняем признаки и пишем вывод для бизнеса.