Курс Data Science з нуля

Python — основна мова Data Science і машинного навчання. Не тому що так прийнято, а тому що під неї написані всі ключові бібліотеки: Pandas, NumPy, TensorFlow, Scikit-learn.

У цьому модулі ви отримаєте саме ту базу, яка потрібна для роботи з даними: від типів даних до об’єктно-орієнтованого програмування.

80% роботи Data Scientist — це підготовка даних. Цей модуль вчить робити це правильно: зчитувати файли, індексувати масиви, очищати дані від помилок і пропусків. Саме тут починається реальна робота з даними — ще до першого алгоритму.

Pandas — інструмент, яким Data Scientist користується щодня. Завантажити датасет, очистити його, трансформувати, об’єднати таблиці — все це Pandas. Без впевненої роботи з ним неможливо рухатись далі до ML

Після обробки даних ми перейдемо до їх візуалізації. Matplotlib — це бібліотека для створення графіків, а Seaborn — її розширення для зручнішої побудови візуалізацій. Перш ніж будувати модель — потрібно побачити дані. Matplotlib і Seaborn дають змогу швидко знайти аномалії, закономірності та залежності, які неможливо помітити в таблиці.

Математика і статистика, необхідні для роботи з даними. Ви дізнаєтеся, що таке множення матриць, вектори, середнє значення, медіана, дисперсія і як прогнозувати ймовірність подій. Це важливо, оскільки для побудови ефективних моделей машинного навчання необхідно розуміти ці концепції.

Ми почнемо з життєвого циклу проєкту – від постановки завдання до тренування моделі. Ви дізнаєтеся, як розділити дані на навчальний і тестовий набори (методи Train-test split, CV), а також як створювати pipeline – конвеєр машинного навчання.

Перший алгоритм, який вивчає кожен Data Scientist. Лінійна регресія — основа прогнозування: ціни, продажі, попит. Простий але потужний інструмент, який використовують навіть у великих компаніях. Лінійна регресія працює на основі припущення, що існує лінійна залежність між змінними (ознаками).

Спам чи не спам? Схвалити кредит чи відмовити? Логістична регресія вирішує задачі класифікації — і це один з найчастіше використовуваних алгоритмів у реальних продуктах. Вона визначає ймовірність того, до якого класу належить об’єкт, і працює за принципом «так» або «ні».

Дерево рішень розбиває дані на основі простих запитань, що дає змогу класифікувати об’єкти.

Один з найінтуїтивніших алгоритмів ML — його рішення можна пояснити будь-якому менеджеру без технічного бекграунду. Банки використовують дерева рішень для скорингу, медицина — для діагностики. Ви навчитесь будувати їх і налаштовувати для максимальної точності.

KNN — алгоритм класифікації даних, заснований на принципі, що схожі об’єкти знаходяться поруч. Щоб визначити, до якого класу належить новий об’єкт, алгоритм аналізує його найближчих сусідів. Алгоритм який буквально працює за принципом “скажи мені, хто твої сусіди”. Netflix рекомендує фільми, Spotify — музику, магазини — схожі товари. KNN — один з перших кроків у розумінні рекомендаційних систем.

Процес поділу даних на групи, де об’єкти в кожній групі схожі між собою. Ми розглянемо алгоритми K-means і GMM для кластеризації об’єктів.

Кластеризація — це ML без правильних відповідей. Ви не знаєте заздалегідь скільки груп у даних і які вони — алгоритм знаходить їх сам. Сегментація клієнтів, аналіз поведінки користувачів, виявлення аномалій — все це кластеризація в реальній роботі.

Побудувати модель — це половина роботи.

Друга половина — зрозуміти наскільки вона хороша і де помиляється. Accuracy, Precision, Recall, F1-score, AUC-ROC — після цього модуля ви знатимете, яку метрику обрати для кожної задачі і чому “точність 95%” може означати погану модель.

Бустинг — метод поліпшення точності моделей.

XGBoost і LightGBM — алгоритми на основі бустингу — виграють більшість змагань на Kaggle і активно використовуються в продакшені. Ідея проста: об’єднати багато слабких моделей в одну сильну. Результат — значно вища точність, ніж у одиночних алгоритмів.

Реальні датасети мають сотні ознак — більшість з яких шум. PCA, UMAP і t-SNE допомагають залишити тільки те, що важливо: прискорюють навчання моделі, покращують точність і дають змогу візуалізувати багатовимірні дані у зрозумілому вигляді.

Deep Learning — це те, що стоїть за розпізнаванням облич, голосовими асистентами і медичною діагностикою. У цьому модулі ви побудуєте свої перші нейронні мережі — від простого персептрона до багатошарових архітектур — і зрозумієте, як вони насправді навчаються.

TensorFlow від Google — стандарт індустрії для побудови нейронних мереж у продакшені.

Ви навчитесь створювати, тренувати, оптимізувати і зберігати моделі — саме так, як це роблять в реальних компаніях.

Тренування нейронних мереж потребує потужного заліза. Google Colab дає безкоштовний доступ до GPU прямо в браузері — без налаштування середовища, без дорогого комп’ютера. Ви одразу працюєте як справжній DS-інженер.

Ми навчимося працювати з Colab для навчання моделей Deep Learning.

ChatGPT, Google Translate, spam-фільтри — за всім цим стоїть NLP. У фінальному модулі ви навчитесь обробляти текст як дані: токенізація, лематизація, виділення сутностей. Це один з найзатребуваніших напрямків DS на ринку сьогодні.

Фінальний проєкт — це реальне змагання на платформі Kaggle.

Кожен студент отримує датасет і задачу — і самостійно вирішує, які алгоритми та підходи застосувати, щоб отримати найкращий результат. Немає єдиної правильної відповіді: є дані, є метрика, є лідерборд.

Ви побачите свій submission score, своє місце серед інших учасників — і зрозумієте, де ваше рішення працювало добре, а де можна було зробити інакше. Саме це і є реальна робота дата-саєнтиста.

Після курсу у вас буде не просто сертифікат, а підтверджений результат на Kaggle — платформі, яку знає кожен рекрутер у сфері Data Science.

Більшість документації, досліджень, технічних статей і курсів у Data Science — англійською. І на співбесідах у міжнародні компанії теж говорять англійською. Speaking Club допомагає з цим: групові розмовні заняття у безпечному середовищі, де можна практикуватися без страху помилитися.

Оберіть групу за своїм рівнем — і відпрацюйте саме ті ситуації, які трапляються в роботі дата-спеціаліста: презентація результатів аналізу, обговорення технічного рішення з командою, співбесіда з іноземним рекрутером.