[Яндекс.Практикум] Python-разработчик Плюс, 2021-2022, Часть 11 из 14

Описание

Расширенная программа для тех, кто только знакомится с миром IT и хочет стать сильным python-разработчиком.
Часть 11

Спринт 18.

Парсинг: начало

Что такое парсинг

Работа с браузером

Инструменты разработчика в браузере
Типы веб-страниц

Основные библиотеки для парсинга

Загрузка и кеширование веб-страниц
Прогресс-бар в консоли
HTML-код как DOM-дерево
Поиск тегов: методы find_all() и find() в bs4

Настройка парсера

Первый парсер: учимся переходить по ссылкам
Второй парсер: работаем с регулярными выражениями
Регулярные выражения: практика
Третий парсер: скачивание файлов
Парсинг аргументов командной строки
Объединение парсеров: список зависимостей и argparse

Вывод и хранение результатов парсинга

PrettyTable: таблица в терминале
Вывод данных в файл

Рефакторинг парсера

Логирование
Обработка ошибок

Финальный проект спринта: парсер PEP

Спринт 19

Конкурентность, параллельность и асинхронность в Python

Свободная касса
Потоки и процессы
Потоки и процессы в Python
Эксперименты с потоками и процессами
Асинхронный Python. Модуль asyncio

Работа с БД

SQLAlchemy
Движок, модели и таблицы в SQLAlchemy
Управление данными: CRUD
CRUD на практике
Практическая работа. Парсер с записью в БД

Парсинг и авторизация

Аутентификация и авторизация. Анализ запросов.
Авторизация парсера с помощью requests

requests-html

Парсинг страниц с динамическим содержимым

Scrapy

Фреймворк Scrapy
Scrapy-парсер, селекторы и Shell
Scrapy-парсинг с выводом в файл
Обработка страниц с разной структурой
Items и Feeds в Scrapy
Pipelines, сохранение в базу данных

Финальный проект спринта: асинхронный парсер PEP
Бонус. Selenium

Selenium