Извлечение информации: скачиваем список ссылок с помощью asyncio

Порой возникают рутинные задачи, которые не хочется делать руками. Примером такой задачи может являться - скачать множество страниц по ссылкам. Если 5 ссылок еще вручную сохранить можно, а если их 1000? или 6250, как было в моем случае.

На Python эту задачу можно с помощью модуля asyncio и aiohttp.

Вот такой код можно написать за пару минут:

import asyncio
import aiohttp ...
more ...

Таинство стандартной библиотеки: примеры для asyncio - aiohttp

Asyncio - это модуль содержащий инфраструктуру пригодную для написания асинхронных сетевых приложений. Благодаря концепции сопрограмм (coroutines), код асинхронного приложения прост для понимания и поддержки.

Экосистема развивается не по дням, а по часам. Стоит обратить внимание на развитие этого направления современного Python

more ...