python aiohttp创建很多线程的问题及解决

python aiohttp创建很多线程

最近使用 python aiohttp 进行异步的发送请求，在命令行中 用py-spy 来监控了一下 发现 运行python程序 创建了 125 线程，吓了我一跳。

解决

Google了很久 找到解决方法了。

原因

每次发送请求时 aiohttp.ClientSession 查询dns 。这个查询dns是阻塞的，所以它每次查询dns时开启一个线程的。

所以我在代码里 给它指定了 dns查询对象 起作用了。

from aiohttp.resolver import AsyncResolver
resolver = AsyncResolver()
tcp_conn = aiohttp.TCPConnector(resolver=resolver)
async with aiohttp.ClientSession(connector=tcp_conn) as session:
	await process_spider(spider, session)

运行程序时 有可能提示 需要aiodns. 安装即可: pip install aiodns .

python aiohttp模块使用

asyncio可以实现单线程并发IO操作。如果仅用在客户端，发挥的威力不大。

如果把asyncio用在服务器端，例如Web服务器，由于HTTP连接就是IO操作，因此可以用单线程+coroutine实现多用户的高并发支持。

asyncio实现了TCP、UDP、SSL等协议，aiohttp则是基于asyncio实现的HTTP框架。

我们先安装aiohttp：

pip install aiohttp

然后编写一个HTTP服务器，分别处理以下URL：

• / – 首页返回b'<h1>Index</h1>'；
• /hello/{name} – 根据URL参数返回文本hello, %s!。

代码如下：

import asyncio

from aiohttp import web

async def index(request):
    await asyncio.sleep(0.5)
    return web.Response(body=b\'<h1>Index</h1>\')

async def hello(request):
    await asyncio.sleep(0.5)
    text = \'<h1>hello, %s!</h1>\' % request.match_info[\'name\']
    return web.Response(body=text.encode(\'utf-8\'))

async def init(loop):
    app = web.Application(loop=loop)
    app.router.add_route(\'GET\', \'/\', index)
    app.router.add_route(\'GET\', \'/hello/{name}\', hello)
    srv = await loop.create_server(app.make_handler(), \'127.0.0.1\', 8000)
    print(\'Server started at http://127.0.0.1:8000...\')
    return srv

loop = asyncio.get_event_loop()
loop.run_until_complete(init(loop))
loop.run_forever()

注意aiohttp的初始化函数init()也是一个coroutine，loop.create_server()则利用asyncio创建TCP服务。

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持。