`
gashero
  • 浏览: 941580 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

协程才是未来-性能夸张的协程服务器,基于eventlet(greenlet)的http性能测试

阅读更多

早上好友baojing.jiao发来消息跟我讨论eventlet。早就知道有这么个玩意,一直没空看。正好今天试试。发现其给出的聊天服务器的例子还算简单,就自己改改做出个http服务器的例子。一测性能才发现如此夸张。

 

先看程序:

 

#! /usr/bin/env python
# -*- coding: UTF-8 -*-
# File: eventlet_httpd.py
# Date: 2009-08-07
# Author: gashero

"""
一个使用eventlet作为底层的http服务器,测试一下性能
"""

from eventlet import api

def httpd(writer,reader):
    req=''
    while True:
        chunk=reader.readline()
        if not chunk:
            break
        req+=chunk
        if chunk=='\r\n':
            break
    data='Hello world!\r\n'
    writer.write('HTTP/1.1 200 OK\r\nContent-Length: %d\r\n\r\n%s'%(len(data),data))
    writer.close()
    reader.close()
    return

def main():
    try:
        server=api.tcp_listener(('0.0.0.0',3000))
        print 'Server started!'
        while True:
            conn,addr=server.accept()
            #print 'client %s connected!'%repr(addr)
            writer=conn.makefile('w')
            api.spawn(httpd,writer,conn.makefile('r'))
    except KeyboardInterrupt:
        pass
    return

if __name__=='__main__':
    main()
 


简单的说就是识别http请求报文结束,然后发送响应报文而已。

 

100并发时的apache ab性能测试结果:

 

Concurrency Level:      100
Time taken for tests:   17.710 seconds
Complete requests:      100000
Failed requests:        0
Write errors:           0
Total transferred:      5300000 bytes
HTML transferred:       1400000 bytes
Requests per second:    5646.57 [#/sec] (mean)
Time per request:       17.710 [ms] (mean)
Time per request:       0.177 [ms] (mean, across all concurrent requests)
Transfer rate:          292.25 [Kbytes/sec] received

 

1000并发时的apache ab性能测试结果:

 

Concurrency Level:      1000
Time taken for tests:   16.422 seconds
Complete requests:      100000
Failed requests:        0
Write errors:           0
Total transferred:      5300000 bytes
HTML transferred:       1400000 bytes
Requests per second:    6089.30 [#/sec] (mean)
Time per request:       164.223 [ms] (mean)
Time per request:       0.164 [ms] (mean, across all concurrent requests)
Transfer rate:          315.17 [Kbytes/sec] received

 

如上测试环境是分别在1G局域网内两台机器之间的测试,可不是同一台机器内部的测试 。而且,1000并发居然比100并发速度还要快一些。

 

下面给出一些对比数据,测试环境不同,但是数据不会相差太大:

1、大部分python web framework,600req/s

2、web.py,800req/s

3、曾经在土豆网用twisted写的htmid框架,2300req/s

4、nginx+mod_wsgi,2900req/s

5、eventlet,约5800req/s

 

当然,如上的服务器功能确实少了点,但是提供了这样一种基础,方便以后扩展。记得N年前看过一篇论文说服务器的发展是多进程=>多线程=>异步=>协程。而现在主流的高性能服务器都是基于异步的(lighttpd、nginx),这次试了一下协程,效果果然不同凡响。

 

过段时间试试用eventlet提供服务器做个wsgi/http服务器来玩。

6
1
分享到:
评论
9 楼 xiaoyao3857 2013-01-10  
好吧,我这个外行,现在想就用这段代码来实验一下,但是完全不知道怎么用?运行这个脚本,然后这个怎么发并发?怎么样能从控件台看到上面的控制台的输出?
8 楼 fengmk2 2009-11-19  
diesel的性能测试也很不错.

http://dieselweb.org
diesel is a framework for writing network applications using asynchronous I/O.
7 楼 mryufeng 2009-08-10  
这coroutine是不错 但是和erlang的process 和 port相比只是toy级别的。 erlang的进程和port都有调度,能够保证IO的公平, 同样的测试,在erlang下包含完整的http报文分析,普通的台式机器单cpu可以跑你2.5倍的效能了。
6 楼 joshzhu 2009-08-10  
再补充一句,此类IO密集型应用场合,问题的关键不在于是否是coroutine,而在于底层是否有个高性能的实现。
5 楼 joshzhu 2009-08-10  
1、虽然nginx是full featured的,但是不用mod_wsgi模块,我预测它的结果会轻易超过你的这个结果,我自己测的结果都是超10000的。

2、和mryufeng交流过后得出:对这个benchmark来说,性能最高的将是Erlang。
4 楼 gashero 2009-08-10  
我也写过一个erlang的http服务器的小例子来玩,当时跑到12300req/s。不过环境已经很不同了。再者就是这个服务器只能使用1个CPU核,前面加上负载均衡以后性能可以叠加。

关于与全攻能的http server的性能对比,我认为没多大意义。我现在是需要一个使用http协议的应用服务器,又不作静态文件服务。所以不需要考虑文件缓存、文件句柄管理等很多事情。只要协议解析够快,撑的并发数够高就行了。
3 楼 joshzhu 2009-08-10  
mryufeng(http://mryufeng.iteye.com)对Erlang做过和你差不多的测试,结果是16000+,不过是单机。BTW,这个测试和full featured的HTTP server来比,确实有点不公平。
2 楼 est 2009-08-07  
完成了测验能留言啊  


内存web服务器没有多少测的必要吧。。。囧。。。
1 楼 linac 2009-08-07  
这里测的只是网络性能。连最基本的http协议分析都没有。

协程就是异步的封装吧?

相关推荐

Global site tag (gtag.js) - Google Analytics