1、什么是生成器?
通过列表生成式,我们可以直接创建一个列表。但是,受到内存的限制,列表的容量肯定是有限的。而且,创建一个包含100万个的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那么后面的绝大部分的元素所占用的空间都白白浪费了。那么我们是否可以在循环的过程中不断推算出后续的元素呢?这样子就不必要创建完整的list了,从而节省了大量的空间。在pythoin中,这种一边循环一边计算的机制,就是生成器。
2、创建生成器方法1
In [3]: L = [x *2 for x in range(5)]
In [4]: L
Out[4]: [0, 2, 4, 6, 8]
In [5]: G = (x *2 for x in range(5))
In [6]: G
Out[6]: <generator object <genexpr> at 0x7f8851d88c50>
In [7]:
创建 L 和 G 的区别仅在于最外层的 [ ] 和 ( ) , L 是一个列表,而 G 是一个生成器。我们可以直接打印出L的每一个元素,但我们怎么打印出G的每一个元素呢?如果要一个一个打印出来,可以通过 next() 函数获得生成器的下一个返回值:
In [7]: next(G)
Out[7]: 0
In [8]: next(G)
Out[8]: 2
In [9]: next(G)
Out[9]: 4
In [10]: next(G)
Out[10]: 6
In [11]: next(G)
Out[11]: 8
In [12]: next(G)
---------------------------------------------------------------------------
StopIteration Traceback (most recent call last)
<ipython-input-12-b4d1fcb0baf1> in <module>()
----> 1 next(G)
StopIteration:
In [13]: G = (x *2 for x in range(5))
In [14]: for x in G:
...: print(x)
...:
0
2
4
6
8
In [15]:
生成器保存的是算法,每次调用 next(G) ,就计算出 G 的下一个元素的值,直到计算到最后一个元素,没有更多的元素时,抛出 StopIteration 的异常。当然,这种不断调用 next() 实在是太变态了,正确的方法是使用 for 循环,因为生成器也是可迭代对象。所以,我们创建了一个生成器后,基本上永远不会调用 next() ,而是通过 for 循环来迭代它,并且不需要关心 StopIteration 异常。
3、创建生成器方法2
generator非常强大。如果推算的算法比较复杂,用类似列表生成式的 for 循环无法实现的时候,还可以用函数来实现。
比如,著名的斐波拉契数列(Fibonacci),除第一个和第二个数外,任意一个数都可由前两个数相加得到:
1, 1, 2, 3, 5, 8, 13, 21, 34, ...
斐波拉契数列用列表生成式写不出来,但是,用函数把它打印出来却很容易:
In [15]: def fib(items):
...: n = 0
...: a,b = 0,1
...: while n <items:
...: print(b)
...: a,b = b, a+b
...: n += 1
...: return 'done'
...:
...:
In [16]: fib(5)
1
1
2
3
5
Out[16]: 'done'
仔细观察,可以看出,fib函数实际上是定义了斐波拉契数列的推算规则,可以从第一个元素开始,推算出后续任意的元素,这种逻辑其实非常类似generator。
也就是说,上面的函数和generator仅一步之遥。要把fib函数变成generator,只需要把print(b)改为yield b就可以了:
In [19]: def fib(times):
...: n = 0
...: a, b = 0,1
...: while n < times:
...: yield b
...: a,b = b,a+b
...: n += 1
...: return 'done'
In [20]: F = fib(5)
In [21]: next(F)
Out[21]: 1
In [22]: next(F)
Out[22]: 1
In [23]: next(F)
Out[23]: 2
In [24]: next(F)
Out[24]: 3
In [25]: next(F)
Out[25]: 5
In [26]: next(F)
---------------------------------------------------------------------------
StopIteration Traceback (most recent call last)
<ipython-input-26-372178f5f53b> in <module>()
----> 1 next(F)
StopIteration: done
在上面fib 的例子,我们在循环过程中不断调用 yield ,就会不断中断。当然要给循环设置一个条件来退出循环,不然就会产生一个无限数列出来。同样的,把函数改成generator后,我们基本上从来不会用 next() 来获取下一个返回值,而是直接使用 for 循环来迭代:
In [28]: for i in fib(5):
...: print(i)
...:
1
1
2
3
5
但是用for循环调用generator时,发现拿不到generator的return语句的返回值。如果想要拿到返回值,必须捕获StopIteration错误,返回值包含在StopIteration的value中:
In [29]: g = fib(5)
In [30]: while True :
...: try :
...: x = next(g)
...: print("value : %d"%x)
...: except StopIteration as e:
...: print("生成器的返回值:%s"%e.value)
...: break
...:
value : 1
value : 1
value : 2
value : 3
value : 5
生成器的返回值:done
4、Send
举个例子:执行到yield时,gen函数作用暂时保存,返回i的值;temp接收下次c.send(“python”),send发送过来的值,c.next()等价c.send(None)
In [32]: def gen():
...: i = 0
...: while i < 5:
...: temp = yield i
...: print (temp)
...: i += 1
使用next函数
In [33]: f = gen()
In [34]: next(f)
Out[34]: 0
In [35]: next(f)
None
Out[35]: 1
In [36]: next(f)
None
Out[36]: 2
In [37]: next(f)
None
Out[37]: 3
In [38]: next(f)
None
Out[38]: 4
In [39]: next(f)
None
---------------------------------------------------------------------------
StopIteration Traceback (most recent call last)
<ipython-input-39-aff1dd02a623> in <module>()
----> 1 next(f)
StopIteration:
使用__next__()方法
In [40]: f = gen()
In [41]: f.__next__()
Out[41]: 0
In [42]: f.__next__()
None
Out[42]: 1
In [43]: f.__next__()
None
Out[43]: 2
In [44]: f.__next__()
None
Out[44]: 3
In [45]: f.__next__()
None
Out[45]: 4
In [46]: f.__next__()
None
---------------------------------------------------------------------------
StopIteration Traceback (most recent call last)
<ipython-input-46-dcf180275632> in <module>()
----> 1 f.__next__()
StopIteration:
使用send
In [47]: f = gen()
In [48]: f.__next__()
Out[48]: 0
In [49]: f.send("haoxiang")
haoxiang
Out[49]: 1
In [50]: f.__next__()
None
Out[50]: 2
In [51]: f.send("叁研良语")
叁研良语
Out[51]: 3
5、生成器小总结
生成器是这样一个函数,它记住上一次返回时在函数体中的位置。对生成器函数的第二次(或第 n 次)调用跳转至该函数中间,而上次调用的所有局部变量都保持不变。
生成器不仅“记住”了它数据状态;生成器还“记住”了它在流控制构造(在命令式编程中,这种构造不只是数据值)中的位置。
生成器的特点:
1、节约内存
2、迭代到下一次的调用时,所使用的参数都是第一次所保留下的,即是说,在整个所有函数调用的参数都是第一次所调用时保留的,而不是新创建的
6、迭代器的基本概念
迭代器是访问集合元素的一种方式。迭代器是一个可以记住遍历位置的对象。迭代器对象从集合的第一个元素开始访问,知道元素被访问结束。迭代器只能前进不能后退。
7、可迭代对象
以直接作用于for循环的数据类型可以有以下几种:
一类是集合数据类型,比如list、tupple、dict、set、str等等。
一类是generator(生成器),包括生成器和带yield的generator function
这些可以直接作用于for循环的对象统称为可迭代对象:Iterable
8、判断是否可以进行迭代
可以利用isinstance()判断一个对象是否是Iterable:
In [52]: from collections import Iterable
In [53]: isinstance([], Iterable)
Out[53]: True
In [54]: isinstance('abc', Iterable)
Out[54]: True
In [55]: isinstance((x for x in range(100)), Iterable)
Out[55]: True
In [56]: isinstance(100, Iterable)
Out[56]: False
In [57]:
运行结果:
而生成器不但可以作用于 for 循环,还可以被 next() 函数不断调用并返回下一个值,直到最后抛出 StopIteration 错误表示无法继续返回下一个值了。
9、迭代器
可以被next()函数调用并不断返回下一个值的对象称为迭代器:Iterator。
可以使用 isinstance() 判断一个对象是否是 Iterator 对象:
In [57]: from collections import Iterator
In [58]: isinstance((x for x in range(10)), Iterator)
Out[58]: True
In [59]: isinstance([], Iterator)
Out[59]: False
In [60]: isinstance('abc', Iterator)
Out[60]: False
In [61]: isinstance(100, Iterator)
Out[61]: False
In [62]:
10、iter()函数
生成器都是Iterator对象,但是list、dict、str虽然是可以迭代的,但是他们不是迭代器
把 list 、 dict 、 str 等 Iterable 变成 Iterator 可以使用 iter() 函数:
In [62]: isinstance(iter([]), Iterator)
Out[62]: True
In [63]: isinstance(iter('abc'), Iterator)
Out[63]: True
11、迭代器总结
凡是可作用于 for 循环的对象都是 Iterable 类型;
凡是可作用于 next() 函数的对象都是 Iterator 类型
集合数据类型如 list 、 dict 、 str 等是 Iterable 但不是 Iterator ,不过可以通过 iter() 函数获得一个 Iterator 对象。