python学习之redis编程

Redis简介

Redis(Remote Dictionary Server)远程字典数据服务的缩写,由意大利
人开发的是一款内存高速缓存数据库。使用ANSI C语言编写、支持网络、可基于内
存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API并提供多种语言
的 API的非关系型数据库。

Redis和Memcache对比?

Redis的安装

1. 首先上官网下载Redis 压缩包,地址 http://redis.io/download
2. 压缩包执行解压操作并进行编译
   #tar xzf redis-x.x.x.tar.gz
   #cd redis-x.x.x/
   #make && make install
   #sh utils/install_server.sh
   Redis的部署
3. 执行Redis-server 命令,启动Redis 服务
   redis-server
4. 客户端redisClient
   redis-cli
   #登录redis

   set 'a' '123'

5. 当添加键值后,发现在当前运行的目录下,创建了一个文件:dump.rdb,这个文
   件用于将数据持久化存储
   

   Redis内置数据类型

   • string 类型 是二进制安全的。可以包含任何数据(eg: jpg 图片或者序列化的对象)。
   从内部实现来看其实 string 可以看作 byte 数组,最大上限是 1G 字节。
   • hash类型 是一个 string 类型的 field 和 value 的映射表.它的添加、删除操作都是
   O(1)(平均)。
   • list类型 是一个 string 类型的双向链表。最大长度是(2 32 )。
   • set 类型 是 string 类型的通过 hash table 实现的无序集合。添加、删除和查找的复
   杂度都是 O(1)。最大长度是(2 32 )。
   Redis内置指令: http://doc.redisfans.com/
   
   Redis应用场景
   

   Redis持久化

   Redis 是一个内存数据库,与传统的MySQL,Oracle等关系型数据库直接将内容保存到硬盘
   中相比,内存数据库的读写效率比传统数据库要快的多(内存的读写效率远远大于硬盘的读写
   效率)。但是保存在内存中也随之带来了一个缺点,一旦断电或者宕机,那么内存数据库中的
   数据将会全部丢失。
   目标: 持久化就是把内存的数据写到磁盘中去,防止服务宕机了内存数据丢失。
   Redis 提供了两种持久化方式:RDB(默认) 和AOF
   Redis持久化: RDB
   RDB是Redis用来进行持久化的一种方式,是把当前内存中的数据集快照写入
   磁盘,也就是 Snapshot 快照(数据库中所有键值对数据)。恢复时是将快
   照文件直接读到内存里。
   

   Redis持久化: RDB

   我们可以配置 redis在 n 秒内如果超过 m 个 key 被修改就自动做快照,下面是默认的快照保
   存配置:
   dbfilename dump.rdb
   save 900 1
   save 300 10
   #持久化存储文件名为 dump.rdb
   #900 秒内如果超过 1 个 key 被修改,则发起快照保存
   #300 秒内容如超过 10 个 key 被修改,则发起快照保
   存
   save 60 10000 # 600 秒内容如超过 10000 个 key 被修改,则发起快照保存
   Redis持久化: AOF
   • RDB 持久化存是一定时间内做一次备份,如果
   redis意外down掉的话,就会丢失最后一次快照后
   的所有修改(数据有丢失)。
   • 工作原理: 当 redis 重启时会通过重新执行文件中
   保存的写命令来在内存中重建整个数据库的内容。

   Redis持久化: AOF

   通过配置文件告诉 redis 我们想要通过 fsync 函数强制 os 写入到磁盘的时机。有三
   种方式如下(默认是:每秒 fsync 一次), 通过BGREWRITEAOF指令压缩/优化命令
   //启用 aof 持久化方式
   appendonly yes
   //收到写命令就立即写入磁盘,最慢,但是保证完全的持久化
   #appendfsync always
   //每秒钟写入磁盘一次,在性能和持久化方面做了很好的折中
   appendfsync everysec
   //完全依赖 os,性能最好,持久化没保证
   #appendfsync no
   配置：修改redis配置文件
   vim /etc/redis/6379.conf
   appendonly yes #修改appendonly为yes
   cd /var/lib/redis/6379/ #进入目录生成aof文件
   ls
   appendonly.aof dump.rdb
   python批量插入数据发现appendonly.aof文件大小发生变化

import  redisredis_client = redis.StrictRedis(host='localhost',port=6379)redis_client.mset({'name':'westos','age':10})name = redis_client.get('name').decode('utf-8')name_len = redis_client.strlen('name')print('用户名称:',name,'用户名长度：',name_len)age_add = redis_client.incr('age')for i in range(1000):    redis_client.incr('age')

Redis架构模式

单机版
特点:简单
问题:1、内存容量有限 2、处理能力有限 3、无法高可用。

主从复制

主从复制
Redis 的复制(replication)功能允许用户根据一个 Redis 服务器来创建任意多个该
服务器的复制品,其中被复制的服务器为主服务器(master),而通过复制创建出来
的服务器复制品则为从服务器(slave)。 只要主从服务器之间的网络连接正常,主从
服务器两者会具有相同的数据,主服务器就会一直将发生在自己身上的数据更新同步 给
从服务器,从而一直保证主从服务器的数据相同。
特点:
1、master/slave 角色
2、master/slave 数据相同
3、降低 master 读压力在转交从库
问题:

1. 无法保证高可用
2. 没有解决 master 写的压力
   Python与Redis
   
   
   封装
   • 连接redis服务器部分是一致的
   • 将string类型的读写进行封装
   

"""

01_Redis数据结构.py

import redisredis_client = redis.StrictRedis(host='172.25.254.18', port=6379)#对于字符串的操作"""getmgetset msetincrincrbydecr decrbystrlen"""redis_client.mset({'name':'westos', 'age':10})name = redis_client.get('name').decode('utf-8')name_len = redis_client.strlen('name')print("用户名称: ", name, "用户名称长度: ", name_len)age_add = redis_client.incr('age')print("当前年龄为: ", redis_client.get('age'))for i in range(10000):    redis_client.incr('age')

限制某段时间内的访问次数，就比如我们登录的功能可以用手机获取验证码登录，但是我们发送验证码使用的第三方，是多少钱多少条的，
肯定不能让他一直点，一直发短信，就算前端js做了校验，若有些人用fiddler拦截绕过前台就麻烦了，
这时候可以用redis的incr命令和expire结合起来做一个解决方案

1. 用户请求了我们的发送短信验证码服务, 用户对应的key（电话号码）
2. 如果缓存中存在了，就是已经请求过验证码了，比如我系统参数设置的至少60秒发送一次短信, 那就代表60之内再次请求了，返回False阻止
3. 否则就是第一次请求短信验证码或者等了60再次请求的验证码, 发送验证码. 放入redis缓存并设置失效时间60秒

import timedef send_msg(phone):    """模拟给手机发送验证码"""    import string    import random    #['4', '1', '5', '9']    nums_list = random.sample(string.digits, 4)    nums_code = "".join(nums_list)    print("%s验证码：%s[公司]" %(phone, nums_code))    return  nums_codedef phone_code(phone):    """    电话验证码模拟, 3秒之后可以再次发送验证码    :param phone:    :return:    """    import redis    client = redis.StrictRedis()    #可以从缓存中查询验证码已经发送。    if client.get(phone):        print("验证码发送频繁， 请稍后再试")        return  False    else:        code = send_msg(phone)        client.set(phone, code, 3)        print("发送验证码成功")if __name__ == '__main__':    print("第一次发送")    phone_code('110')    print("第二次发送")    phone_code('110')    time.sleep(4)    print("第三次发送")    phone_code('110')"""IP限制频繁访问:    如果你运行 HTTP 服务，并且希望限制 HTTP 的访问频率，那么你可以借助一些比较稳定的工具，    例如： github.com/didip/tollbooth。不过如果你构建的应用比较简单，也可以自己来实现。IP限制的规则:    每分钟访问次数不能超过60次。"""def ip_limit(IP):    """    每分钟访问次数不能超过60次。    key: value = IP:count    :param IP:    :return:    """    import redis    client = redis.StrictRedis()    #1). 判断是否访问过本服务器;    if client.exists(IP):        count = client.get(IP).decode('utf-8')        if int(count) >= 60:            print("%s访问频繁" %(IP))        else:            client.incr(IP)            print("访问+1")    else:        client.set(IP, 1, 60)        print("%s第一次访问" %(IP))if __name__ == '__main__':    ip_limit('127.0.0.1')    for i in range(100):        ip_limit('172.25.254.197')"""

02_Redis数据结构列表.py

Redis: 内存缓存数据库， 消息队列(kafka、RabbitMQ)#如何实现高并发场景下抢红包的设计。import  queueclass RedisQueue(object):    """左边为队头， 右边为队尾的消息队列"""    def __init__(self, name, **conf):        import redis        self.__client = redis.Redis(**conf)        self.key = name    def qsize(self):        return  self.__client.llen(self.key)    def put(self, item):        """入队操作"""        self.__client.rpush(self.key, item)    def get(self, timeout=5):        """获取对头， 如果没有到， 等待时间为timeout"""        item = self.__client.blpop(self.key, timeout=timeout)        return  item    def get_nowait(self):        item = self.__client.blpop(self.key)        return  itemif __name__ == '__main__':    q = RedisQueue('scores', host='172.25.254.18', port=6380)    for i in range(10):        q.put(i)    while True:        result = q.get(timeout=100)        print(result)        if not result:            break

06_集合与有序集合.py

项目实战: 分布式缓存服务实践: Redis实现排行榜功能在网页和APP中常常需要用到榜单的功能，对某个key-value的列表进行降序显示。当操作和查询并发大的时候，使用传统数据库就会遇到性能瓶颈，造成较大的时延。使用分布式缓存服务Redis，可以实现一个商品热销排行榜的功能。它的优势在于：    - 数据保存在缓存中，读写速度非常快。    - 提供字符串（String）、链表（List）、集合（Set）、哈希（Hash）等多种数据结构类型的存储。"""import randomdef productSalesRankDemo():    import redis    import uuid    PRODUCT_KINDS = 30    host = "127.0.0.1"    port = 6379    password = ''    key = "商品热销排行榜"    client = redis.StrictRedis(host=host, port=port, password=password)    if not client.exists(key):        products = {}        for count in range(PRODUCT_KINDS):            product_name = 'product-' + str(uuid.uuid4())            product_sale = random.randint(1000, 20000)            products[product_name] = product_sale        client.zadd(key, products)productSalesRankDemo()"""

07_管道pipeline优化程序.py

import redisredis_client = redis.StrictRedis(host='172.25.254.18', port=6380)pipe = redis_client.pipeline()pipe.set('name', 'westos')pipe.set('name', 'westos')pipe.set('name', 'westos')pipe.set('name', 'westos')pipe.set('name', 'westos')pipe.execute()"""

08_发送邮件.py

#设置服务器,用户名、口令以及邮箱的后缀import smtplibfrom email.mime.text import MIMETextfrom email.utils import formataddrsmtp_server = "smtp.163.com"from_username = '技术中心'mail_user = "[email protected]"#是开启smtp的授权吗不是真实的密码。mail_password = "westos123"#邮件主题的前缀mail_prefix = "[运维开发部]-"def send_email(to_addrs, subject, msg):    try:        # 将要发送的文本信息做MIME封装        msg = MIMEText(msg)        #格式化发件人名称        msg['From'] = formataddr([from_username, mail_user])        msg['To'] = to_addrs        msg['Subject'] = mail_prefix + subject        #1. 实例化smtp对象        server = smtplib.SMTP()        #2. 连接邮件服务器        server.connect(smtp_server)        #3. 登录        server.login(mail_user, mail_password)        #4. 发送邮件内容        server.sendmail(mail_user, to_addrs, msg.as_string())        #5. 关闭连接        server.quit()    except Exception as  e:        print(str(e))        return False    else:        return Trueif __name__ == '__main__':    send_email('[email protected]','寒假作业', '请与3月2日之前提交')    print("发送成功.....")