当前位置 博文首页 > Go语言中通过Lua脚本操作Redis的方法

    Go语言中通过Lua脚本操作Redis的方法

    作者:吃土的汉子 时间:2021-06-16 18:25

    前言

    为了在我的一个基本库中降低与Redis的通讯成本,我将一系列操作封装到LUA脚本中,借助Redis提供的EVAL命令来简化操作。

    EVAL能够提供的特性:

    • 可以在LUA脚本中封装若干操作,如果有多条Redis指令,封装好之后只需向Redis一次性发送所有参数即可获得结果
    • Redis可以保证Lua脚本运行期间不会有其他命令插入执行,提供像数据库事务一样的原子性
    • Redis会根据脚本的SHA值缓存脚本,已经缓存过的脚本不需要再次传输Lua代码,减少了通信成本,此外在自己代码中改变Lua脚本,执行时Redis必定也会使用最新的代码。

    导入常见的Go库如 "github.com/go-redis/redis",就可以实现以下代码。

    生成一段Lua脚本

    // KEYS: key for record
    // ARGV: fieldName, currentUnixTimestamp, recordTTL
    // Update expire field of record key to current timestamp, and renew key expiration
    var updateRecordExpireScript = redis.NewScript(`
    redis.call("EXPIRE", KEYS[1], ARGV[3])
    redis.call("HSET", KEYS[1], ARGV[1], ARGV[2])
    return 1
    `)

    该变量创建时,Lua代码不会被执行,也不需要有已存的Redis连接。

    Redis提供的Lua脚本支持,默认有KEYS、ARGV两个数组,KEYS代表脚本运行时传入的若干键值,ARGV代表传入的若干参数。由于Lua代码需要保持简洁,难免难以读懂,最好为这些参数写一些注释

    注意:上面一段代码使用``跨行,`所在的行虽然空白回车,也会被认为是一行,报错时不要看错代码行号。

    运行一段Lua脚本

     updateRecordExpireScript.Run(c.Client, []string{recordKey(key)}, 
             expireField,
             time.Now().UTC().UnixNano(), int64(c.opt.RecordTTL/time.Second)).Err()

    运行时,Run将会先通过EVALSHA尝试通过缓存运行脚本。如果没有缓存,则使用EVAL运行,这时Lua脚本才会被整个传入Redis。

    Lua脚本的限制

    • Redis不提供引入额外的包,例如os等,只有redis这一个包可用。
    • Lua脚本将会在一个函数中运行,所有变量必须使用local声明
    • return返回多个值时,Redis将会只给你第一个

    脚本中的类型限制

    • 脚本返回nil时,Go中得到的是err = redis.Nil(与Get找不到值相同)
    • 脚本返回false时,Go中得到的是nil,脚本返回true时,Go中得到的是int64类型的1
    • 脚本返回{"ok": ...}时,Go中得到的是redis的status类型(true/false)
    • 脚本返回{"err": ...}时,Go中得到的是err值,也可以通过return redis.error_reply("My Error")达成
    • 脚本返回number类型时,Go中得到的是int64类型
    • 传入脚本的KEYS/ARGV中的值一律为string类型,要转换为数字类型应当使用to_number

    如果脚本运行了很久会发生什么?

    Lua脚本运行期间,为了避免被其他操作污染数据,这期间将不能执行其它命令,一直等到执行完毕才可以继续执行其它请求。当Lua脚本执行时间超过了lua-time-limit时,其他请求将会收到Busy错误,除非这些请求是SCRIPT KILL(杀掉脚本)或者SHUTDOWN NOSAVE(不保存结果直接关闭Redis)

    更多内容参考以下地址,我这里主要是根据使用Go的经验提供一些总结。https://redis.io/commands/eval

    一段更“复杂”的脚本,它要求在获取一个key值时,如果该值访问较多,就延长生存周期。此外还要比较更新时间,如果不需要更新,则直接返回取到的值,否则返回redis.Nil

    // KEYS: rec:key, key
    // ARGV: currentUnixTimestamp, hotHit, recordTTL, ttl
    // When there's a hit,
    var fetchRecordScript = redis.NewScript(local value = redis.call("GET", KEYS[2]) if(value == nil) then return nil end local hit = redis.call("HINCRBY", KEYS[1], "hit", 1) redis.call("EXPIRE", KEYS[1], ARGV[3]) local minHotHit = tonumber(ARGV[2]) local keyTTL = tonumber(ARGV[4]) if(hit > minHotHit)then keyTTL = keyTTL * 2 end redis.call("EXPIRE", KEYS[2], keyTTL) local expire = tonumber(redis.call("HGET", KEYS[1], "expire")) local unixTime = tonumber(ARGV[1]) if(expire == nil or expire < unixTime) then return nil else return value end)
    // KEYS: key for record
    // ARGV: fieldName, currentUnixTimestamp, recordTTL
    // Update expire field of record key to current timestamp, and renew key expiration
    var updateRecordExpireScript = redis.NewScript(redis.call("EXPIRE", KEYS[1], ARGV[3]) redis.call("HSET", KEYS[1], ARGV[1], ARGV[2]) return 1)

    总结

    js