解剖屎山,寻觅黄金之第二弹-全球热点
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。
在最开始,我的第一版实现是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
(资料图片仅供参考)
那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁
确实牛逼。
我基于上面的思路微改了下入口,代码最终演变成这样:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)
去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):
通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:
1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉
2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉
从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)
而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:
而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。
LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。
2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。
3、redis使用lua脚本来保证原子性和减少网络io的损耗
4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)
5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳
针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?
A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。
为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。
为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。
推荐项目最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。
毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。
如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。
仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin
我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟
VIP服务
标签:
推荐文章
- 解剖屎山,寻觅黄金之第二弹-全球热点
- 美国教授在水下生活100天后:“我的身体年轻了10岁”!
- 假期来了!岳阳楼区守护夜间消费市场安全
- 宋代诗人陈与义有诗(宋代诗人陈与义乘船出游时)
- 苍穹巨灵·内蒙古篇
- 洋葱炒土豆怎么做好吃? 今日热议
- 《黑暗荣耀》郑星一将演出古装电影新作《战,乱》,与车胜元、朴正民、姜栋元合作|全球新消息
- 谷歌反垄断案将如何影响人工智能技术的未来市场格局?-当前热文
- 腾讯游戏有自己的交易平台吗_腾讯游戏交易平台 是腾讯旗下的-今日精选
- 严正化不敢看《车贞淑医生》首播,被夸后中断录影爆哭半小时|环球新视野
- 观焦点:ie11 for xp(ie11 xp)
- 环球热文:青岛市地铁1号线_青岛地铁1号线什么时候开通
- 唤醒身体并击退负面情绪 《跑步穿过阴云密布》收录35个真实故事
- 22岁女孩拿快递失联已第9天 她是家里顶梁柱!此前地毯式搜寻无果!
- 动画电影《疯狂小世界》金日全国影院点映,本周末全国点映
- 牛肉饼的家常做法_牛肉的家常做法-全球要闻
- 焦点速看:固体药品存放在什么里使用固体药品一边用(固体药品存放在)
- 国内首条“丝路海运”电商快线开通首年进出口破100亿
- 2023农业机械化行业分析及行业主体规模分析|环球热消息
- 环球热文:空压机油气分离器工作原理
- 在二级制裁压力下,俄罗斯的“友好”国家将何去何从
- 这个全国区县级首创活动在东安湖体育公园开幕_世界观天下
- 今日讯!奇迹mu翅膀合成不是本职业(奇迹mu翅膀合成)
- 天天头条:诺贝尔经济学奖得主保罗·克鲁格曼称:美联储可能已经成功地在没有搞垮经济的情况下遏制了通货膨胀
- 辐射松是什么木头(辐射松) 世界热文
- 陕西一镇政府花370万建的民宿园,运营仅20余天即停业,园内民宿已被拆除
- 足字旁那个字怎么写(足字旁怎么打)|最新快讯
- 6 英尺是多高(6英尺是多长)
- 武汉挂牌21宗地块:17宗宅地起始总价超281亿元
- 青春不散场!萍乡这场毕业典礼真“走心”
- 新华全媒+|夜幕下,一个群体带动城市消费新热潮_全球热消息
- 多伦多海鲜自助餐厅多少钱一位(多伦多海鲜自助餐厅)
- 水淹道床影响列车运行!合肥发布情况通报
- 搜救犬被确诊淋巴瘤晚期,主人带它最后一次出门,小镇居民集体出动陪它散步向它告别|环球热门
- 致广大初学机动车驾驶学员的一封信 世界焦点
- 城事|天津11宗住宅地推介!在这三个片区
- 开赛!32支龙舟队齐聚遗爱湖,超燃“狂飙”!
- 【热闻】浙江一铁路旁工厂起火逼停列车 现场黑烟滚滚火光冲天!所幸无伤亡!
- payback偿还小说人工翻译(payback) 世界热门
- 20__年检验科年终总结优秀怎么写
- 广西启动2023年普通高校毕业生就业百日攻坚行动-世界头条
- 丝瓜不宜与什么一起吃呢
- 苹果官网查询序列号激活日期(苹果官网查询序列号)
- 今年端午假期或成近五年最火端午:消暑纳凉游受青睐
- 共展七彩新卷!普陀区开展“国际档案日”主题活动_今日热文
- 世界快看:“十年一遇”!数万人被疏散,加拿大山林野火为何失控?
- 【当前热闻】肌酐高吃什么能降下来(肌酐高可以吃哪些水果来降肌酐?)
- 每日一猜6月10日:哪款能重塑眼镜人士新体验
- 48个班!遂宁一公立学校今年9月投用
- 世界视点!关于铁路计次票、定期票 如何购买使用
- 西安又要下雨了!具体时间……
- 南方持续降雨 国家防总启动防汛四级应急响应_世界快看点
- 特色集市、非遗演出…… “南京非遗奇妙夜”启幕!_资讯推荐
- 英雄联盟PBE13.12版本电刀加强一览 全球通讯
最新资讯
- 民声丨快递外卖小哥也是基层社会治理生力军|世界快资讯
- 中越米轨国际联运开行列车超万列
- 杨紫年龄是多少(杨紫年龄)
- 阴阳师契灵镇墓兽怎么打 镇墓兽结契阵容打法攻略[多图]
- 当前通讯!联合国秘书长呼吁采取更强大的行动保护海洋
- 韩式大酱汤的正宗做法_大酱汤的做法家常
- 山东黄金(01787)就收购银泰黄金控制权收到港交所无意见函-天天观热点
- 绿康生化(002868.SZ)拟推2023年员工持股计划
- 光荣与梦想歌词完整版(光荣与梦想歌词)
- cad引线快捷键(引线快捷键)
- 海南大学退役军人教育学院揭牌成立
- 开润股份:6月7日公司高管高晓敏减持公司股份合计2000股|天天观天下
- 全球热讯:【发现最美 你评我论】陕西柳林:生态与产业融合发展 小小香菇“飘香”乡村振兴路
- 全球热文:上海两男子往车窗塞露骨小卡片被刑事拘留,警方:他们与诈骗分子勾结
- 海得控制:拟12.78亿元收购行芝达75%股权 并配套募资不超6.97亿元 天天热推荐
- 天天新消息丨新天绿能接待兴业证券等多家机构调研
- 长青科技:田相龄女士辞去公司第三届监事会监事职务_天天快看
- 每日热文:2023汽车金融公司贷款规模与发展前景
- 今日报丨php培训一般多长时间(吊车培训一般多长时间)
- 长白县农业农村局:加强技术指导 助力农业生产
- 快资讯丨香港设计师黄竞的“文博”之旅:从天马行空到落地有声
- 世界快播:首批路测牌照发放 无人驾驶加速落地 这些概念股机构关注
- 平板买前必看!华为MatePad系列618最高优惠700元:学习、轻办公总有一款适合你-今日快讯
- 战前|国安客战大连人谁都输不起 于大宝、张玉宁、王刚均缺阵|世界观焦点
- 长沙社保待遇领取时限规定
- 监管出手!多家券商和明星分析师被点名_每日看点
- 外媒:苏纳克称不会在访美期间见特朗普,因为“太忙了”
- 科普促健康 携手向未来——管城区外国语小学(集团)城东校区开展科普知识进校园活动
- 当前视讯!泰达股份:本次担保后 公司及控股子公司提供担保的余额为82.99亿元
- 盐城5000亩智慧农场收割,满满科技感
- 国网信通公司完成云上业务系统数据大规模迁移
- 福州老庙黄金多少钱一克(2023年6月8日)
- 上海到泰国机票多少米_上海到泰国机票 环球信息
- 今日最新!邀您感受物流搬运行业的未来,卡尔玛即将出席TOC欧洲展
- 新正大叫停8亿元收购隐情
- 全球关注:“文化+科技”展现奋进姿态 龙华乘数字之翼闪耀第十九届文博会
- 观天下!揭秘!高考试卷从命题到进考场全流程→
- 天天看点:陕西建立数字经济发展联席会议制度 主要职责有这些
- 全球热讯:直击|卡霍夫卡水电站决堤,大水涌入市区,居民带着财物撤离
- 【收评】尿素日内下跌2.63% 机构称国内各地区尿素现货价格小幅上调 基差环比走强-今日报
- 当前快报:河北省张家口市万全区卫健局:培训预防接种人员 加强预防接种管理
- 当前看点!国网元宝山区供电公司:到元宝山区高考考点开展保电专项检查
- 大连:多措并举 保驾护航 助力滨城莘莘学子逐梦高考
- 东丽区气象台发布雷雨大风蓝色预警/IV级/一般【2023-06-07】 每日报道
- 云南能投:三个光伏项目纳入市级统筹 公司不再推进后续相关工作
- 环球新消息丨(港澳台)多项数据显示台湾经济成长压力仍在
- 焦点信息:电动焦虑下的日系车企:丰田反击,日产提速,本田激进
- 荷兰警方在泽兰省截获多批可卡因|今日热议
- 消息!@ 全国游客,贵州国有A级景区门票五折优惠
- 三星、海尔供应商年入25亿冲刺IPO,老板儿子隐瞒供应商身份?_资讯推荐