当前位置: 过滤机 >> 过滤机资源 >> MDC学术分享布隆过滤器优
年3月18日,海量数据计算研究中心硕士生朱锐在线上为大数据计算未来技术团队分享“布隆过滤器优化”学术报告。主讲人介绍了布隆过滤器的概念、以及现有使用机器学习模型优化的研究现状并对其中有代表性的研究进行详细介绍。
首先,主讲人简要介绍了布隆过滤器的基本概念,布隆过滤器是一种数据库中常见的存在索引,具有FNR为0的特点,但是由于占用内存太大,于是提出了学习布隆过滤器的概念,通过将布隆过滤器看作一个二元概率分类任务和学习hash函数两种方式降低布隆过滤器的内存占用。
由于学习布隆过滤器不适用于动态数据集,当插入数据过多时,学习布隆过滤器的FPR急剧增大,因此提出了稳定学习布隆过滤器。稳定学习布隆过滤器通过将学习模型预测值划分为g个子组,每组使用一个稳定布隆过滤器,既解决了学习布隆过滤器不支持数据插入的问题,同时结果也由原来只有分类器决定变化为分类器和备份布隆过滤器共同决定,不完全依赖费雷器给出的结果,增加了模型的鲁棒性。
最后,主讲人分享了自己在布隆过滤器优化方面的研究成果。
以上就是本次学术分享的全部内容啦,长按下方
转载请注明:http://www.aideyishus.com/lkzp/256.html