实现敏感词汇过滤python,敏感词过滤程序
用谷歌编写敏感词过滤的工具主要提供检测用户昵称中是否存在敏感词,同时去除迁移字符的功能。
首先,可以将敏感词典保存在地图中。敏感单词请参考这里https://github.com/fw wdn/敏感停止-单词
在传递地图和昵称时,程序会检查昵称的每个子列,以确定它们是否在地图敏感词典中。复杂度o(Len(name )2)))))))
packageutiimport( github.com/pkg/errors )字符串)typefilterstruct { datastringmaxlimitlenint } funcnewkeywowors error)if len)str)maxlimitlen)return nil,errors .错误f(长度:%d,不可超过:%d ,len max limit len } return filter orf nil } func(f * filter)get data)string)return f。数据)函数)f *过滤器)过滤器关键字)关键字map[string]bor I { for j:=I 1;j=len(f . data);j { substr 3360=f.data [ I : j ] if _,found:=keywords[subStr];找到{错误=个错误。错误f(昵称违规,建议更正(} } return)func(f * filter)trimallcharset(ch[]string))错误c:=range ch { f . data=strings。如果len(f . data)==0 { err=errors,则替换(f . data,c,,-1)} .新)
郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。