mongodb插入数据环节避免数据重复

mongo 去重

import pymongo

client = pymongo.MongoClient()
collection=client.t.test

# collection.insert({'title':'python','name':'deng','age':23})

data={'title':'go','name':'wang','age':45,'url':1}
collection.update({'url':1},{'$set':data},True)
# 上面的案例，表示如何url重复的话，url不更新，其他字典如果数据不一致就会更新。
# 对于下载这种任务，建议直接使用 collection.update({'url':1},{'$set':data},False)

参考链接
https://www.codeprj.com/blog/a6a1741.html