完全开源免费。
支持海量的数据（最大支持256TB的数据）
支持数千个并发线程同时操作数据库。
介于关系数据库与内存数据库之间，使用方式与内存数据库类似
可以用来保存任意类型的键/值对（key/value）而且可以为一个键保存多个数据。
同时提供诸如C语言、C++、java、perl、Python等多种编程语言的API。
并支持大多数类Unix操作系统，Windows操作系统
Berkeley DB实际上是一个在硬盘上的hash表，我们可以使用压缩后的url字符串作为Key，而对于value可以用boolean，一个字节；实际上value是一个状态标识，减少value占用储存空间。任何直接向Berkeley DB添加url即可。当遇到重复的url时，他就会通过返回值告知我们。
更多详情请自行百度搜索Berkeley DB