首先，不管你是放在服务器上运行还是在工作战上，如果你把1G得数据同时掉到内存里，那可也不是闹着玩的（不管你用什么语言)，估计工作站是肯定趴下了。如果你分批存取，那你还是得有数据库存取的花费，也就是说，还得依赖数据平台。如果你说把一次取数据，放硬盘上，那其实数据库也是能建立本地数据缓冲的、
如果你想自己编得话，你有更好得算法吗？ 举个列子，你用Quickstore(C里最常用的算法），100个数据比较就是（100*log2）200次，如果一次比较需要0.0001秒，比较100个就是0.02秒，你1G有多少数据，要花多少时间你就自己算吧。
所以建议，在你有很好的算法前，你应该还是着重点在怎样最合理的设计数据库，及怎样分散进行数据比较，数据分流等等，因为你编的比较方法不一定比数据库系统带的query, stored precedure等算法更快。而你用数据库和你自己编的差别就是数据存取的消耗。但是如果程序编得好，服务器和网络快点，还是可以接受的。

故，结论是，就算你自己编，效果不会太好，建议将着重点放在数据分析上，即最大可能的进行数据分流等等方面。