海量数据查找某个数
# 1、海量数据中找出中位数
比如说一个 500G 的文件,里面有long类型的乱序整数,但是内存只有 2G ,如何找出中位数。
首先,只有 2G的内存,是无法一次性处理500G的文件的
如果是 10亿 个int类型的数字呢?
10亿个int类型的数据,一次性加载到内存,需要 10 * 10^8 * 4B
约等于 4GB
内存 ,就是说 10亿个 int 类型的数据占用4GB的磁盘空间。
也无法一次性处理,所以只能切割,每次读取一部分的文件内容。
上次更新: 2025-02-21 06:04:57