hadoop 热数据 冷数据 冷热数据处理

正文

1.冷热端分离

缓存的命中率受多种因素影响，其中最重要的因素之一是缓存的大小。在实际应用中，经常会遇到数据集非常大的情况，如果将全部数据都放入缓存，那么缓存的命中率就会很低，从而影响系统的性能。此时可以考虑采用冷热端分离的策略。

所谓冷热端分离，就是将数据集分为两个部分：冷数据和热数据。冷数据指的是访问频率低的数据，可以不用放入缓存中，而热数据指的是访问频率高的数据，应该优先放入缓存中。通过冷热端分离，可以有效地提高缓存的命中率，从而提升系统的性能。

2.重排序

在实际应用中，数据访问的顺序往往并不是随机的，而是有一定的规律。如果按照这种规律来访问数据，可以有效地提高缓存的命中率。因此，可以采用重排序的策略来优化缓存。

所谓重排序，就是将数据按照一定的规则重新排序，使得访问频率高的数据排在前面，访问频率低的数据排在后面。这样，在访问数据时就可以先访问排在前面的数据，从而提高缓存的命中率。

需要注意的是，重排序的策略需要根据具体的数据集来确定，不同的数据集可能需要不同的重排序策略。同时，重排序可能会增加一定的计算量，需要在性能和命中率之间做出平衡。

举个例子

Android 中使用冷热端分离和重排序策略提高图片加载缓存命中率的例子

class ImageLoader(private val context: Context) {
 private val memoryCache: LruCache<String, Bitmap>
 private val diskCache: DiskLruCacheinit {
 // 计算可用的最大内存
 val maxMemory = (Runtime.getRuntime().maxMemory() / 1024).toInt()
 // 取可用内存的 1/8 作为缓存大小
 val cacheSize = maxMemory / 8
 memoryCache = object : LruCache<String, Bitmap>(cacheSize) {
 override fun sizeOf(key: String, value: Bitmap): Int {
 // 计算 Bitmap 的大小，单位是 KB
 return value.byteCount / 1024
 }
 }
 // 获取磁盘缓存路径
 val cacheDir = context.externalCacheDir?.path ?: context.cacheDir.path
 val diskCacheDir = File(cacheDir + File.separator + “image_cache”)
 if (!diskCacheDir.exists()) {
 diskCacheDir.mkdirs()
 }
 diskCache = DiskLruCache.open(diskCacheDir, 1, 1, 10 * 1024 * 1024)
 }//
 fun displayImage(url: String, imageView: ImageView) {
 val bitmap = memoryCache.get(url)
 if (bitmap != null) {
 imageView.setImageBitmap(bitmap)
 return
 }
 loadFromDiskCache(url, imageView)
 loadFromNetwork(url, imageView)
 }private fun loadFromDiskCache(url: String, imageView: ImageView) {
 var bitmap: Bitmap? = null
 try {
 val snapshot = diskCache.get(url)
 if (snapshot != null) {
 val inputStream = snapshot.getInputStream(0)
 val fileDescriptor = (inputStream as FileInputStream).fd
 bitmap = BitmapFactory.decodeFileDescriptor(fileDescriptor)
 if (bitmap != null) {
 memoryCache.put(url, bitmap)
 imageView.setImageBitmap(bitmap)
 }
 }
 } catch (e: IOException) {
 e.printStackTrace()
 }
 }private fun loadFromNetwork(url: String, imageView: ImageView) {
 // 发送网络请求获取图片数据
 // …// 解码图片数据并显示
 val bitmap = decodeBitmapFromData(imageData, reqWidth, reqHeight)
 if (bitmap != null) {
 memoryCache.put(url, bitmap)
 try {
 val editor = diskCache.edit(url)
 if (editor != null) {
 val outputStream = editor.newOutputStream(0)
 bitmap.compress(Bitmap.CompressFormat.PNG, 100, outputStream)
 editor.commit()
 }
 } catch (e: IOException) {
 e.printStackTrace()
 }
 imageView.setImageBitmap(bitmap)
 }
 }private fun decodeBitmapFromData(data: ByteArray, reqWidth: Int, reqHeight: Int): Bitmap? {
 // 解码图片数据并返回 Bitmap 对象