YYImage 设计思路,实现细节剖析

前言

图片的历史早于文字,是最原始的信息传递方式。六书中的象形文构造思想就是用文字的线条或笔画,把要表达物体的外形特征,具体地勾画出来。

许慎说文解字》云:“象形者,画成其物,随体诘诎,日、月是也。”

现代社会的信息传递中,图片仍然是不可或缺的一环,不论是报纸、杂志、漫画等实体刊物还是生活中超市地铁广告活动,都会有专门的配图抓人眼球。

在移动端 App 中,图片通常占据着重要的视觉空间,作为 iOS 开发来讲,所有的 App 都有精心设计的 AppIcon 陈列在 SpringBoard 中,打开任意一款主流 App 都少不了琳琅满目的图片搭配。

YYImage 是一款功能强大的 iOS 图像框架(该项目是 YYKit 组件之一),支持目前市场上所有主流的图片格式的显示与编/解码,并且提供高效的动态内存缓存管理,以保证高性能低内存的动画播放。

YYKit 的作者 @ibireme 对于 iOS 图片处理写有两篇非常不错的文章,推荐各位读者在阅读本文之前查阅。

本文引用代码均为 YYImage v1.0.4 版本源码,文章旨在剖析 YYImage 的架构思想以及设计思路并对笔者在阅读源码过程中发现的有趣实现细节探究分享,不会逐行翻译源码,建议对源码实现感兴趣的同学结合 YYImage v1.0.4 版本源码食用本文~

索引

  • YYImage 简介
  • YYImage, YYFrameImage, YYSpriteSheetImage
  • YYAnimatedImageView
  • YYImageCoder
  • 总结
  • 扩展阅读

YYImage 简介

YYImage 是一款功能强大的 iOS 图像框架,支持当前市场主流的静/动态图像编/解码与动态图像的动画播放显示,其具有以下特性:

  • 支持以下类型动画图像的播放/编码/解码: WebP, APNG, GIF。
  • 支持以下类型静态图像的显示/编码/解码: WebP, PNG, GIF, JPEG, JP2, TIFF, BMP, ICO, ICNS。
  • 支持以下类型图片的渐进式/逐行扫描/隔行扫描解码: PNG, GIF, JPEG, BMP。
  • 支持多张图片构成的帧动画播放,支持单张图片的 sprite sheet 动画。
  • 高效的动态内存缓存管理,以保证高性能低内存的动画播放。
  • 完全兼容 UIImage 和 UIImageView,使用方便。
  • 保留可扩展的接口,以支持自定义动画。
  • 每个类和方法都有完善的文档注释。

YYImage 架构分析

通过 YYImage 源码可以按照其与 UIKit 的对应关系划分为三个层级:

层级 UIKit YYImage
图像层 UIImage YYImage, YYFrameImage, YYSpriteSheetImage
视图层 UIImageView YYAnimatedImageView
编/解码层 ImageIO.framework YYImageCoder
  • 图像层,把不同类型的图像信息封装成类并提供初始化和其他便捷接口。
  • 视图层,负责图像层内容的显示(包含动态图像的动画播放)工作。
  • 编/解码层,提供图像底层支持,使整个框架得以支持市场主流的图片格式。

Note: ImageIO.framework 是 iOS 底层实现的图片编/解码库,负责管理颜色和访问图像元数据。其内部的实现使用了第三方编/解码库(如 libpng 等)并对第三方库进行调整优化。除此之外,iOS 还专门针对 JPEG 的编/解码开发了 AppleJPEG.framework,实现了性能更高的硬编码和硬解码。

YYImage, YYFrameImage, YYSpriteSheetImage

先来介绍 YYImage 库中图像层的三个类,它们分别是:

  • YYImage
  • YYFrameImage
  • YYSpriteSheetImage

YYImage

YYImage 是一个显示动态图片数据的高级别类,其继承自 UIImage 并对 UIImage 做了扩展以支持 WebP,APNG 和 GIF 格式的图片解码。它还支持 NSCoding 协议可以对多帧图像数据进行 archive 和 unarchive 操作。

1
2
3
4
5
6
7
8
9
10
11
12
13
@interface YYImage : UIImage <YYAnimatedImage>

+ (nullable YYImage *)imageNamed:(NSString *)name; // 不同于 UIImage,此方法无缓存
+ (nullable YYImage *)imageWithContentsOfFile:(NSString *)path;
+ (nullable YYImage *)imageWithData:(NSData *)data;
+ (nullable YYImage *)imageWithData:(NSData *)data scale:(CGFloat)scale;

@property (nonatomic, readonly) YYImageType animatedImageType; // 图像数据类型
@property (nullable, nonatomic, readonly) NSData *animatedImageData; // 动态图像的元数据
@property (nonatomic, readonly) NSUInteger animatedImageMemorySize; // 多帧图像内存占用量
@property (nonatomic) BOOL preloadAllAnimatedImageFrames; // 预加载所有帧(到内存)

@end

YYImage 提供了类似 UIImage 的初始化方法,公开了一些属性便于我们检测和控制其内存使用。

值得一提的是 YYImage 的 imageNamed: 初始化方法并不支持缓存。因为其 imageNamed: 内部实现并不同于 UIImage 的 imageNamed: 方法,YYImage 中的实现流程如下:

  • 推测出给定图像资源路径
  • 拿到路径中的图像数据(NSData)
  • 调用 YYImage 的 initWithData:scale: 方法初始化

YYImage 的私有变量部分也比较简单,相信大家可以根据上面暴露出的属性和接口猜得到哈。

1
2
3
4
5
6
@implementation YYImage {
YYImageDecoder *_decoder; // 解码器
NSArray *_preloadedFrames; // 预加载的图像帧
dispatch_semaphore_t _preloadedLock; // 预加载锁
NSUInteger _bytesPerFrame; // 内存占用量
}

其内部有一把锁 dispatch_semaphore_t,我们知道 dispatch_semaphore_t 当信号量为 1 时可以当做锁来使用,在不阻塞时其作为锁的效率非常高。这里使用 _preloadedLock 的主要目的是保证 _preloadedFrames 的读写,由于 _preloadedFrames 的读写过程是在内存中完成的,操作耗时不会太多,所以不会长时间阻塞,这种情况使用 dispatch_semaphore_t 非常合适。

嘛~ _preloadedFrames 对应 preloadAllAnimatedImageFrames 属性,开启预加载所有帧到内存的话,_preloadedFrames 作为一个数组会保存所有帧的图像。_bytesPerFrame 则对应 animatedImageMemorySize 属性,在初始化 YYImage 时,如果帧总数超过 1 则会计算 _bytesPerFrame 的大小。

1
2
3
4
5
if (decoder.frameCount > 1) {
_decoder = decoder;
_bytesPerFrame = CGImageGetBytesPerRow(image.CGImage) * CGImageGetHeight(image.CGImage);
_animatedImageMemorySize = _bytesPerFrame * decoder.frameCount;
}

其实 YYImage 中还有一些实现也比较有趣,比如 animatedImageDurationAtIndex: 的实现中如果取到 <= 10 ms 的时长会替换为 100 ms,并在 注释 中解释了为什么(一定要点进去看啊,笑~)。

YYFrameImage

YYFrameImage 是专门用来显示基于帧的动画图像类,其也是 UIImage 的子类。YYFrameImage 仅支持系统图片格式例如 png 和 jpeg。

Note: 使用 YYFrameImage 显示动画图像同样要基于 YYAnimatedImageView 播放。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
@interface YYFrameImage : UIImage <YYAnimatedImage>

- (nullable instancetype)initWithImagePaths:(NSArray<NSString *> *)paths
oneFrameDuration:(NSTimeInterval)oneFrameDuration
loopCount:(NSUInteger)loopCount;
- (nullable instancetype)initWithImagePaths:(NSArray<NSString *> *)paths
frameDurations:(NSArray<NSNumber *> *)frameDurations
loopCount:(NSUInteger)loopCount;
- (nullable instancetype)initWithImageDataArray:(NSArray<NSData *> *)dataArray
oneFrameDuration:(NSTimeInterval)oneFrameDuration
loopCount:(NSUInteger)loopCount;
- (nullable instancetype)initWithImageDataArray:(NSArray<NSData *> *)dataArray
frameDurations:(NSArray *)frameDurations
loopCount:(NSUInteger)loopCount;

@end

YYFrameImage 可以把静态图片类型如 png 和 jpeg 格式的静态图像用帧切换的方式以动态图片的形式显示,并且提供了 4 个常用的初始化方法方便我们使用。

YYFrameImage 内部有一些基本的变量分别对应于其暴露的 4 个常用初始化接口:

1
2
3
4
5
6
7
@implementation YYFrameImage {
NSUInteger _loopCount;
NSUInteger _oneFrameBytes;
NSArray *_imagePaths;
NSArray *_imageDatas;
NSArray *_frameDurations;
}

YYFrameImage 的实现代码非常简单,初始化方法大致可以分为以下步骤:

  • 入参校验
  • 根据入参取到首张图片
  • 用首图初始化 _oneFrameBytes ,如入参初始化 _imageDatas_frameDurations_loopCount
  • UIImageinitWithCGImage:scale:orientation: 初始化并返回初始化结果

YYSpriteSheetImage

YYSpriteSheetImage 是用来做 Spritesheet 动画显示的图像类,它也是 UIImage 的子类。

关于 Spritesheet 可能做过游戏开发或者以前鼓捣过简单网页游戏 Demo 的同学会很熟悉,其动画原理是把一个动画过程分解为多个动画帧,按照顺序将这些动画帧排布在一张大的画布中,播放动画时只需要按照每一帧图像的尺寸大小以及对应索引去画布中提取对应的帧替换显示以达到人眼判定动画的效果,点击
An Introduction to Spritesheet Animation
或者 What is a sprite sheet? 了解更多关于 Spritesheet 动画的信息。

Note: 关于 SpriteSheet 素材的制作有一款工具 SpriteSheetMaker 推荐使用。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
@interface YYSpriteSheetImage : UIImage <YYAnimatedImage>

// 初始化方法,这个第一次接触 Spritesheet 的同学可能会觉得比较繁琐
- (nullable instancetype)initWithSpriteSheetImage:(UIImage *)image
contentRects:(NSArray<NSValue *> *)contentRects
frameDurations:(NSArray<NSNumber *> *)frameDurations
loopCount:(NSUInteger)loopCount;

@property (nonatomic, readonly) NSArray<NSValue *> *contentRects; // 帧位置信息
@property (nonatomic, readonly) NSArray<NSValue *> *frameDurations; // 帧持续时长
@property (nonatomic, readonly) NSUInteger loopCount; // 循环数

// 根据索引找到对应帧 CALayer 的位置
- (CGRect)contentsRectForCALayerAtIndex:(NSUInteger)index;

@end

其中初始化方法的入参为 SpriteSheet 画布(包含所有动画帧的大图)image,每一帧的位置 contentRects,每一帧对应的持续显示时间 frameDurations,循环次数 loopCount,初始化示例在 YYImage 源文件 YYSpriteSheetImage.h 注释中有写。

Note: 下文中要讲的 YYAnimatedImageView 中定义了 YYAnimatedImage 协议,这个协议中有一个可选方法 animatedImageContentsRectAtIndex: 就是为 YYSpriteSheetImage 量身打造的。

这里需要提一下 contentsRectForCALayerAtIndex: 接口会根据索引找到对应帧的 CALayer 位置,该接口返回一个由 0.0~1.0 之间的数值组成的图层定位 LayerRect,如果在查找位置过程中发现异常则返回 CGRectMake(0, 0, 1, 1),其内部实现大体步骤:

  • 校验入参索引是否超过 SpriteSheet 分割帧总数,超过返回 CGRectMake(0, 0, 1, 1)
  • 没超过则通过 YYAnimatedImage 协议的 animatedImageContentsRectAtIndex: 方法找到对应索引的真实位置 RealRect
  • 通过真实位置 RealRect 与 SpriteSheet 画布的比算错 0.0~1.0 之间的值,得到指定索引帧的逻辑定位 LogicRect
  • 通过 CGRectIntersection 方法计算逻辑定位 LogicRect 与 CGRectMake(0, 0, 1, 1) 的交集,确保逻辑定位没有超出画布的部分
  • 将处理后的逻辑定位 LogicRect 作为图层定位 LayerRect 返回

返回的 LayerRect 作为对应索引帧的画布内相对位置存在,结合画布就可以定位到对应帧图像的具体尺寸和位置。

YYAnimatedImageView

人眼中呈现的动画是由一幅幅内容连贯的图像以较短时间按顺序替换形成的,所以要显示动画只需要知道动画顺序中每一帧图像以及对应的显示时间等信息即可。YYImage 中对应于 UIImage 层级的内容(YYImage, YYFrameImage, YYSpriteSheetImage)在上文已经介绍过了,虽然它们之间存在内容和形式上的差异,但是对于人眼动画呈现的原理却是不变的。

YYAnimatedImageView 是 YYImage 的重要组成,它是 UIImageView 的子类,负责 YYImage 图像层中不同的图像类的视图显示(包含动态图像的动画播放),其内部包含 YYAnimatedImage 协议以及 YYAnimatedImageView 自身两部分。

YYAnimatedImage 协议

上文提到不论是 YYImage, YYFrameImage, YYSpriteSheetImage 还是以后可能会扩展的图像类,虽然它们之间存在内容和形式上的差异,但是对于人眼动画呈现的原理却是不变的。

YYAnimatedImage 协议就是在不影响原来图像类的情况下把不同图像类之间的共性找出来(求同存异?笑),以统一化的接口将人眼动画呈现所需的基本信息输出给 YYAnimatedImageView 使用的协议。

Note: 作为图像类须遵循 YYAnimatedImage 协议以便可以使用 YYAnimatedImageView 播放动画。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
@protocol YYAnimatedImage <NSObject>

@required
// 动画帧总数
- (NSUInteger)animatedImageFrameCount;
// 动画循环次数,0 表示无限循环
- (NSUInteger)animatedImageLoopCount;
// 每帧字节数(在内存中),可能用于优化内存缓冲区大小
- (NSUInteger)animatedImageBytesPerFrame;
// 返回给定特殊索引对应的帧图像,这个方法可能在异步线程中调用
- (nullable UIImage *)animatedImageFrameAtIndex:(NSUInteger)index;
// 返回给定特殊索引对应的帧图像对应的显示持续时长
- (NSTimeInterval)animatedImageDurationAtIndex:(NSUInteger)index;

@optional
// 针对 Spritesheet 动画的方法,用于显示某一帧图像在 Spritesheet 画布中的位置
- (CGRect)animatedImageContentsRectAtIndex:(NSUInteger)index;

@end

上文提到过可选实现接口 animatedImageContentsRectAtIndex: 是专为 Spritesheet 动画设计的。

像这样规定一个协议,使不相关的类遵循此协议拥有统一的功能接口方便另一个类调用的设计思想我们在自己日常项目的开发过程中很多场景都可以用到,例如可以封装一个 TableView,设计一个 TableViewCell 协议,让所有 TableViewCell 都实现这个协议以拥有统一的功能接口,然后我们封装的 TableView 类就可以统一的使用这些 TableViewCell 显示数据啦,省去了反复写相同功能 UITableView 的劳动力(实际应用场景很多,这里只是简单举例,抛砖引玉)。

YYAnimatedImageView

上文提到过 YYAnimatedImageView 作为 YYImage 框架中的图片视图层,上接图像层,下启编/解码底层,是枢纽一般的存在(承上启下啊有木有?),我们需要重点研究其内部实现:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
@interface YYAnimatedImageView : UIImageView

// 如果 image 为多帧组成时,自动赋值为 YES,可以在显示和隐藏时自动播放和停止动画
@property (nonatomic) BOOL autoPlayAnimatedImage;
// 当前显示的帧(从 0 起始),设置新值后会立即显示对应帧,如果新值无效则此方法无效
@property (nonatomic) NSUInteger currentAnimatedImageIndex;
// 当前是否在播放动画
@property (nonatomic, readonly) BOOL currentIsPlayingAnimation;
// 动画定时器所在的 runloop mode,默认为 NSRunLoopCommonModes,关乎动画定时器的触发
@property (nonatomic, copy) NSString *runloopMode;
// 内部缓存区的最大值(in bytes),默认为 0(动态),如果有值将会把缓存区限制为值大小,当收到内存警告或者 App 进入后台时,缓存区将会立即释放并且在适时的时候回复原状
@property (nonatomic) NSUInteger maxBufferSize;

@end

额…出乎意料的简单呢~ 只有一些属性暴露出来以便我们在使用过程中实时查看动画的播放状态以及内存使用情况。笔者看源码总结出一条经验,即如果某个组件在库中占据重要地位,其 .h 文件中暴露的内容越是简单,其 .m 内部实现就越是复杂

通过 runloopMode 属性大家用猜的也应该可以猜出 YYAnimatedImageView 内部实现动画的原理离不开 RunLoop,而且极有可能是用定时器 NSTimer 或者 CADisplayLink 实现的。下面我们来对 YYAnimatedImageView 的实现剖析,验证一下我们刚才的猜想。

YYAnimatedImageView 的实现剖析

YYAnimatedImageView 内部实现源码很有趣,有很多值得分享的地方。不过为了不把文章写成 MarkDown 编辑器文(笑~)笔者不会逐行翻译源码。读者如果想要知道实现的细节建议结合文章去翻阅源码。相信有了文章梳理的思路源码看起来应该不会有太大的困难,文章还是重在传播实现思想和一些值得分享的技巧。

我们先简单看一下 YYAnimatedImageView 的内部结构,方便后面分析实现思路时大家脑中对 YYAnimatedImageView 的结构提前有一个大概的认识。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
@interface YYAnimatedImageView() {
@package
UIImage <YYAnimatedImage> *_curAnimatedImage; ///< 当前图像

dispatch_once_t _onceToken; ///< 用于确保初始化代码只执行一次
dispatch_semaphore_t _lock; ///< 信号量锁(用于 _buffer)
NSOperationQueue *_requestQueue; ///< 图片请求队列,串行

CADisplayLink *_link; ///< 帧转换
NSTimeInterval _time; ///< 上一帧之后的时间

UIImage *_curFrame; ///< 当前帧
NSUInteger _curIndex; ///< 当前帧索引
NSUInteger _totalFrameCount; ///< 帧总数

BOOL _loopEnd; ///< 是否在循环末尾
NSUInteger _curLoop; ///< 当前循环次数
NSUInteger _totalLoop; ///< 总循环次数, 0 表示无穷

NSMutableDictionary *_buffer; ///< 帧缓冲区
BOOL _bufferMiss; ///< 是否丢帧,在上面 _link 定时执行的 step 函数中从帧缓冲区读取下一帧图片时如果没读到,则视为丢帧
NSUInteger _maxBufferCount; ///< 最大缓冲计数
NSInteger _incrBufferCount; ///< 当前允许的缓存区计数(将逐步增加)

CGRect _curContentsRect; ///< 针对 YYSpriteSheetImage
BOOL _curImageHasContentsRect; ///< 图像类是否实现了 animatedImageContentsRectAtIndex: 接口
}
@property (nonatomic, readwrite) BOOL currentIsPlayingAnimation;
- (void)calcMaxBufferCount; // 动态调节缓冲区最大限制 _maxBufferCount
@end

可以看到 YYAnimatedImageView 内部结构比 .h 中暴露的属性要复杂的多,而 CADisplayLink *_link 属性也证实了我们之前关于 .h 中 runloopMode 属性的猜想。

YYAnimatedImageView 内部的初始化没什么特别之处,初始化函数中会设置图片,当判定图片有更改时会依照下面 4 步去处理:

  • 改变图片
  • 重置动画
  • 初始化动画参数
  • 重绘

Note: 这样可以保证 YYAnimatedImageView 的图片更改时都会执行上面的步骤为新的图片初始化配套的新动画参数并且重绘,而重置动画实现中会使用到上面的 dispatch_once_t _onceToken; 以确保某些内部变量的创建以及对 App 内存警告和进入后台的通知观察代码只执行一次。

YYAnimatedImageView 使图片动起来是依靠 CADisplayLink *_link; 变量切换帧图像,其内部的实现逻辑可以简单理解为:

  • 根据当前帧索引推出下一帧索引
  • 使用下一帧索引去帧缓冲区尝试获取对应帧图像
  • 如果找到对应帧图像则使用其重绘
  • 如果没找到则根据条件向图片请求队列加入请求操作(向图片缓冲区录入之后的帧图像数据)

嘛~ 这里面有一些值得一提的实现细节哈!

  • YYAnimatedImageView 实现中当 _curIndex 即当前帧索引修改时在修改代码前后加入了 willChangeValueForKey:didChangeValueForKey: 方法以支持 KVO
  • 对帧缓冲区 _buffer 的操作都使用 _lock 上锁
  • 通过将图片请求队列 _requestQueuemaxConcurrentOperationCount 设置为 1 使图片请求队列成为串行队列(最大并发数为 1)
  • 图片请求队列中加入的操作均为 _YYAnimatedImageViewFetchOperation
  • 为了避免使用 CADisplayLink 可能造成的循环引用设计了 _YYImageWeakProxy

先看一下 _YYAnimatedImageViewFetchOperation 的源码:

1
2
3
4
5
6
7
8
9
@interface _YYAnimatedImageViewFetchOperation : NSOperation
@property (nonatomic, weak) YYAnimatedImageView *view;
@property (nonatomic, assign) NSUInteger nextIndex;
@property (nonatomic, strong) UIImage <YYAnimatedImage> *curImage;
@end

@implementation _YYAnimatedImageViewFetchOperation
- (void)main {//...}
@end

_YYAnimatedImageViewFetchOperation 继承自 NSOperation 类,是自定义操作类,作者将其操作内容实现写在了 main 中,代码太长而且我觉得贴出来不仅不会帮助读者理解反而会因为片面的源码实现影响读者对 YYAnimatedImageView 的整体实现思路理解(因为大量贴源码会使文章生涩很多,而且会把读者注意力转移到某一个实现),这里简单描述一下 main 函数内部实现逻辑:

  • 判断帧缓冲区大小
  • 扫描下一帧以及当前允许缓冲范围内之后的帧图片
  • 如果发现丢失的帧则尝试重新获取帧图像并加入到帧缓冲

嘛~ 不贴源码归不贴源码,该注意的细节还是需要列出来的(笑)。

  • 操作中对于 view 缓冲区的操作也都上了锁
  • 操作由于是放入图片请求队列中进行的,内部有对 isCancelled 做判断,如果操作已经被取消(发生在更改图片、停止动画、手动更改当前帧、收到内存警告或 App 进入后台等)则需要及时跳出
  • 对于新的线程优先级只在 main 方法范围内有效,所以推荐把操作的实现放在 main 中而非 start(如需覆盖 start 方法时,需要关注 isExecutingisFinished 两个 key paths)

YYAnimatedImageView 内部设计了 _YYImageWeakProxy 来避免使用 NSTimer 或者 CADisplayLink 可能造成的循环引用问题,_YYImageWeakProxy 内部实现也比较简单,继承自 NSProxy,关于 NSProxy 可以查看官方文档以了解更多。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
@interface _YYImageWeakProxy : NSProxy
@property (nonatomic, weak, readonly) id target;
- (instancetype)initWithTarget:(id)target;
+ (instancetype)proxyWithTarget:(id)target;
@end

@implementation _YYImageWeakProxy
// ...
- (id)forwardingTargetForSelector:(SEL)selector {
return _target;
}
- (void)forwardInvocation:(NSInvocation *)invocation {
void *null = NULL;
[invocation setReturnValue:&null];
}
- (NSMethodSignature *)methodSignatureForSelector:(SEL)selector {
return [NSObject instanceMethodSignatureForSelector:@selector(init)];
}
// ...
@end

上面贴出的源码省略了比较基础的实现部分,_YYImageWeakProxy 内部弱引用一个对象 target,对于 _YYImageWeakProxy 的一些基本操作包含 hashisEqual 这些统统都转到 target 上,并且使用 forwardingTargetForSelector: 消息重定向将不能响应的运行时消息也重定向给 target 来响应。

Emmmmm..那么问题来了,既然都消息重定向给 target 了还要消息转发干嘛?因为要避免循环引用问题所以对 target 使用弱引用,期间无法保证 target 一定存在,所以 forwardingTargetForSelector: 方法可能返回 nil,接着在 Runtime 消息转发中借用 init 消息返回空以“吞掉”异常。

Note: 消息转发产生的开销要比动态方法解析和消息重定向大。

YYImageCoder

YYImageCoder 作为 YYImage 的编/解码器,对应于 iOS 中的 ImageIO.framework 图片编/解码库,正是因为有了 YYImageCoder 的存在,YYImage 才得以支持如此多的图片格式,所以说 YYImageCoder 是 YYImage 的底层核心。

YYImageCoder 内部定义了许多 YYImage 中用到的核心数据结构:

  • YYImageType,所有的支持的图片格式做了枚举定义
  • YYImageDisposeMethod,指定在画布上渲染下一个帧之前如何处理当前帧所使用的区域方法
  • YYImageBlendOperation,指定当前帧的透明像素如何与前一个画布的透明像素混合操作
  • YYImageFrame,一帧图像数据
  • YYImageEncoder,图像编码器
  • YYImageDecoder,图像解码器
  • UIImage+YYImageCoder,UIImage 的分类,里面提供了一些方便使用的方法

其中 YYImageFrame 是对一帧图像数据的封装,便于在 YYImageCoder 编/解码过程中使用。

YYImageCoder 内部图像编码器 YYImageEncoder 和图像解码器 YYImageDecoder 其实是分开来的,我们下面分别对它们做分析。

YYImageEncoder

先来讲一下 YYImageEncoder,其在 YYImageCoder 中担任编码器的角色。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
@interface YYImageEncoder : NSObject

@property (nonatomic, readonly) YYImageType type; ///< 图像类型
@property (nonatomic) NSUInteger loopCount; ///< 循环次数,0 无限循环,仅适用于 GIF/APNG/WebP 格式
@property (nonatomic) BOOL lossless; ///< 无损标记,仅适用于 WebP.
@property (nonatomic) CGFloat quality; ///< 压缩质量,0.0~1.0,仅适用于 JPG/JP2/WebP.

// 禁止适用 init、new 初始化编码器(我没忘记我说过这些编码技巧会在之后统一写一篇文章汇总)
- (instancetype)init UNAVAILABLE_ATTRIBUTE;
+ (instancetype)new UNAVAILABLE_ATTRIBUTE;

// 根据给定图片类型创建编码器
- (nullable instancetype)initWithType:(YYImageType)type NS_DESIGNATED_INITIALIZER;
// 添加图像
- (void)addImage:(UIImage *)image duration:(NSTimeInterval)duration;
// 添加图像数据
- (void)addImageWithData:(NSData *)data duration:(NSTimeInterval)duration;
// 添加文件路径
- (void)addImageWithFile:(NSString *)path duration:(NSTimeInterval)duration;
// 开始图像编码并尝试返回编码后的数据
- (nullable NSData *)encode;
// 编码并将得到的数据保存到给定路径文件中
- (BOOL)encodeToFile:(NSString *)path;
// 便捷方法,对一个单帧图像编码
+ (nullable NSData *)encodeImage:(UIImage *)image type:(YYImageType)type quality:(CGFloat)quality;
// 便捷方法,从解码器中编码图像数据
+ (nullable NSData *)encodeImageWithDecoder:(YYImageDecoder *)decoder type:(YYImageType)type quality:(CGFloat)quality;

@end

可以看到 YYImageEncoder 内部的一些属性和接口都比较基本,关于其内部实现我们需要先看一下私有变量:

1
2
3
4
@implementation YYImageEncoder {
NSMutableArray *_images; // 已添加到编码器的图片(数组)
NSMutableArray *_durations; // 对应的图片帧显示持续时长(数组)
}

YYImageEncoder 的实现思路

YYImageEncoder 的初始化部分没有多复杂,根据图片的类型按照编码最优的参数做初始化而已。关于 YYImageEncoder 对于图片的编码工作,其实作者根据要支持的图片类型和对应图片类型的编码方式做了底层封装,再根据当前图片的类型选择对应的底层编码方法执行。

关于不同图片类型的图片编码格式可以查阅本文文末的扩展阅读章节,结合扩展阅读的内容查阅 YYImage 这部分源码可以理解作者对于底层图片格式信息的结构封装以及编/解码操作具体实现。

关于 YYImageEncoder 的一些简单使用示例可以查看 YYImageCoder.h 了解。

YYImageDecoder

YYImageDecoder 在 YYImageCoder 中担任解码器的角色,其与上述 YYImageEncoder 对应,一个负责图像编码一个负责图像解码,不过 YYImageDecoder 的实现比 YYImageEncoder 更为复杂。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
@interface YYImageDecoder : NSObject

@property (nullable, nonatomic, readonly) NSData *data; ///< 图像数据
@property (nonatomic, readonly) YYImageType type; ///< 图像数据类型
@property (nonatomic, readonly) CGFloat scale; ///< 图像大小
@property (nonatomic, readonly) NSUInteger frameCount; ///< 图像帧数量
@property (nonatomic, readonly) NSUInteger loopCount; ///< 图像循环次数,0 无限循环
@property (nonatomic, readonly) NSUInteger width; ///< 图像画布宽度
@property (nonatomic, readonly) NSUInteger height; ///< 图像画布高度
@property (nonatomic, readonly, getter=isFinalized) BOOL finalized;

// 创建一个图像解码器
- (instancetype)initWithScale:(CGFloat)scale NS_DESIGNATED_INITIALIZER;
// 用新数据增量更新图像
- (BOOL)updateData:(nullable NSData *)data final:(BOOL)final;
// 方便用一个特殊的数据创建对应的解码器
+ (nullable instancetype)decoderWithData:(NSData *)data scale:(CGFloat)scale;
// 解码并返回给定索引对应的帧数据
- (nullable YYImageFrame *)frameAtIndex:(NSUInteger)index decodeForDisplay:(BOOL)decodeForDisplay;
// 返回给定索引对应的帧持续显示时长
- (NSTimeInterval)frameDurationAtIndex:(NSUInteger)index;
// 返回给定索引对应帧的属性信息,去 ImageIO.framework 的 "CGImageProperties.h" 文件中了解更多
- (nullable NSDictionary *)framePropertiesAtIndex:(NSUInteger)index;
// 返回图片的属性信息,去 ImageIO.framework 的 "CGImageProperties.h" 文件中了解更多
- (nullable NSDictionary *)imageProperties;

@end

可以看到 YYImageDecoder 暴露了一些关于解码图像的属性并提供了初始化解码器方法、图像解码方法以及访问图像帧信息的方法。不过上文也说过 YYImageDecoder 的实现比较复杂,我们接着看一下其内部变量结构:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
@implementation YYImageDecoder {
pthread_mutex_t _lock; // 递归锁

BOOL _sourceTypeDetected; // 是否推测图像源类型
CGImageSourceRef _source; // 图像源
yy_png_info *_apngSource; // 如果判定图像为 YYImageTypePNG 则会以 APNG 更新图像源
#if YYIMAGE_WEBP_ENABLED
WebPDemuxer *_webpSource; // 如果判定图像为 YYImageTypeWebP 则会议 WebP 更新图像源
#endif

UIImageOrientation _orientation; // 绘制方向
dispatch_semaphore_t _framesLock; // 针对于图像帧的锁
NSArray *_frames; ///< Array<_YYImageDecoderFrame *>, without image
BOOL _needBlend; // 是否需要混合
NSUInteger _blendFrameIndex; // 从帧索引混合到当前帧
CGContextRef _blendCanvas; // 混合画布
}

_YYImageDecoderFrame 继承自 YYImageFrame 类作为 YYImageCoder 图像解码器 YYImageDecoder 使用的内部框架类存在,是对于一帧图像的数据封装提供了便于编/解码时需要访问的数据。

YYImageDecoder 内锁的选择

可以看到作者在 YYImageDecoder 内部使用了两种锁:

  • pthread_mutex_t _lock;
  • dispatch_semaphore_t _framesLock;

pthread_mutex_t 在解码器初始化过程中被以 PTHREAD_MUTEX_RECURSIVE 类型设置为了递归锁。

1
2
3
4
5
pthread_mutexattr_t attr;
pthread_mutexattr_init (&attr);
pthread_mutexattr_settype (&attr, PTHREAD_MUTEX_RECURSIVE);
pthread_mutex_init (&_lock, &attr);
pthread_mutexattr_destroy (&attr);

Note: 一般情况下一个线程只能申请一次锁,也只能在获得锁的情况下才能释放锁,多次申请锁或释放未获得的锁都会导致崩溃。假设在已经获得锁的情况下再次申请锁,线程会因为等待锁的释放而进入睡眠状态,因此就不可能再释放锁,从而导致死锁。

然而这种情况经常会发生,比如某个函数申请了锁,在临界区内又递归调用了自己。辛运的是 pthread_mutex 支持递归锁,也就是允许一个线程递归的申请锁,只要把 attr 的类型改成 PTHREAD_MUTEX_RECURSIVE 即可。

作者使用 dispatch_semaphore_t 作为图像帧数组的锁是因为 dispatch_semaphore_t 更加轻量且对于图像帧数组的临界操作比较快,不会造成长时间的阻塞,这种情况下 dispatch_semaphore_t 具有性能优势(Emmmmmm..老生常谈了,熟悉的同学不要抱怨,照顾一下后面的同学)。

YYImageDecoder 内的实现思路

YYImageDecoder 内在初始化时会初始化锁并更新图像源数据,在更新图像源时调用 _updateSource 方法根据当前图像类型以作者对该类型封装好的底层数据结构和对应图像类型解码规则做解码,解码之后设置对应属性。

关于作者对不同格式的图像数据的底层封装源码感兴趣的读者可以参考本文文末的扩展阅读章节内容自行查阅。

关于 YYImageDecoder 的一些简单使用示例可以查看 YYImageCoder.h 了解。

总结

  • 文章系统的分析了 YYImage 源码,希望各位读者在阅读本文之后可以对 YYImage 整体架构和设计思路有清晰的认识。
  • 文章对 YYImage 的 Image 层级的三类图像(YYImage, YYFrameImage, YYSpriteSheetImage)分别解读,希望可以对各位读者关于这三类图像的组成原理和呈现动画的方式的理解有所帮助。
  • 文章深入剖析了 YYAnimatedImageView 的内部实现,提炼出其设计思路以供读者探究。
  • 笔者把自己在阅读源码中发现的值得分享的实现细节结合源码单独拎出来分析,希望各位读者可以在自己平时工作中遇到相似情况时能够多一些思路,封装项目组件时可以用到这些技巧。

文章写得比较用心(是我个人的原创文章,转载请注明出处 https://lision.me/),如果发现错误会优先在我的 个人博客 中更新。能力不足,水平有限,如果有任何问题欢迎在我的微博 @Lision 联系我,另外我的 GitHub 主页 里有很多有趣的小玩意哦~

最后,希望我的文章可以为你带来价值~

扩展阅读

揭秘 YYModel 的魔法 0x02

前言

在上文《揭秘 YYModel 的魔法(上)》 中主要剖析了 YYModel 的源码结构,并且分享了 YYClassInfo 与 NSObject+YYModel 内部有趣的实现细节。

紧接上篇,本文将解读 YYModel 关于 JSON 模型转换的源码,旨在揭秘 JSON 模型自动转换魔法。

索引

  • JSON 与 Model 相互转换
  • 总结

JSON 与 Model 相互转换

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,它易于人们阅读和编写,同时也易于机器解析和生成。它是基于 JavaScript Programming Language, Standard ECMA-262 3rd Edition - December 1999 的一个子集。JSON 采用完全独立于语言的文本格式,但是也使用了类似于 C 语言家族的习惯(包括C, C++, C#, Java, JavaScript, Perl, Python等)。这些特性使 JSON 成为理想的数据交换语言,点击 这里 了解更多关于 JSON 的信息。

Model 是 面向对象编程(Object Oriented Programming,简称 OOP)程序设计思想中的对象,OOP 把对象作为程序的基本单元,一个对象包含了数据和操作数据的函数。一般我们会根据业务需求来创建对象,在一些设计模式中(如 MVC 等)对象一般作为模型(Model),即对象建模。

JSON 与 Model 相互转换按转换方向分为两种:

  • JSON to Model
  • Model to JSON

JSON to Model

我们从 YYModel 的接口开始解读。

1
2
3
4
5
6
+ (instancetype)yy_modelWithJSON:(id)json {
// 将 json 转为字典 dic
NSDictionary *dic = [self _yy_dictionaryWithJSON:json];
// 再通过 dic 得到 model 并返回
return [self yy_modelWithDictionary:dic];
}

上面接口把 JSON 转 Model 很简单的分为了两个子任务:

  • JSON to NSDictionary
  • NSDictionary to Model

JSON to NSDictionary

我们先看一下 _yy_dictionaryWithJSON 是怎么将 json 转为 NSDictionary 的。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
+ (NSDictionary *)_yy_dictionaryWithJSON:(id)json {
// 入参判空
if (!json || json == (id)kCFNull) return nil;

NSDictionary *dic = nil;
NSData *jsonData = nil;
// 根据 json 的类型对应操作
if ([json isKindOfClass:[NSDictionary class]]) {
// 如果是 NSDictionary 类则直接赋值
dic = json;
} else if ([json isKindOfClass:[NSString class]]) {
// 如果是 NSString 类则用 UTF-8 编码转 NSData
jsonData = [(NSString *)json dataUsingEncoding : NSUTF8StringEncoding];
} else if ([json isKindOfClass:[NSData class]]) {
// 如果是 NSData 则直接赋值给 jsonData
jsonData = json;
}

// jsonData 不为 nil,则表示上面的 2、3 情况中的一种
if (jsonData) {
// 利用 NSJSONSerialization 方法将 jsonData 转为 dic
dic = [NSJSONSerialization JSONObjectWithData:jsonData options:kNilOptions error:NULL];
// 判断转换结果
if (![dic isKindOfClass:[NSDictionary class]]) dic = nil;
}

return dic;
}

这个函数主要是根据入参的类型判断如何将其转为 NSDictionary 类型并返回。

其中 kCFNull 是 CoreFoundation 中 CFNull 的单例对象。如同 Foundation 框架中的 NSNull 一样,CFNull 是用来表示集合对象中的空值(不允许为 NULL)。CFNull 对象既不允许被创建也不允许被销毁,而是通过定义一个 CFNull 常量,即 kCFNull,在需要空值时使用。

官方文档:
The CFNull opaque type defines a unique object used to represent null values in collection objects (which don’t allow NULL values). CFNull objects are neither created nor destroyed. Instead, a single CFNull constant object—kCFNull—is defined and is used wherever a null value is needed.

NSJSONSerialization 是用于将 JSON 和等效的 Foundation 对象之间相互转换的对象。它在 iOS 7 以及 macOS 10.9(包含 iOS 7 和 macOS 10.9)之后是线程安全的。

代码中将 NSString 转为 NSData 用到了 NSUTF8StringEncoding,其中编码类型必须属于 JSON 规范中列出的 5 种支持的编码类型:

  • UTF-8
  • UTF-16LE
  • UTF-16BE
  • UTF-32LE
  • UTF-32BE

而用于解析的最高效的编码是 UTF-8 编码,所以作者这里使用 NSUTF8StringEncoding。

官方注释:
The data must be in one of the 5 supported encodings listed in the JSON specification: UTF-8, UTF-16LE, UTF-16BE, UTF-32LE, UTF-32BE. The data may or may not have a BOM. The most efficient encoding to use for parsing is UTF-8, so if you have a choice in encoding the data passed to this method, use UTF-8.

NSDictionary to Model

现在我们要从 yy_modelWithJSON 接口中探究 yy_modelWithDictionary 是如何将 NSDictionary 转为 Model 的。

敲黑板!做好准备,这一小节介绍的代码是 YYModel 的精华哦~。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
+ (instancetype)yy_modelWithDictionary:(NSDictionary *)dictionary {
// 入参校验
if (!dictionary || dictionary == (id)kCFNull) return nil;
if (![dictionary isKindOfClass:[NSDictionary class]]) return nil;

// 使用当前类生成一个 _YYModelMeta 模型元类
Class cls = [self class];
_YYModelMeta *modelMeta = [_YYModelMeta metaWithClass:cls];
// 这里 _hasCustomClassFromDictionary 用于标识是否需要自定义返回类
// 属于模型转换附加功能,可以不用投入太多关注
if (modelMeta->_hasCustomClassFromDictionary) {
cls = [cls modelCustomClassForDictionary:dictionary] ?: cls;
}

// 调用 yy_modelSetWithDictionary 为新建的类实例 one 赋值,赋值成功则返回 one
NSObject *one = [cls new];
// 所以这个函数中我们应该把注意力集中在 yy_modelSetWithDictionary
if ([one yy_modelSetWithDictionary:dictionary]) return one;

return nil;
}

代码中根据 _hasCustomClassFromDictionary 标识判断是否需要自定义返回模型的类型。这段代码属于 YYModel 的附加功能,为了不使大家分心,这里仅做简单介绍。

如果我们要在 JSON 转 Model 的过程中根据情况创建不同类型的实例,则可以在 Model 中实现接口:

1
+ (nullable Class)modelCustomClassForDictionary:(NSDictionary *)dictionary;

来满足需求。当模型元初始化时会检测当前模型类是否可以响应上面的接口,如果可以响应则会把 _hasCustomClassFromDictionary 标识为 YES,所以上面才会出现这些代码:

1
2
3
if (modelMeta->_hasCustomClassFromDictionary) {
cls = [cls modelCustomClassForDictionary:dictionary] ?: cls;
}

嘛~ 我觉得这些附加的东西在阅读源码时很大程度上会分散我们的注意力,这次先详细的讲解一下,以后遇到类似的代码我们会略过,内部的实现大都与上述案例原理相同,感兴趣的同学可以自己研究哈。

我们应该把注意力集中在 yy_modelSetWithDictionary 上,这个函数(其实也是 NSObject+YYModel 暴露的接口)是根据字典初始化模型的实现方法。它的代码比较长,如果不想看可以跳过,在后面有解释。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
- (BOOL)yy_modelSetWithDictionary:(NSDictionary *)dic {
// 入参校验
if (!dic || dic == (id)kCFNull) return NO;
if (![dic isKindOfClass:[NSDictionary class]]) return NO;

// 根据自身类生成 _YYModelMeta 模型元类
_YYModelMeta *modelMeta = [_YYModelMeta metaWithClass:object_getClass(self)];
// 如果模型元类键值映射数量为 0 则 return NO,表示构建失败
if (modelMeta->_keyMappedCount == 0) return NO;

// 忽略,该标识对应 modelCustomWillTransformFromDictionary 接口
if (modelMeta->_hasCustomWillTransformFromDictionary) {
// 该接口类似 modelCustomTransformFromDictionary 接口,不过是在模型转换之前调用的
dic = [((id<YYModel>)self) modelCustomWillTransformFromDictionary:dic];
if (![dic isKindOfClass:[NSDictionary class]]) return NO;
}

// 初始化模型设置上下文 ModelSetContext
ModelSetContext context = {0};
context.modelMeta = (__bridge void *)(modelMeta);
context.model = (__bridge void *)(self);
context.dictionary = (__bridge void *)(dic);

// 判断模型元键值映射数量与 JSON 所得字典的数量关系
if (modelMeta->_keyMappedCount >= CFDictionaryGetCount((CFDictionaryRef)dic)) {
// 一般情况下他们的数量相等
// 特殊情况比如有的属性元会映射字典中的多个 key

// 为字典中的每个键值对调用 ModelSetWithDictionaryFunction
// 这句话是核心代码,一般情况下就是靠 ModelSetWithDictionaryFunction 通过字典设置模型
CFDictionaryApplyFunction((CFDictionaryRef)dic, ModelSetWithDictionaryFunction, &context);
// 判断模型中是否存在映射 keyPath 的属性元
if (modelMeta->_keyPathPropertyMetas) {
// 为每个映射 keyPath 的属性元执行 ModelSetWithPropertyMetaArrayFunction
CFArrayApplyFunction((CFArrayRef)modelMeta->_keyPathPropertyMetas,
CFRangeMake(0, CFArrayGetCount((CFArrayRef)modelMeta->_keyPathPropertyMetas)),
ModelSetWithPropertyMetaArrayFunction,
&context);
}
// 判断模型中是否存在映射多个 key 的属性元
if (modelMeta->_multiKeysPropertyMetas) {
// 为每个映射多个 key 的属性元执行 ModelSetWithPropertyMetaArrayFunction
CFArrayApplyFunction((CFArrayRef)modelMeta->_multiKeysPropertyMetas,
CFRangeMake(0, CFArrayGetCount((CFArrayRef)modelMeta->_multiKeysPropertyMetas)),
ModelSetWithPropertyMetaArrayFunction,
&context);
}
} else { // 模型元键值映射数量少,则认为不存在映射多个 key 的属性元
// 直接为每个 modelMeta 属性元执行 ModelSetWithPropertyMetaArrayFunction
CFArrayApplyFunction((CFArrayRef)modelMeta->_allPropertyMetas,
CFRangeMake(0, modelMeta->_keyMappedCount),
ModelSetWithPropertyMetaArrayFunction,
&context);
}

// 忽略,该标识对应接口 modelCustomTransformFromDictionary
if (modelMeta->_hasCustomTransformFromDictionary) {
// 该接口用于当默认 JSON 转 Model 不适合模型对象时做额外的逻辑处理
// 我们也可以用这个接口来验证模型转换的结果
return [((id<YYModel>)self) modelCustomTransformFromDictionary:dic];
}

return YES;
}

代码已经注明必要中文注释,关于两处自定义扩展接口我们不再多说,由于代码比较长我们先来梳理一下 yy_modelSetWithDictionary 主要做了哪些事?

  • 入参校验
  • 初始化模型元以及映射表校验
  • 初始化模型设置上下文 ModelSetContext
  • 为字典中的每个键值对调用 ModelSetWithDictionaryFunction
  • 检验转换结果

模型设置上下文 ModelSetContext 其实就是一个包含模型元,模型实例以及待转换字典的结构体。

1
2
3
4
5
typedef struct {
void *modelMeta; ///< 模型元
void *model; ///< 模型实例,指向输出的模型
void *dictionary; ///< 待转换字典
} ModelSetContext;

大家肯定都注意到了 ModelSetWithDictionaryFunction 函数,不论走哪条逻辑分支,最后都是调用这个函数把字典的 key(keypath)对应的 value 取出并赋值给 Model 的,那么我们就来看看这个函数的实现。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
// 字典键值对建模
static void ModelSetWithDictionaryFunction(const void *_key, const void *_value, void *_context) {
// 拿到入参上下文
ModelSetContext *context = _context;
// 取出上下文中模型元
__unsafe_unretained _YYModelMeta *meta = (__bridge _YYModelMeta *)(context->modelMeta);
// 根据入参 _key 从模型元中取出映射表对应的属性元
__unsafe_unretained _YYModelPropertyMeta *propertyMeta = [meta->_mapper objectForKey:(__bridge id)(_key)];
// 拿到待赋值模型
__unsafe_unretained id model = (__bridge id)(context->model);
// 遍历 propertyMeta,直到 propertyMeta->_next == nil
while (propertyMeta) {
// 当前遍历的 propertyMeta 有 setter 方法,则调用 ModelSetValueForProperty 赋值
if (propertyMeta->_setter) {
// 核心方法,拎出来讲
ModelSetValueForProperty(model, (__bridge __unsafe_unretained id)_value, propertyMeta);
}
propertyMeta = propertyMeta->_next;
};
}

ModelSetWithDictionaryFunction 函数的实现逻辑就是先通过模型设置上下文拿到带赋值模型,之后遍历当前的属性元(直到 propertyMeta->_next == nil),找到 setter 不为空的属性元通过 ModelSetValueForProperty 方法赋值。

ModelSetValueForProperty 函数是为模型中的属性赋值的实现方法,也是整个 YYModel 的核心代码。别紧张,这个函数写得很友好的,也就 300 多行而已 😜(无关紧要的内容我会尽量忽略掉),不过忽略的太多会影响代码阅读的连续性,如果嫌长可以不看,文章后面会总结一下这个函数的实现逻辑。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
static void ModelSetValueForProperty(__unsafe_unretained id model,
__unsafe_unretained id value,
__unsafe_unretained _YYModelPropertyMeta *meta) {
// 如果属性是一个 CNumber,即输入 int、uint……
if (meta->_isCNumber) {
// 转为 NSNumber 之后赋值
NSNumber *num = YYNSNumberCreateFromID(value);
// 这里 ModelSetNumberToProperty 封装了给属性元赋值 NSNumber 的操作
ModelSetNumberToProperty(model, num, meta);
if (num) [num class]; // hold the number
} else if (meta->_nsType) {
// 如果属性属于 nsType,即 NSString、NSNumber……
if (value == (id)kCFNull) { // 为空,则赋值 nil(通过属性元 _setter 方法使用 objc_msgSend 将 nil 赋值)
((void (*)(id, SEL, id))(void *) objc_msgSend)((id)model, meta->_setter, (id)nil);
} else { // 不为空
switch (meta->_nsType) {
// NSString 或 NSMutableString
case YYEncodingTypeNSString:
case YYEncodingTypeNSMutableString: {
// 处理可能的 value 类型:NSString,NSNumber,NSData,NSURL,NSAttributedString
// 对应的分支就是把 value 转为 NSString 或者 NSMutableString,之后调用 setter 赋值
...
} break;

// NSValue,NSNumber 或 NSDecimalNumber
case YYEncodingTypeNSValue:
case YYEncodingTypeNSNumber:
case YYEncodingTypeNSDecimalNumber: {
// 对属性元的类型分情况赋值(中间可能会涉及到类型之间的转换)
...
} break;

// NSData 或 NSMutableData
case YYEncodingTypeNSData:
case YYEncodingTypeNSMutableData: {
// 对属性元的类型分情况赋值(中间可能会涉及到类型之间的转换)
...
} break;

// NSDate
case YYEncodingTypeNSDate: {
// 考虑可能的 value 类型:NSDate 或 NSString
// 转换为 NSDate 之后赋值
...
} break;

// NSURL
case YYEncodingTypeNSURL: {
// 考虑可能的 value 类型:NSURL 或 NSString
// 转换为 NSDate 之后赋值(这里对 NSString 的长度判断是否赋值 nil)
...
} break;

// NSArray 或 NSMutableArray
case YYEncodingTypeNSArray:
case YYEncodingTypeNSMutableArray: {
// 对属性元的泛型判断
if (meta->_genericCls) { // 如果存在泛型
NSArray *valueArr = nil;
// value 所属 NSArray 则直接赋值,如果所属 NSSet 类则转为 NSArray
if ([value isKindOfClass:[NSArray class]]) valueArr = value;
else if ([value isKindOfClass:[NSSet class]]) valueArr = ((NSSet *)value).allObjects;

// 遍历刚才通过 value 转换来的 valueArr
if (valueArr) {
NSMutableArray *objectArr = [NSMutableArray new];
for (id one in valueArr) {
// 遇到 valueArr 中的元素属于泛型类,直接加入 objectArr
if ([one isKindOfClass:meta->_genericCls]) {
[objectArr addObject:one];
} else if ([one isKindOfClass:[NSDictionary class]]) {
// 遇到 valueArr 中的元素是字典类,
Class cls = meta->_genericCls;
// 忽略
if (meta->_hasCustomClassFromDictionary) {
cls = [cls modelCustomClassForDictionary:one];
if (!cls) cls = meta->_genericCls; // for xcode code coverage
}
// 还记得我们直接的起点 yy_modelSetWithDictionary,将字典转模型
// 我觉得这应该算是一个间接递归调用
// 如果设计出的模型是无限递归(从前有座山,山上有座庙的故事),那么肯定会慢
NSObject *newOne = [cls new];
[newOne yy_modelSetWithDictionary:one];
// 转化成功机也加入 objectArr
if (newOne) [objectArr addObject:newOne];
}
}
// 最后将得到的 objectArr 赋值给属性
((void (*)(id, SEL, id))(void *) objc_msgSend)((id)model, meta->_setter, objectArr);
}
} else {
// 没有泛型,嘛~ 判断一下 value 的可能所属类型 NSArray 或 NSSet
// 转换赋值(涉及 mutable)
...
}
} break;

// NSDictionary 或 NSMutableDictionary
case YYEncodingTypeNSDictionary:
case YYEncodingTypeNSMutableDictionary: {
// 跟上面数组的处理超相似,泛型的间接递归以及无泛型的类型转换(mutable 的处理)
...
} break;

// NSSet 或 NSMutableSet
case YYEncodingTypeNSSet:
case YYEncodingTypeNSMutableSet: {
// 跟上面数组的处理超相似,泛型的间接递归以及无泛型的类型转换(mutable 的处理)
...
}

default: break;
}
}
} else { // 属性元不属于 CNumber 和 nsType
BOOL isNull = (value == (id)kCFNull);
switch (meta->_type & YYEncodingTypeMask) {
// id
case YYEncodingTypeObject: {
if (isNull) { // 空,赋值 nil
((void (*)(id, SEL, id))(void *) objc_msgSend)((id)model, meta->_setter, (id)nil);
} else if ([value isKindOfClass:meta->_cls] || !meta->_cls) {
// 属性元与 value 从属于同一个类,则直接赋值
((void (*)(id, SEL, id))(void *) objc_msgSend)((id)model, meta->_setter, (id)value);
} else if ([value isKindOfClass:[NSDictionary class]]) {
// 嘛~ value 从属于
NSObject *one = nil;
// 如果属性元有 getter 方法,则通过 getter 获取到实例
if (meta->_getter) {
one = ((id (*)(id, SEL))(void *) objc_msgSend)((id)model, meta->_getter);
}
if (one) {
// 用 yy_modelSetWithDictionary 输出化属性实例对象
[one yy_modelSetWithDictionary:value];
} else {
Class cls = meta->_cls;
// 略过
if (meta->_hasCustomClassFromDictionary) {
cls = [cls modelCustomClassForDictionary:value];
if (!cls) cls = meta->_genericCls; // for xcode code coverage
}
// 用 yy_modelSetWithDictionary 输出化属性实例对象,赋值
one = [cls new];
[one yy_modelSetWithDictionary:value];
((void (*)(id, SEL, id))(void *) objc_msgSend)((id)model, meta->_setter, (id)one);
}
}
} break;

// Class
case YYEncodingTypeClass: {
if (isNull) { // 空,赋值(Class)NULL,由于 Class 其实是 C 语言定义的结构体,所以使用 NULL
// 关于 nil,Nil,NULL,NSNull,kCFNull 的横向比较,我会单独拎出来在下面介绍
((void (*)(id, SEL, Class))(void *) objc_msgSend)((id)model, meta->_setter, (Class)NULL);
} else {
// 判断 value 可能的类型 NSString 或判断 class_isMetaClass(object_getClass(value))
// 如果满足条件则赋值
...
}
} break;

// SEL
case YYEncodingTypeSEL: {
// 判空,赋值(SEL)NULL
// 否则转换类型 SEL sel = NSSelectorFromString(value); 然后赋值
...
} break;

// block
case YYEncodingTypeBlock: {
// 判空,赋值(void (^)())NULL
// 否则判断类型 [value isKindOfClass:YYNSBlockClass()] 之后赋值
...
} break;

// struct、union、char[n],关于 union 共同体感兴趣的同学可以自己 google,这里简单介绍一下
// union 共同体,类似 struct 的存在,但是 union 每个成员会用同一个存储空间,只能存储最后一个成员的信息
case YYEncodingTypeStruct:
case YYEncodingTypeUnion:
case YYEncodingTypeCArray: {
if ([value isKindOfClass:[NSValue class]]) {
// 涉及 Type Encodings
const char *valueType = ((NSValue *)value).objCType;
const char *metaType = meta->_info.typeEncoding.UTF8String;
// 比较 valueType 与 metaType 是否相同,相同(strcmp(a, b) 返回 0)则赋值
if (valueType && metaType && strcmp(valueType, metaType) == 0) {
[model setValue:value forKey:meta->_name];
}
}
} break;

// void* 或 char*
case YYEncodingTypePointer:
case YYEncodingTypeCString: {
if (isNull) { // 判空,赋值(void *)NULL
((void (*)(id, SEL, void *))(void *) objc_msgSend)((id)model, meta->_setter, (void *)NULL);
} else if ([value isKindOfClass:[NSValue class]]) {
// 涉及 Type Encodings
NSValue *nsValue = value;
if (nsValue.objCType && strcmp(nsValue.objCType, "^v") == 0) {
((void (*)(id, SEL, void *))(void *) objc_msgSend)((id)model, meta->_setter, nsValue.pointerValue);
}
}
}

default: break;
}
}
}

额 😓 我是真的已经忽略掉很多代码了,没办法还是有点长。其实代码逻辑还是很简单的,只是模型赋值涉及的编码类型等琐碎逻辑比较多导致代码量比较大,我们一起来总结一下核心代码的实现逻辑。

  • 根据属性元类型划分代码逻辑
  • 如果属性元是 CNumber 类型,即 int、uint 之类,则使用 ModelSetNumberToProperty 赋值
  • 如果属性元属于 NSType 类型,即 NSString、NSNumber 之类,则根据类型转换中可能涉及到的对应类型做逻辑判断并赋值(可以去上面代码中查看具体实现逻辑)
  • 如果属性元不属于 CNumber 和 NSType,则猜测为 id,Class,SEL,Block,struct、union、char[n],void 或 char 类型并且做出相应的转换和赋值

嘛~ 其实上面的代码除了长以外逻辑还是很简单的,总结起来就是根据可能出现的类型去做出对应的逻辑操作,建议各位有时间还是去读下源码,尤其是自己项目中用到 YYModel 的同学。相信看完之后会对 YYModel 属性赋值一清二楚,这样在使用 YYModel 的日常中出现任何问题都可以心中有数,改起代码自然如有神助哈。

额…考虑到 NSDictionary to Model 的整个过程代码量不小,我花了一些时间将其逻辑总结归纳为一张图:

希望可以尽自己的努力让文章的表述变得更直白。

Model to JSON

相比于 JSON to Model 来说,Model to JSON 更简单一些。其中因为 NSJSONSerialization 在对 JSON 的转换时做了一些规定:

  • 顶级对象是 NSArray 或者 NSDictionary 类型
  • 所有的对象都是 NSString, NSNumber, NSArray, NSDictionary, 或 NSNull 的实例
  • 所有字典中的 key 都是一个 NSString 实例
  • Numbers 是除去无穷大和 NaN 的其他表示

Note: 上文出自 NSJSONSerialization 官方文档

知道了这一点后,我们就可以从 YYModel 的 Model to JSON 接口 yy_modelToJSONObject 处开始解读源码了。

1
2
3
4
5
6
7
8
- (id)yy_modelToJSONObject {
// 递归转换模型到 JSON
id jsonObject = ModelToJSONObjectRecursive(self);
if ([jsonObject isKindOfClass:[NSArray class]]) return jsonObject;
if ([jsonObject isKindOfClass:[NSDictionary class]]) return jsonObject;

return nil;
}

嘛~ 一共 4 行代码,只需要关注一下第一行代码中的 ModelToJSONObjectRecursive 方法,Objective-C 的语言特性决定了从函数名称即可无需注释看懂代码,这个方法从名字上就可以 get 到它是通过递归方法使 Model 转换为 JSON 的。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
// 递归转换模型到 JSON,如果转换异常则返回 nil
static id ModelToJSONObjectRecursive(NSObject *model) {
// 判空或者可以直接返回的对象,则直接返回
if (!model || model == (id)kCFNull) return model;
if ([model isKindOfClass:[NSString class]]) return model;
if ([model isKindOfClass:[NSNumber class]]) return model;
// 如果 model 从属于 NSDictionary
if ([model isKindOfClass:[NSDictionary class]]) {
// 如果可以直接转换为 JSON 数据,则返回
if ([NSJSONSerialization isValidJSONObject:model]) return model;
NSMutableDictionary *newDic = [NSMutableDictionary new];
// 遍历 model 的 key 和 value
[((NSDictionary *)model) enumerateKeysAndObjectsUsingBlock:^(NSString *key, id obj, BOOL *stop) {
NSString *stringKey = [key isKindOfClass:[NSString class]] ? key : key.description;
if (!stringKey) return;
// 递归解析 value
id jsonObj = ModelToJSONObjectRecursive(obj);
if (!jsonObj) jsonObj = (id)kCFNull;
newDic[stringKey] = jsonObj;
}];
return newDic;
}
// 如果 model 从属于 NSSet
if ([model isKindOfClass:[NSSet class]]) {
// 如果能够直接转换 JSON 对象,则直接返回
// 否则遍历,按需要递归解析
...
}
if ([model isKindOfClass:[NSArray class]]) {
// 如果能够直接转换 JSON 对象,则直接返回
// 否则遍历,按需要递归解析
...
}
// 对 NSURL, NSAttributedString, NSDate, NSData 做相应处理
if ([model isKindOfClass:[NSURL class]]) return ((NSURL *)model).absoluteString;
if ([model isKindOfClass:[NSAttributedString class]]) return ((NSAttributedString *)model).string;
if ([model isKindOfClass:[NSDate class]]) return [YYISODateFormatter() stringFromDate:(id)model];
if ([model isKindOfClass:[NSData class]]) return nil;

// 用 [model class] 初始化一个模型元
_YYModelMeta *modelMeta = [_YYModelMeta metaWithClass:[model class]];
// 如果映射表为空,则不做解析直接返回 nil
if (!modelMeta || modelMeta->_keyMappedCount == 0) return nil;
// 性能优化细节,使用 __unsafe_unretained 来避免在下面遍历 block 中直接使用 result 指针造成的不必要 retain 与 release 开销
NSMutableDictionary *result = [[NSMutableDictionary alloc] initWithCapacity:64];
__unsafe_unretained NSMutableDictionary *dic = result;
// 遍历模型元属性映射字典
[modelMeta->_mapper enumerateKeysAndObjectsUsingBlock:^(NSString *propertyMappedKey, _YYModelPropertyMeta *propertyMeta, BOOL *stop) {
// 如果遍历当前属性元没有 getter 方法,跳过
if (!propertyMeta->_getter) return;

id value = nil;
// 如果属性元属于 CNumber,即其 type 是 int、float、double 之类的
if (propertyMeta->_isCNumber) {
// 从属性中利用 getter 方法得到对应的值
value = ModelCreateNumberFromProperty(model, propertyMeta);
} else if (propertyMeta->_nsType) { // 属性元属于 nsType,即 NSString 之类
// 利用 getter 方法拿到 value
id v = ((id (*)(id, SEL))(void *) objc_msgSend)((id)model, propertyMeta->_getter);
// 对拿到的 value 递归解析
value = ModelToJSONObjectRecursive(v);
} else {
// 根据属性元的 type 做相应处理
switch (propertyMeta->_type & YYEncodingTypeMask) {
// id,需要递归解析,如果解析失败则返回 nil
case YYEncodingTypeObject: {
id v = ((id (*)(id, SEL))(void *) objc_msgSend)((id)model, propertyMeta->_getter);
value = ModelToJSONObjectRecursive(v);
if (value == (id)kCFNull) value = nil;
} break;
// Class,转 NSString,返回 Class 名称
case YYEncodingTypeClass: {
Class v = ((Class (*)(id, SEL))(void *) objc_msgSend)((id)model, propertyMeta->_getter);
value = v ? NSStringFromClass(v) : nil;
} break;
// SEL,转 NSString,返回给定 SEL 的字符串表现形式
case YYEncodingTypeSEL: {
SEL v = ((SEL (*)(id, SEL))(void *) objc_msgSend)((id)model, propertyMeta->_getter);
value = v ? NSStringFromSelector(v) : nil;
} break;
default: break;
}
}
// 如果 value 还是没能解析,则跳过
if (!value) return;

// 当前属性元是 KeyPath 映射,即 a.b.c 之类
if (propertyMeta->_mappedToKeyPath) {
NSMutableDictionary *superDic = dic;
NSMutableDictionary *subDic = nil;
// _mappedToKeyPath 是 a.b.c 根据 '.' 拆分成的字符串数组,遍历 _mappedToKeyPath
for (NSUInteger i = 0, max = propertyMeta->_mappedToKeyPath.count; i < max; i++) {
NSString *key = propertyMeta->_mappedToKeyPath[i];
// 遍历到结尾
if (i + 1 == max) {
// 如果结尾的 key 为 nil,则使用 value 赋值
if (!superDic[key]) superDic[key] = value;
break;
}

// 用 subDic 拿到当前 key 对应的值
subDic = superDic[key];
// 如果 subDic 存在
if (subDic) {
// 如果 subDic 从属于 NSDictionary
if ([subDic isKindOfClass:[NSDictionary class]]) {
// 将 subDic 的 mutable 版本赋值给 superDic[key]
subDic = subDic.mutableCopy;
superDic[key] = subDic;
} else {
break;
}
} else {
// 将 NSMutableDictionary 赋值给 superDic[key]
// 注意这里使用 subDic 间接赋值是有原因的,原因就在下面
subDic = [NSMutableDictionary new];
superDic[key] = subDic;
}
// superDic 指向 subDic,这样在遍历 _mappedToKeyPath 时即可逐层解析
// 这就是上面先把 subDic 转为 NSMutableDictionary 的原因
superDic = subDic;
subDic = nil;
}
} else {
// 如果不是 KeyPath 则检测 dic[propertyMeta->_mappedToKey],如果为 nil 则赋值 value
if (!dic[propertyMeta->_mappedToKey]) {
dic[propertyMeta->_mappedToKey] = value;
}
}
}];

// 忽略,对应 modelCustomTransformToDictionary 接口
if (modelMeta->_hasCustomTransformToDictionary) {
// 用于在默认的 Model 转 JSON 过程不适合当前 Model 类型时提供自定义额外过程
// 也可以用这个方法来验证转换结果
BOOL suc = [((id<YYModel>)model) modelCustomTransformToDictionary:dic];
if (!suc) return nil;
}

return result;
}

额…代码还是有些长,不过相比于之前 JSON to Model 方向上由 yy_modelSetWithDictionaryModelSetWithDictionaryFunctionModelSetValueForProperty 三个方法构成的间接递归来说算是非常简单了,那么总结一下上面的代码逻辑。

  • 判断入参,如果满足条件可以直接返回
  • 如果 Model 从属于 NSType,则根据不同的类型做逻辑处理
  • 如果上面条件不被满足,则用 Model 的 Class 初始化一个模型元 _YYModelMeta
  • 判断模型元的映射关系,遍历映射表拿到对应键值对并存入字典中并返回

Note: 这里有一个性能优化的细节,用 __unsafe_unretained 修饰的 dic 指向我们最后要 return 的 NSMutableDictionary *result,看作者的注释:// avoid retain and release in block 是为了避免直接使用 result 在后面遍历映射表的代码块中不必要的 retain 和 release 操作以节省开销。

总结

  • 文章紧接上文《揭秘 YYModel 的魔法(上)》中对 YYModel 代码结构的讲解后将重点放到了对 JSON 模型相互转换的实现逻辑上。
  • 从 JSON 模型的转换方向上划分,将 YYModel 的 JSON 模型转换过程正反方向剖析揭秘,希望可以解开大家对 JSON 模型自动转换的疑惑。

文章写得比较用心(是我个人的原创文章,转载请注明 https://lision.me/),如果发现错误会优先在我的 个人博客 中更新。如果有任何问题欢迎在我的微博 @Lision 联系我~

希望我的文章可以为你带来价值~

揭秘 YYModel 的魔法 0x01

前言

iOS 开发中少不了各种各样的模型,不论是采用 MVC、MVP 还是 MVVM 设计模式都逃不过 Model。

那么大家在使用 Model 的时候肯定遇到过一个问题,即接口传递过来的数据(一般是 JSON 格式)需要转换为 iOS 内我们能直接使用的模型(类)。iOS 开发早期第三方框架没有那么多,大家可能会手写相关代码,但是随着业务的扩展,模型的增多,这些没什么技术含量的代码只是在重复的浪费我们的劳动力而已。

这时候就需要一种工具来帮助我们把劳动力从这些无意义的繁琐代码中解放出来,于是 GitHub 上出现了很多解决此类问题的第三方库,诸如 Mantle、JSONModel、MJExtension 以及 YYModel 等等。

这些库的神奇之处在于它们提供了模型与 JSON 数据的自动转换功能,仿佛具有魔法一般!本文将通过剖析 YYModel 源码一步一步破解这“神奇”的魔法。

YYModel 是一个高性能 iOS/OSX 模型转换框架(该项目是 YYKit 组件之一)。YYKit 在我之前的文章【从 YYCache 源码 Get 到如何设计一个优秀的缓存】中已经很详细的介绍过了,感兴趣的同学可以点进去了解一下。

YYModel 是一个非常轻量级的 JSON 模型自动转换库,代码风格良好且思路清晰,可以从源码中看到作者对 Runtime 深厚的理解。难能可贵的是 YYModel 在其轻量级的代码下还保留着自动类型转换,类型安全,无侵入等特性,并且具有接近手写解析代码的超高性能。

处理 GithubUser 数据 10000 次耗时统计 (iPhone 6):

索引

  • YYModel 简介
  • YYClassInfo 剖析
  • NSObject+YYModel 探究
  • JSON 与 Model 相互转换
  • 总结

YYModel 简介

撸了一遍 YYModel 的源码,果然是非常轻量级的 JSON 模型自动转换库,加上 YYModel.h 一共也只有 5 个文件。

抛开 YYModel.h 来看,其实只有 YYClassInfo 和 NSObject+YYModel 两个模块。

  • YYClassInfo 主要将 Runtime 层级的一些结构体封装到 NSObject 层级以便调用。
  • NSObject+YYModel 负责提供方便调用的接口以及实现具体的模型转换逻辑(借助 YYClassInfo 中的封装)。

YYClassInfo 剖析

前面说到 YYClassInfo 主要将 Runtime 层级的一些结构体封装到 NSObject 层级以便调用,我觉得如果需要与 Runtime 层级的结构体做对比的话,没什么比表格来的更简单直观了:

YYClassInfo Runtime
YYClassIvarInfo objc_ivar
YYClassMethodInfo objc_method
YYClassPropertyInfo property_t
YYClassInfo objc_class

Note: 本次比较基于 Runtime 源码 723 版本。

安~ 既然是剖析肯定不会列个表格这样子哈。

YYClassIvarInfo && objc_ivar

我把 YYClassIvarInfo 看做是作者对 Runtime 层 objc_ivar 结构体的封装,objc_ivar 是 Runtime 中表示变量的结构体。

  • YYClassIvarInfo
1
2
3
4
5
6
7
8
9
@interface YYClassIvarInfo : NSObject
@property (nonatomic, assign, readonly) Ivar ivar; ///< 变量,对应 objc_ivar
@property (nonatomic, strong, readonly) NSString *name; ///< 变量名称,对应 ivar_name
@property (nonatomic, assign, readonly) ptrdiff_t offset; ///< 变量偏移量,对应 ivar_offset
@property (nonatomic, strong, readonly) NSString *typeEncoding; ///< 变量类型编码,通过 ivar_getTypeEncoding 函数得到
@property (nonatomic, assign, readonly) YYEncodingType type; ///< 变量类型,通过 YYEncodingGetType 方法从类型编码中得到

- (instancetype)initWithIvar:(Ivar)ivar;
@end
  • objc_ivar
1
2
3
4
5
6
7
8
struct objc_ivar {
char * _Nullable ivar_name OBJC2_UNAVAILABLE; // 变量名称
char * _Nullable ivar_type OBJC2_UNAVAILABLE; // 变量类型
int ivar_offset OBJC2_UNAVAILABLE; // 变量偏移量
#ifdef __LP64__ // 如果已定义 __LP64__ 则表示正在构建 64 位目标
int space OBJC2_UNAVAILABLE; // 变量空间
#endif
}

Note: 日常开发中 NSString 类型的属性我们都会用 copy 来修饰,而 YYClassIvarInfo 中的 nametypeEncoding 属性都用 strong 修饰。因为其内部是先通过 Runtime 方法拿到 const char * 之后通过 stringWithUTF8String 方法转为 NSString 的。所以即便是 NSString 这类属性在确定其不会在初始化之后被修改的情况下,使用 strong 做一次单纯的强引用在性能上讲比 copy 要高一些。

囧~ 不知道讲的这么细会不会反而引起反感,如果对文章有什么建议可以联系我 @薛定谔的猹

Note: 类型编码,关于 YYClassIvarInfo 中的 YYEncodingType 类型属性 type 的解析代码篇幅很长,而且没有搬出来的必要,可以参考官方文档 Type EncodingsDeclared Properties 阅读这部分源码。

YYClassMethodInfo && objc_method

相应的,YYClassMethodInfo 则是作者对 Runtime 中 objc_method 的封装,objc_method 在 Runtime 是用来定义方法的结构体。

  • YYClassMethodInfo
1
2
3
4
5
6
7
8
9
10
11
@interface YYClassMethodInfo : NSObject
@property (nonatomic, assign, readonly) Method method; ///< 方法
@property (nonatomic, strong, readonly) NSString *name; ///< 方法名称
@property (nonatomic, assign, readonly) SEL sel; ///< 方法选择器
@property (nonatomic, assign, readonly) IMP imp; ///< 方法实现,指向实现方法函数的函数指针
@property (nonatomic, strong, readonly) NSString *typeEncoding; ///< 方法参数和返回类型编码
@property (nonatomic, strong, readonly) NSString *returnTypeEncoding; ///< 返回值类型编码
@property (nullable, nonatomic, strong, readonly) NSArray<NSString *> *argumentTypeEncodings; ///< 参数类型编码数组

- (instancetype)initWithMethod:(Method)method;
@end
  • objc_method
1
2
3
4
5
struct objc_method {
SEL _Nonnull method_name OBJC2_UNAVAILABLE; // 方法名称
char * _Nullable method_types OBJC2_UNAVAILABLE; // 方法类型
IMP _Nonnull method_imp OBJC2_UNAVAILABLE; // 方法实现(函数指针)
}

可以看到基本也是一一对应的关系,除了类型编码的问题作者为了方便使用在封装时进行了扩展。

为了照顾对 Runtime 还没有一定了解的读者,我这里简单的解释一下 objc_method 结构体(都是我自己的认知,欢迎讨论):

  • SEL,selector 在 Runtime 中的表现形式,可以理解为方法选择器
1
typedef struct objc_selector *SEL;
  • IMP,函数指针,指向具体实现逻辑的函数
1
2
3
4
5
#if !OBJC_OLD_DISPATCH_PROTOTYPES
typedef void (*IMP)(void /* id, SEL, ... */ );
#else
typedef id _Nullable (*IMP)(id _Nonnull, SEL _Nonnull, ...);
#endif

关于更多 Runtime 相关的知识由于篇幅原因(真的写不完)就不在这篇文章介绍了,我推荐大家去鱼神的文章 Objective-C Runtime 学习(因为我最早接触 Runtime 就是通过这篇文章,笑~)。

有趣的是,鱼神的文章中对 SEL 的描述有一句“其实它就是个映射到方法的 C 字符串”,但是他在文章中没有介绍出处。本着对自己文章质量负责的原则,对于一切没有出处的表述都应该持有怀疑的态度,所以我下面讲一下自己的对于 SEL 的理解。

撸了几遍 Runtime 源码,发现不论是 objc-runtime-new 还是 objc-runtime-old 中都用 SEL 类型作为方法结构体的 name 属性类型,而且通过以下源码:

1
2
3
4
5
OBJC_EXPORT SEL _Nonnull sel_registerName(const char * _Nonnull str)
OBJC_AVAILABLE(10.0, 2.0, 9.0, 1.0, 2.0);

OBJC_EXPORT const char * _Nonnull sel_getName(SEL _Nonnull sel)
OBJC_AVAILABLE(10.0, 2.0, 9.0, 1.0, 2.0);

可以看到通过一个 const char * 类型的字符串即可在 Runtime 系统中注册并返回一个 SEL,方法的名称则会映射到这个 SEL。

官方注释:
Registers a method with the Objective-C runtime system, maps the method name to a selector, and returns the selector value.

所以我觉得 SEL 和 char * 的的确确是有某种一一对应的映射关系,不过 SEL 的本质是否是 char * 就要打一个问号了。因为我在调试 SEL 阶段发现 SEL 内还有一个当前 SEL 的指针,与 char * 不同的是当 char * 赋值之后当前 char * 变量指针指向字符串首字符,而 SEL 则是 ,即我们无法直接看到它。

所以我做了一个无聊的测试,用相同的字符串初始化一个 char * 实例与一个 SEL 实例,之后尝试打印它们,有趣的是不论我使用 %s 还是 %c 都可以从两个实例中得到相同的打印输出,不知道鱼神是否做过相同的测试(笑~)

嘛~ 经过验证我们可以肯定 SEL 和 char * 存在某种映射关系,可以相互转换。同时猜测 SEL 本质上就是 char *,如果有哪位知道 SEL 与 char * 确切关系的可以留言讨论哟。

YYClassPropertyInfo && property_t

YYClassPropertyInfo 是作者对 property_t 的封装,property_t 在 Runtime 中是用来表示属性的结构体。

  • YYClassPropertyInfo
1
2
3
4
5
6
7
8
9
10
11
12
13
@interface YYClassPropertyInfo : NSObject
@property (nonatomic, assign, readonly) objc_property_t property; ///< 属性
@property (nonatomic, strong, readonly) NSString *name; ///< 属性名称
@property (nonatomic, assign, readonly) YYEncodingType type; ///< 属性类型
@property (nonatomic, strong, readonly) NSString *typeEncoding; ///< 属性类型编码
@property (nonatomic, strong, readonly) NSString *ivarName; ///< 变量名称
@property (nullable, nonatomic, assign, readonly) Class cls; ///< 类型
@property (nullable, nonatomic, strong, readonly) NSArray<NSString *> *protocols; ///< 属性相关协议
@property (nonatomic, assign, readonly) SEL getter; ///< getter 方法选择器
@property (nonatomic, assign, readonly) SEL setter; ///< setter 方法选择器

- (instancetype)initWithProperty:(objc_property_t)property;
@end
  • property_t
1
2
3
4
struct property_t {
const char *name; // 名称
const char *attributes; // 修饰
};

为什么说 YYClassPropertyInfo 是作者对 property_t 的封装呢?

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
// runtime.h
typedef struct objc_property *objc_property_t;

// objc-private.h
#if __OBJC2__
typedef struct property_t *objc_property_t;
#else
typedef struct old_property *objc_property_t;
#endif

// objc-runtime-new.h
struct property_t {
const char *name;
const char *attributes;
};

这里唯一值得注意的就是 getter 与 setter 方法了。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
// 先尝试获取属性的 getter 与 setter
case 'G': {
type |= YYEncodingTypePropertyCustomGetter;
if (attrs[i].value) {
_getter = NSSelectorFromString([NSString stringWithUTF8String:attrs[i].value]);
}
} break;
case 'S': {
type |= YYEncodingTypePropertyCustomSetter;
if (attrs[i].value) {
_setter = NSSelectorFromString([NSString stringWithUTF8String:attrs[i].value]);
}
} break;

// 如果没有则按照标准规则自己造
if (!_getter) {
_getter = NSSelectorFromString(_name);
}
if (!_setter) {
_setter = NSSelectorFromString([NSString stringWithFormat:@"set%@%@:", [_name substringToIndex:1].uppercaseString, [_name substringFromIndex:1]]);
}

YYClassInfo && objc_class

最后作者用 YYClassInfo 封装了 objc_classobjc_class 在 Runtime 中表示一个 Objective-C 类。

  • YYClassInfo
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
@interface YYClassInfo : NSObject
@property (nonatomic, assign, readonly) Class cls; ///< 类
@property (nullable, nonatomic, assign, readonly) Class superCls; ///< 超类
@property (nullable, nonatomic, assign, readonly) Class metaCls; ///< 元类
@property (nonatomic, readonly) BOOL isMeta; ///< 元类标识,自身是否为元类
@property (nonatomic, strong, readonly) NSString *name; ///< 类名称
@property (nullable, nonatomic, strong, readonly) YYClassInfo *superClassInfo; ///< 父类(超类)信息
@property (nullable, nonatomic, strong, readonly) NSDictionary<NSString *, YYClassIvarInfo *> *ivarInfos; ///< 变量信息
@property (nullable, nonatomic, strong, readonly) NSDictionary<NSString *, YYClassMethodInfo *> *methodInfos; ///< 方法信息
@property (nullable, nonatomic, strong, readonly) NSDictionary<NSString *, YYClassPropertyInfo *> *propertyInfos; ///< 属性信息

- (void)setNeedUpdate;
- (BOOL)needUpdate;

+ (nullable instancetype)classInfoWithClass:(Class)cls;
+ (nullable instancetype)classInfoWithClassName:(NSString *)className;

@end
  • objc_class
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
// objc.h
typedef struct objc_class *Class;

// runtime.h
struct objc_class {
Class _Nonnull isa OBJC_ISA_AVAILABILITY; // isa 指针

#if !__OBJC2__
Class _Nullable super_class OBJC2_UNAVAILABLE; // 父类(超类)指针
const char * _Nonnull name OBJC2_UNAVAILABLE; // 类名
long version OBJC2_UNAVAILABLE; // 版本
long info OBJC2_UNAVAILABLE; // 信息
long instance_size OBJC2_UNAVAILABLE; // 初始尺寸
struct objc_ivar_list * _Nullable ivars OBJC2_UNAVAILABLE; // 变量列表
struct objc_method_list * _Nullable * _Nullable methodLists OBJC2_UNAVAILABLE; // 方法列表
struct objc_cache * _Nonnull cache OBJC2_UNAVAILABLE; // 缓存
struct objc_protocol_list * _Nullable protocols OBJC2_UNAVAILABLE; // 协议列表
#endif

} OBJC2_UNAVAILABLE;

额… 看来想完全避开 Runtime 的知识来讲 YYModel 源码是不现实的。这里简单介绍一下 Runtime 中关于 Class 的知识以便阅读,已经熟悉这方面知识的同学就当温习一下好了。

  • isa 指针,用于找到所属类,类对象的 isa 一般指向对应元类。
  • 元类,由于 objc_class 继承于 objc_object,即类本身同时也是一个对象,所以 Runtime 库设计出元类用以表述类对象自身所具备的元数据。
  • cache,实际上当一个对象收到消息时并不会直接在 isa 指向的类的方法列表中遍历查找能够响应消息的方法,因为这样效率太低了。为了优化方法调用的效率,加入了 cache,也就是说在收到消息时,会先去 cache 中查找,找不到才会去像上图所示遍历查找,相信苹果为了提升缓存命中率,应该也花了一些心思(笑~)。
  • version,我们可以使用这个字段来提供类的版本信息。这对于对象的序列化非常有用,它可是让我们识别出不同类定义版本中实例变量布局的改变。

关于 Version 的官方描述:
Classes derived from the Foundation framework NSObject class can set the class-definition version number using the setVersion: class method, which is implemented using the class_setVersion function.

YYClassInfo 的初始化细节

关于 YYClassInfo 的初始化细节我觉得还是有必要分享出来的。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
+ (instancetype)classInfoWithClass:(Class)cls {
// 判空入参
if (!cls) return nil;

// 单例缓存 classCache 与 metaCache,对应缓存类和元类
static CFMutableDictionaryRef classCache;
static CFMutableDictionaryRef metaCache;
static dispatch_once_t onceToken;
static dispatch_semaphore_t lock;
dispatch_once(&onceToken, ^{
classCache = CFDictionaryCreateMutable(CFAllocatorGetDefault(), 0, &kCFTypeDictionaryKeyCallBacks, &kCFTypeDictionaryValueCallBacks);
metaCache = CFDictionaryCreateMutable(CFAllocatorGetDefault(), 0, &kCFTypeDictionaryKeyCallBacks, &kCFTypeDictionaryValueCallBacks);
// 这里把 dispatch_semaphore 当做锁来使用(当信号量只有 1 时)
lock = dispatch_semaphore_create(1);
});

// 初始化之前,首先会根据当前 YYClassInfo 是否为元类去对应的单例缓存中查找
// 这里使用了上面的 dispatch_semaphore 加锁,保证单例缓存的线程安全
dispatch_semaphore_wait(lock, DISPATCH_TIME_FOREVER);
YYClassInfo *info = CFDictionaryGetValue(class_isMetaClass(cls) ? metaCache : classCache, (__bridge const void *)(cls));
// 如果找到了,且找到的信息需要更新的话则执行更新操作
if (info && info->_needUpdate) {
[info _update];
}
dispatch_semaphore_signal(lock);

// 如果没找到,才会去老实初始化
if (!info) {
info = [[YYClassInfo alloc] initWithClass:cls];
if (info) { // 初始化成功
// 线程安全
dispatch_semaphore_wait(lock, DISPATCH_TIME_FOREVER);
// 根据初始化信息选择向对应的类/元类缓存注入信息,key = cls,value = info
CFDictionarySetValue(info.isMeta ? metaCache : classCache, (__bridge const void *)(cls), (__bridge const void *)(info));
dispatch_semaphore_signal(lock);
}
}

return info;
}

总结一下初始化的主要步骤:

  • 创建单例缓存,类缓存和元类缓存
  • 使用 dispatch_semaphore 作为锁保证缓存线程安全
  • 初始化前先去缓存中查找是否已经向缓存中注册过当前要初始化的 YYClassInfo
  • 如果查找到缓存对象,则判断缓存对象是否需要更新并执行相关操作
  • 如果缓存中未找到缓存对象则初始化
  • 初始化成功后向缓存中注册该 YYClassInfo 实例

其中,使用缓存可以有效减少我们在 JSON 模型转换时反复初始化 YYClassInfo 带来的开销,而 dispatch_semaphore 在信号量为 1 时是可以当做锁来使用的,虽然它在阻塞时效率超低,但是对于代码中的缓存阻塞这里属于低频事件,使用 dispatch_semaphore 在非阻塞状态下性能很高,这里锁的选择非常合适。

关于 YYClassInfo 的更新

首先 YYClassInfo 是作者对应 objc_class 封装出来的类,所以理应在其对应的 objc_class 实例发生变化时更新。那么 objc_class 什么时候会发生变化呢?

嘛~ 比如你使用了 class_addMethod 方法为你的模型类加入了一个方法等等。

YYClassInfo 有一个私有 BOOL 类型参数 _needUpdate 用以表示当前的 YYClassInfo 实例是否需要更新,并且提供了 - (void)setNeedUpdate; 接口方便我们在更改了自己的模型类时调用其将 _needUpdate 设置为 YES,当 _needUpdate 为 YES 时后面就不用我说了,相关的代码在上一节初始化中有哦。

1
2
3
if (info && info->_needUpdate) {
[info _update];
}

简单介绍一下 _update,它是 YYClassInfo 的私有方法,它的实现逻辑简单介绍就是清空当前 YYClassInfo 实例变量,方法以及属性,之后再重新初始化它们。由于 _update 实现源码并没有什么特别之处,我这里就不贴源码了。

嘛~ 对 YYClassInfo 的剖析到这里就差不多了。

NSObject+YYModel 探究

如果说 YYClassInfo 主要是作者对 Runtime 层在 JSON 模型转换中需要用到的结构体的封装,那么 NSObject+YYModel 在 YYModel 中担当的责任则是利用 YYClassInfo 层级封装好的类切实的执行 JSON 模型之间的转换逻辑,并且提供了无侵入性的接口。

第一次阅读 NSObject+YYModel.m 的源码可能会有些不适应,这很正常。因为其大量使用了 Runtime 函数与 CoreFoundation 库,加上各种类型编码和递归解析,代码量也有 1800 多行了。

我简单把 NSObject+YYModel.m 的源码做了一下划分,这样划分之后代码看起来一样很简单清晰:

  • 类型编码解析
  • 数据结构定义
  • 递归模型转换
  • 接口相关代码

类型编码解析

类型编码解析代码主要集中在 NSObject+YYModel.m 的上面部分,涉及到 YYEncodingNSType 枚举的定义,配套 YYClassGetNSType 函数将 NS 类型转为 YYEncodingNSType 还有 YYEncodingTypeIsCNumber 函数判断类型是否可以直接转为 C 语言数值类型的函数。

此外还有将 id 指针转为对应 NSNumber 的函数 YYNSNumberCreateFromID,将 NSString 转为 NSDate 的 YYNSDateFromString 函数,这类函数主要是方便在模型转换时使用。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
static force_inline NSDate *YYNSDateFromString(__unsafe_unretained NSString *string) {
typedef NSDate* (^YYNSDateParseBlock)(NSString *string);
// YYNSDateFromString 支持解析的最长时间字符串
#define kParserNum 34
// 这里创建了一个单例时间解析代码块数组
// 为了避免重复创建这些 NSDateFormatter,它的初始化开销不小
static YYNSDateParseBlock blocks[kParserNum + 1] = {0};
static dispatch_once_t onceToken;
dispatch_once(&onceToken, ^{
// 这里拿 `yyyy-MM-dd` 举例分析
{
/*
2014-01-20 // Google
*/
NSDateFormatter *formatter = [[NSDateFormatter alloc] init];
formatter.locale = [[NSLocale alloc] initWithLocaleIdentifier:@"en_US_POSIX"];
formatter.timeZone = [NSTimeZone timeZoneForSecondsFromGMT:0];
formatter.dateFormat = @"yyyy-MM-dd";
// 这里使用 blocks[10] 是因为 `yyyy-MM-dd` 的长度就是 10
blocks[10] = ^(NSString *string) { return [formatter dateFromString:string]; };
}

// 其他的格式都是一样类型的代码,省略
...
});

if (!string) return nil;
if (string.length > kParserNum) return nil;
// 根据入参的长度去刚才存满各种格式时间解析代码块的单例数组取出对应的代码块执行
YYNSDateParseBlock parser = blocks[string.length];
if (!parser) return nil;
return parser(string);
#undef kParserNum
}

Note: 在 iOS 7 之前 NSDateFormatter 是非线程安全的。

除此之外还用 YYNSBlockClass 指向了 NSBlock 类,实现过程也比较巧妙。

1
2
3
4
5
6
7
8
9
10
11
12
13
static force_inline Class YYNSBlockClass() {
static Class cls;
static dispatch_once_t onceToken;
dispatch_once(&onceToken, ^{
void (^block)(void) = ^{};
cls = ((NSObject *)block).class;
// 轮询父类直到父类指向 NSObject 停止
while (class_getSuperclass(cls) != [NSObject class]) {
cls = class_getSuperclass(cls);
}
});
return cls; // 拿到的就是 "NSBlock"
}

关于 force_inline 这种代码技巧,我说过我在写完 YYModel 或者攒到足够多的时候会主动拿出来与大家分享这些代码技巧,不过这里大家通过字面也不难理解,就是强制内联。

嘛~ 关于内联函数应该不需要我多说(笑)。

数据结构定义

NSObject+YYModel 中重新定义了两个类,通过它们来使用 YYClassInfo 中的封装。

NSObject+YYModel YYClassInfo
_YYModelPropertyMeta YYClassPropertyInfo
_YYModelMeta YYClassInfo

_YYModelPropertyMeta

_YYModelPropertyMeta 表示模型对象中的属性信息,它包含 YYClassPropertyInfo。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
@interface _YYModelPropertyMeta : NSObject {
@package
NSString *_name; ///< 属性名称
YYEncodingType _type; ///< 属性类型
YYEncodingNSType _nsType; ///< 属性在 Foundation 框架中的类型
BOOL _isCNumber; ///< 是否为 CNumber
Class _cls; ///< 属性类
Class _genericCls; ///< 属性包含的泛型类型,没有则为 nil
SEL _getter; ///< getter
SEL _setter; ///< setter
BOOL _isKVCCompatible; ///< 如果可以使用 KVC 则返回 YES
BOOL _isStructAvailableForKeyedArchiver; ///< 如果可以使用 archiver/unarchiver 归/解档则返回 YES
BOOL _hasCustomClassFromDictionary; ///< 类/泛型自定义类型,例如需要在数组中实现不同类型的转换需要用到

/*
property->key: _mappedToKey:key _mappedToKeyPath:nil _mappedToKeyArray:nil
property->keyPath: _mappedToKey:keyPath _mappedToKeyPath:keyPath(array) _mappedToKeyArray:nil
property->keys: _mappedToKey:keys[0] _mappedToKeyPath:nil/keyPath _mappedToKeyArray:keys(array)
*/
NSString *_mappedToKey; ///< 映射 key
NSArray *_mappedToKeyPath; ///< 映射 keyPath,如果没有映射到 keyPath 则返回 nil
NSArray *_mappedToKeyArray; ///< key 或者 keyPath 的数组,如果没有映射多个键的话则返回 nil
YYClassPropertyInfo *_info; ///< 属性信息,详见上文 YYClassPropertyInfo && property_t 章节
_YYModelPropertyMeta *_next; ///< 如果有多个属性映射到同一个 key 则指向下一个模型属性元
}
@end

_YYModelMeta

_YYModelMeta 表示模型的类信息,它包含 YYClassInfo。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
@interface _YYModelMeta : NSObject {
@package
YYClassInfo *_classInfo;
/// Key:被映射的 key 与 keyPath, Value:_YYModelPropertyMeta.
NSDictionary *_mapper;
/// Array<_YYModelPropertyMeta>, 当前模型的所有 _YYModelPropertyMeta 数组
NSArray *_allPropertyMetas;
/// Array<_YYModelPropertyMeta>, 被映射到 keyPath 的 _YYModelPropertyMeta 数组
NSArray *_keyPathPropertyMetas;
/// Array<_YYModelPropertyMeta>, 被映射到多个 key 的 _YYModelPropertyMeta 数组
NSArray *_multiKeysPropertyMetas;
/// 映射 key 与 keyPath 的数量,等同于 _mapper.count
NSUInteger _keyMappedCount;
/// 模型 class 类型
YYEncodingNSType _nsType;

// 忽略
...
}
@end

递归模型转换

NSObject+YYModel.m 内写了一些(间接)递归模型转换相关的函数,如 ModelToJSONObjectRecursive 之类的,由于涉及繁杂的模型编码解析以及代码量比较大等原因我不准备放在这里详细讲解。

我认为这种逻辑并不复杂但是牵扯较多的函数代码与结构/类型定义代码不同,后者更适合列出源码让读者对数据有全面清醒的认识,而前者结合功能实例讲更容易使读者对整条功能的流程有一个更透彻的理解。

所以我准备放到后面 JSON 与 Model 相互转换时一起讲。

接口相关代码

嘛~ 理由同上。

半章总结

  • 文章对 YYModel 源码进行了系统解读,有条理的介绍了 YYModel 的结构,相信会让各位对 YYModel 的代码结构有一个清晰的认识。
  • 深入剖析了 YYClassInfo 的 4 个类,并详细讲解了它们与 Runtime 层级结构体的对应。
  • 在剖析 YYClassInfo 章节中分享了一些我在阅读源码的过程中发现的并且觉得值得分享的处理细节,比如为什么作者选择用 strong 来修饰 NSString 等。顺便还对 SEL 与 char * 的关系做了实验得出了我的推论。
  • 把 YYClassInfo 的初始化以及更新细节单独拎出来做了分析。
  • 探究 NSObject+YYModel 源码(分享了一些实现细节)并对其实现代码做了划分,希望能够对读者阅读 YYModel 源码时提供一些小小的帮助。

嘛~ 上篇差不多就这样了。我写的上一篇 YYKit 源码系列文章【从 YYCache 源码 Get 到如何设计一个优秀的缓存】收到了不少的好评和支持(掘金里一位读者 @ios123456 的评论更是暖化了我),这些美好的东西让我更加坚定了继续用心创作文章的决心。

文章写得比较用心(是我个人的原创文章,转载请注明 https://lision.me/),如果发现错误会优先在我的 个人博客 中更新。如果有任何问题欢迎在我的微博 @Lision 联系我~

希望我的文章可以为你带来价值~

从 YYCache 源码 Get 到如何设计一个优秀的缓存

前言

iOS 开发中总会用到各种缓存,但是各位有没有考虑过什么样的缓存才能被叫做优秀的缓存,或者说优秀的缓存应该具备哪些特质?

闭上眼睛,想一想如果面试官让你设计一个缓存你会怎么回答?

本文将结合 YYCache 的源码逐步带大家找到答案。

YYCache 是一个线程安全的高性能键值缓存(该项目是 YYKit 组件之一)。YYKit 是在 2015 年发布到 Github 的,由于其代码质量很高,在短时间内就收获了大量的 Star(目前已经 1w+ Star 了),而且在 iOS 各大社区反响广泛,Google 一下也是漫天赞叹。

YYKit 作者是 @ibireme,原名郭曜源(猜测 YY 前缀来源于曜源?),是我个人非常喜欢的国人开发者(何止喜欢,简直是迷弟😘)。

YYCache 的代码逻辑清晰,注释详尽,加上自身不算太大的代码量使得其阅读非常简单,更加难能可贵的是它的性能还非常高。

我对它的评价是小而美,这种小而美的缓存源码对于我们今天的主题太合适不过了(本文中 YYCache 源码版本为 v1.0.4)。

索引

  • YYCache 简介
  • YYMemoryCache 细节剖析
  • YYDiskCache 细节剖析
  • 优秀的缓存应该具备哪些特质
  • 总结

YYCache 简介

简单把 YYCache 从头到尾撸了一遍,最大的感触就是代码风格干净整洁,代码思路清晰明了。

由于代码整体阅读难度不是非常大,本文不会去逐字逐句的解读源码,而是提炼 YYCache 作为一个小而美的缓存实现了哪些缓存该具备的特质,并且分析实现细节。

我们先来简单看一下 YYCache 的代码结构,YYCache 是由 YYMemoryCache 与 YYDiskCache 两部分组成的,其中 YYMemoryCache 作为高速内存缓存,而 YYDiskCache 则作为低速磁盘缓存。

通常一个缓存是由内存缓存和磁盘缓存组成,内存缓存提供容量小但高速的存取功能,磁盘缓存提供大容量但低速的持久化存储。

1
2
3
4
5
6
7
8
9
10
11
12
@interface YYCache : NSObject

@property (copy, readonly) NSString *name;
@property (strong, readonly) YYMemoryCache *memoryCache;
@property (strong, readonly) YYDiskCache *diskCache;

- (BOOL)containsObjectForKey:(NSString *)key;
- (nullable id<NSCoding>)objectForKey:(NSString *)key;
- (void)setObject:(nullable id<NSCoding>)object forKey:(NSString *)key;
- (void)removeObjectForKey:(NSString *)key;

@end

上面的代码我做了简化,只保留了最基本的代码(我认为作者在最初设计 YYCache 雏形时很可能也只是提供了这些基本的接口),其他的接口只是通过调用基本的接口再附加对应处理代码而成。

Note: 其实源码中作者用了一些技巧性的宏,例如 NS_ASSUME_NONNULL_BEGINNS_ASSUME_NONNULL_END 来通过编译器层检测入参是否为空并给予警告,参见 Nullability and Objective-C

类似上述的编码技巧还有很多,我并非不想与大家分享我 get 到的这些编码技巧,只是觉得它与本文的主题似乎不太相符。我准备在之后专门写一篇文章来与大家分享我在阅读各大源码库过程中 get 到的编码技巧(感兴趣的话可以 关注我)。

从代码中我们可以看到 YYCache 中持有 YYMemoryCache 与 YYDiskCache,并且对外提供了一些接口。这些接口基本都是基于 Key 和 Value 设计的,类似于 iOS 原生的字典类接口(增删改查)。

YYMemoryCache 细节剖析

YYMemoryCache 是一个高速的内存缓存,用于存储键值对。它与 NSDictionary 相反,Key 被保留并且不复制。API 和性能类似于 NSCache,所有方法都是线程安全的。

YYMemoryCache 对象与 NSCache 的不同之处在于:

  • YYMemoryCache 使用 LRU(least-recently-used) 算法来驱逐对象;NSCache 的驱逐方式是非确定性的。
  • YYMemoryCache 提供 age、cost、count 三种方式控制缓存;NSCache 的控制方式是不精确的。
  • YYMemoryCache 可以配置为在收到内存警告或者 App 进入后台时自动逐出对象。

Note: YYMemoryCache 中的 Access Methods 消耗时长通常是稳定的 (O(1))

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
@interface YYMemoryCache : NSObject

#pragma mark - Attribute
@property (nullable, copy) NSString *name; // 缓存名称,默认为 nil
@property (readonly) NSUInteger totalCount; // 缓存对象总数
@property (readonly) NSUInteger totalCost; // 缓存对象总开销


#pragma mark - Limit
@property NSUInteger countLimit; // 缓存对象数量限制,默认无限制,超过限制则会在后台逐出一些对象以满足限制
@property NSUInteger costLimit; // 缓存开销数量限制,默认无限制,超过限制则会在后台逐出一些对象以满足限制
@property NSTimeInterval ageLimit; // 缓存时间限制,默认无限制,超过限制则会在后台逐出一些对象以满足限制

@property NSTimeInterval autoTrimInterval; // 缓存自动清理时间间隔,默认 5s

@property BOOL shouldRemoveAllObjectsOnMemoryWarning; // 是否应该在收到内存警告时删除所有缓存内对象
@property BOOL shouldRemoveAllObjectsWhenEnteringBackground; // 是否应该在 App 进入后台时删除所有缓存内对象

@property (nullable, copy) void(^didReceiveMemoryWarningBlock)(YYMemoryCache *cache); // 我认为这是一个 hook,便于我们在收到内存警告时自定义处理缓存
@property (nullable, copy) void(^didEnterBackgroundBlock)(YYMemoryCache *cache); // 我认为这是一个 hook,便于我们在收到 App 进入后台时自定义处理缓存

@property BOOL releaseOnMainThread; // 是否在主线程释放对象,默认 NO,有些对象(例如 UIView/CALayer)应该在主线程释放
@property BOOL releaseAsynchronously; // 是否异步释放对象,默认 YES

- (BOOL)containsObjectForKey:(id)key;

- (nullable id)objectForKey:(id)key;

- (void)setObject:(nullable id)object forKey:(id)key;
- (void)setObject:(nullable id)object forKey:(id)key withCost:(NSUInteger)cost;
- (void)removeObjectForKey:(id)key;
- (void)removeAllObjects;


#pragma mark - Trim
- (void)trimToCount:(NSUInteger)count; // 用 LRU 算法删除对象,直到 totalCount <= count
- (void)trimToCost:(NSUInteger)cost; // 用 LRU 算法删除对象,直到 totalCost <= cost
- (void)trimToAge:(NSTimeInterval)age; // 用 LRU 算法删除对象,直到所有到期对象全部被删除

@end

YYMemoryCache 的定义代码比较简单~ 该有的注释我已经加到了上面,这里 LRU 算法的实现我准备单独拎出来放到后面和(_YYLinkedMapNode_YYLinkedMap)一起讲。我们这里只需要再关注一下 YYMemoryCache 是如何做到线程安全的。

YYMemoryCache 是如何做到线程安全的

1
2
3
4
5
@implementation YYMemoryCache {
pthread_mutex_t _lock; // 线程锁,旨在保证 YYMemoryCache 线程安全
_YYLinkedMap *_lru; // _YYLinkedMap,YYMemoryCache 通过它间接操作缓存对象
dispatch_queue_t _queue; // 串行队列,用于 YYMemoryCache 的 trim 操作
}

没错,这里 ibireme 选择使用 pthread_mutex 线程锁来确保 YYMemoryCache 的线程安全。

有趣的是,这里 ibireme 使用 pthread_mutex 是有一段小故事的。在最初 YYMemoryCache 这里使用的锁是 OSSpinLock 自旋锁(详见 YYCache 设计思路 备注-关于锁),后面有人在 Github 向作者提 issue 反馈 OSSpinLock 不安全,经过作者的确认(详见 不再安全的 OSSpinLock)最后选择用 pthread_mutex 替代 OSSpinLock

上面是 ibireme 在确认 OSSpinLock 不再安全之后为了寻找替代方案做的简单性能测试,对比了一下几种能够替代 OSSpinLock 锁的性能。在 不再安全的 OSSpinLock 文末的评论中,我找到了作者使用 pthread_mutex 的原因。

ibireme: 苹果员工说 libobjc 里 spinlock 是用了一些私有方法 (mach_thread_switch),贡献出了高线程的优先来避免优先级反转的问题,但是我翻了下 libdispatch 的源码倒是没发现相关逻辑,也可能是我忽略了什么。在我的一些测试中,OSSpinLockdispatch_semaphore 都不会产生特别明显的死锁,所以我也无法确定用 dispatch_semaphore 代替 OSSpinLock 是否正确。能够肯定的是,用 pthread_mutex 是安全的。

_YYLinkedMapNode_YYLinkedMap

上文介绍了 YYMemoryCache,其实 YYMemoryCache 并不直接操作缓存对象,而是通过内部的 _YYLinkedMapNode_YYLinkedMap 来间接的操作缓存对象。这两个类对于上文中提到的 LRU 缓存算法的理解至关重要,所以我把他们俩单独拎出来放在这里详细解读一下。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

/**
_YYLinkedMap 中的一个节点。
通常情况下我们不应该使用这个类。
*/
@interface _YYLinkedMapNode : NSObject {
@package
__unsafe_unretained _YYLinkedMapNode *_prev; // __unsafe_unretained 是为了性能优化,节点被 _YYLinkedMap 的 _dic 强引用
__unsafe_unretained _YYLinkedMapNode *_next; // __unsafe_unretained 是为了性能优化,节点被 _YYLinkedMap 的 _dic 强引用
id _key;
id _value;
NSUInteger _cost; // 记录开销,对应 YYMemoryCache 提供的 cost 控制
NSTimeInterval _time; // 记录时间,对应 YYMemoryCache 提供的 age 控制
}
@end


/**
YYMemoryCache 内的一个链表。
_YYLinkedMap 不是一个线程安全的类,而且它也不对参数做校验。
通常情况下我们不应该使用这个类。
*/
@interface _YYLinkedMap : NSObject {
@package
CFMutableDictionaryRef _dic; // 不要直接设置该对象
NSUInteger _totalCost;
NSUInteger _totalCount;
_YYLinkedMapNode *_head; // MRU, 最常用节点,不要直接修改它
_YYLinkedMapNode *_tail; // LRU, 最少用节点,不要直接修改它
BOOL _releaseOnMainThread; // 对应 YYMemoryCache 的 releaseOnMainThread
BOOL _releaseAsynchronously; // 对应 YYMemoryCache 的 releaseAsynchronously
}

// 链表操作,看接口名称应该不需要注释吧~
- (void)insertNodeAtHead:(_YYLinkedMapNode *)node;
- (void)bringNodeToHead:(_YYLinkedMapNode *)node;
- (void)removeNode:(_YYLinkedMapNode *)node;
- (_YYLinkedMapNode *)removeTailNode;
- (void)removeAll;

@end

为了方便大家阅读,我标注了必要的中文注释。其实对数据结构与算法不陌生的同学应该一眼就看的出来 _YYLinkedMapNode_YYLinkedMap 这俩货的本质。没错,丫就是双向链表节点和双向链表。

_YYLinkedMapNode 作为双向链表节点,除了基本的 _prev_next,还有键值缓存基本的 _key_value我们可以把 _YYLinkedMapNode 理解为 YYMemoryCache 中的一个缓存对象

_YYLinkedMap 作为由 _YYLinkedMapNode 节点组成的双向链表,使用 CFMutableDictionaryRef _dic 字典存储 _YYLinkedMapNode。这样在确保 _YYLinkedMapNode 被强引用的同时,能够利用字典的 Hash 快速定位用户要访问的缓存对象,这样既符合了键值缓存的概念又省去了自己实现的麻烦(笑)。

嘛~ 总得来说 YYMemoryCache 是通过使用 _YYLinkedMap 双向链表来操作 _YYLinkedMapNode 缓存对象节点的。

LRU(least-recently-used) 算法的实现

上文我们认清了 _YYLinkedMap_YYLinkedMapNode 本质上就是双向链表和链表节点,这里我们简单讲一下 YYMemoryCache 是如何利用双向链表实现 LRU(least-recently-used) 算法的。

缓存替换策略

首先 LRU 是缓存替换策略(Cache replacement policies)的一种,还有很多缓存替换策略诸如:

  • First In First Out (FIFO)
  • Last In First Out (LIFO)
  • Time aware Least Recently Used (TLRU)
  • Most Recently Used (MRU)
  • Pseudo-LRU (PLRU)
  • Random Replacement (RR)
  • Segmented LRU (SLRU)
  • Least-Frequently Used (LFU)
  • Least Frequent Recently Used (LFRU)
  • LFU with Dynamic Aging (LFUDA)
  • Low Inter-reference Recency Set (LIRS)
  • Adaptive Replacement Cache (ARC)
  • Clock with Adaptive Replacement (CAR)
  • Multi Queue (MQ) caching algorithm|Multi Queue (MQ)
  • Pannier: Container-based caching algorithm for compound objects

是不是被唬到了?不要担心,我这里会表述的尽量易懂。

缓存命中率

为什么有这么多缓存替换策略,或者说搞这么多名堂究竟是为了什么呢?

答案是提高缓存命中率,那么何谓缓存命中率呢?

Google 一下自然是有不少解释,不过很多都是 web 相关的,而且不说人话(很难理解),我个人非常讨厌各种不说人话的“高深”抽象概念。

这里抖了好几抖胆才敢谈一下我对于缓存命中率的理解(限于 YYCache 和 iOS 开发)。

  • 缓存命中 = 用户要访问的缓存对象在高速缓存中,我们直接在高速缓存中通过 Hash 将其找到并返回给用户。
  • 缓存命中率 = 用户要访问的缓存对象在高速缓存中被我们访问到的概率。

既然谈到了自己的理解,我索性说个够。

  • 缓存丢失 = 由于高速缓存数量有限(占据内存等原因),所以用户要访问的缓存对象很有可能被我们从有限的高速缓存中淘汰掉了,我们可能会将其存储于低速的磁盘缓存中(如果磁盘缓存还有资源的话),那么就要从磁盘缓存中获取该缓存对象以返回给用户,这种情况我理解为(高速)缓存未命中,即缓存丢失(并不是真的被我们丢掉了,但肯定是被我们从高速缓存淘汰掉了)。

缓存命中是 cache-hit,那么如果你玩游戏,可以理解为这次 hit miss 了(笑,有人找我开黑吗)。

LRU

首先来讲一下 LRU 的概念让大家有一个基本的认识。LRU(least-recently-used) 翻译过来是“最近最少使用”,顾名思义这种缓存替换策略是基于用户最近最少访问过的缓存对象而建立。

我认为 LRU 缓存替换策略的核心思想在于:LRU 认为用户最新使用(访问)过的缓存对象为高频缓存对象,即用户很可能还会再次使用(访问)该缓存对象;而反之,用户很久之前使用(访问)过的缓存对象(期间一直没有再次访问)为低频缓存对象,即用户很可能不会再去使用(访问)该缓存对象,通常在资源不足时会先去释放低频缓存对象。

_YYLinkedMapNode_YYLinkedMap 实现 LRU

YYCache 作者通过 _YYLinkedMapNode_YYLinkedMap 双向链表实现 LRU 缓存替换策略的思路其实很简捷清晰,我们一步一步来看。

双向链表中有头结点和尾节点:

  • 头结点 = 链表中用户最近一次使用(访问)的缓存对象节点,MRU。
  • 尾节点 = 链表中用户已经很久没有再次使用(访问)的缓存对象节点,LRU。

如何让头结点和尾节点指向我们想指向的缓存对象节点?我们结合代码来看:

  • 在用户使用(访问)时更新缓存节点信息,并将其移动至双向链表头结点。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
- (id)objectForKey:(id)key {
// 判断入参
if (!key) return nil;
pthread_mutex_lock(&_lock);
// 找到对应缓存节点
_YYLinkedMapNode *node = CFDictionaryGetValue(_lru->_dic, (__bridge const void *)(key));
if (node) {
// 更新缓存节点时间,并将其移动至双向链表头结点
node->_time = CACurrentMediaTime();
[_lru bringNodeToHead:node];
}
pthread_mutex_unlock(&_lock);
// 返回找到的缓存节点 value
return node ? node->_value : nil;
}
  • 在用户设置缓存对象时,判断入参 key 对应的缓存对象节点是否存在?存在则更新缓存对象节点并将节点移动至链表头结点;不存在则根据入参生成新的缓存对象节点并插入链表表头。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
- (void)setObject:(id)object forKey:(id)key withCost:(NSUInteger)cost {
// 判断入参,省略
...
pthread_mutex_lock(&_lock);
// 判断入参 key 对应的缓存对象节点是否存在
_YYLinkedMapNode *node = CFDictionaryGetValue(_lru->_dic, (__bridge const void *)(key));
NSTimeInterval now = CACurrentMediaTime();
if (node) {
// 存在则更新缓存对象节点并将节点移动至链表头结点
_lru->_totalCost -= node->_cost;
_lru->_totalCost += cost;
node->_cost = cost;
node->_time = now;
node->_value = object;
[_lru bringNodeToHead:node];
} else {
// 不存在则根据入参生成新的缓存对象节点并插入链表表头
node = [_YYLinkedMapNode new];
node->_cost = cost;
node->_time = now;
node->_key = key;
node->_value = object;
[_lru insertNodeAtHead:node];
}
// 判断插入、更新节点之后是否超过了限制 cost、count,如果超过则 trim,省略
...
pthread_mutex_unlock(&_lock);
}
  • 在资源不足时,从双线链表的尾节点(LRU)开始清理缓存,释放资源。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
// 这里拿 count 资源举例,cost、age 自己举一反三
- (void)_trimToCount:(NSUInteger)countLimit {
// 判断 countLimit 为 0,则全部清空缓存,省略
// 判断 _lru->_totalCount <= countLimit,没有超出资源限制则不作处理,省略
...

NSMutableArray *holder = [NSMutableArray new];
while (!finish) {
if (pthread_mutex_trylock(&_lock) == 0) {
if (_lru->_totalCount > countLimit) {
// 从双线链表的尾节点(LRU)开始清理缓存,释放资源
_YYLinkedMapNode *node = [_lru removeTailNode];
if (node) [holder addObject:node];
} else {
finish = YES;
}
pthread_mutex_unlock(&_lock);
} else {
// 使用 usleep 以微秒为单位挂起线程,在短时间间隔挂起线程
// 对比 sleep 用 usleep 能更好的利用 CPU 时间
usleep(10 * 1000); //10 ms
}
}

// 判断是否需要在主线程释放,采取释放缓存对象操作
if (holder.count) {
dispatch_queue_t queue = _lru->_releaseOnMainThread ? dispatch_get_main_queue() : YYMemoryCacheGetReleaseQueue();
dispatch_async(queue, ^{
// 异步释放,我们单独拎出来讲
[holder count]; // release in queue
});
}
}

嘛~ 是不是感觉敲简单?上面代码去掉了可能会分散大家注意力的代码,我们这里仅仅讨论 LRU 的实现,其余部分的具体实现源码也非常简单,我觉得没必要贴出来单独讲解,感兴趣的同学可以自己去 YYCache 下载源码查阅。

异步释放技巧

关于上面的异步释放缓存对象的代码,我觉得还是有必要单独拎出来讲一下的:

1
2
3
4
5
dispatch_queue_t queue = _lru->_releaseOnMainThread ? dispatch_get_main_queue() : YYMemoryCacheGetReleaseQueue();
dispatch_async(queue, ^{
// 异步释放,我们单独拎出来讲
[holder count]; // release in queue
});

这个技巧 ibireme 在他的另一篇文章 iOS 保持界面流畅的技巧 中有提及:

Note: 对象的销毁虽然消耗资源不多,但累积起来也是不容忽视的。通常当容器类持有大量对象时,其销毁时的资源消耗就非常明显。同样的,如果对象可以放到后台线程去释放,那就挪到后台线程去。这里有个小 Tip:把对象捕获到 block 中,然后扔到后台队列去随便发送个消息以避免编译器警告,就可以让对象在后台线程销毁了。

而上面代码中的 YYMemoryCacheGetReleaseQueue 这个队列源码为:

1
2
3
4
// 静态内联 dispatch_queue_t
static inline dispatch_queue_t YYMemoryCacheGetReleaseQueue() {
return dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_LOW, 0);
}

在源码中可以看到 YYMemoryCacheGetReleaseQueue 是一个低优先级 DISPATCH_QUEUE_PRIORITY_LOW 队列,猜测这样设计的原因是可以让 iOS 在系统相对空闲时再来异步释放缓存对象。

YYDiskCache 细节剖析

YYDiskCache 是一个线程安全的磁盘缓存,用于存储由 SQLite 和文件系统支持的键值对(类似于 NSURLCache 的磁盘缓存)。

YYDiskCache 具有以下功能:

  • 它使用 LRU(least-recently-used) 来删除对象。
  • 支持按 cost,count 和 age 进行控制。
  • 它可以被配置为当没有可用的磁盘空间时自动驱逐缓存对象。
  • 它可以自动抉择每个缓存对象的存储类型(sqlite/file)以便提供更好的性能表现。

Note: 您可以编译最新版本的 sqlite 并忽略 iOS 系统中的 libsqlite3.dylib 来获得 2x〜4x 的速度提升。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
@interface YYDiskCache : NSObject

#pragma mark - Attribute
@property (nullable, copy) NSString *name; // 缓存名称,默认为 nil
@property (readonly) NSString *path; // 缓存路径

@property (readonly) NSUInteger inlineThreshold; // 阈值,大于阈值则存储类型为 file;否则存储类型为 sqlite

@property (nullable, copy) NSData *(^customArchiveBlock)(id object); // 用来替换 NSKeyedArchiver,你可以使用该代码块以支持没有 conform `NSCoding` 协议的对象
@property (nullable, copy) id (^customUnarchiveBlock)(NSData *data); // 用来替换 NSKeyedUnarchiver,你可以使用该代码块以支持没有 conform `NSCoding` 协议的对象

@property (nullable, copy) NSString *(^customFileNameBlock)(NSString *key); // 当一个对象将以 file 的形式保存时,该代码块用来生成指定文件名。如果为 nil,则默认使用 md5(key) 作为文件名

#pragma mark - Limit
@property NSUInteger countLimit; // 缓存对象数量限制,默认无限制,超过限制则会在后台逐出一些对象以满足限制
@property NSUInteger costLimit; // 缓存开销数量限制,默认无限制,超过限制则会在后台逐出一些对象以满足限制
@property NSTimeInterval ageLimit; // 缓存时间限制,默认无限制,超过限制则会在后台逐出一些对象以满足限制
@property NSUInteger freeDiskSpaceLimit; // 缓存应该保留的最小可用磁盘空间(以字节为单位),默认无限制,超过限制则会在后台逐出一些对象以满足限制

@property NSTimeInterval autoTrimInterval; // 缓存自动清理时间间隔,默认 60s
@property BOOL errorLogsEnabled; // 是否开启错误日志

#pragma mark - Initializer
- (nullable instancetype)initWithPath:(NSString *)path
inlineThreshold:(NSUInteger)threshold NS_DESIGNATED_INITIALIZER;

- (BOOL)containsObjectForKey:(NSString *)key;

- (nullable id<NSCoding>)objectForKey:(NSString *)key;

- (void)setObject:(nullable id<NSCoding>)object forKey:(NSString *)key;

- (void)removeObjectForKey:(NSString *)key;
- (void)removeAllObjects;

- (NSInteger)totalCount;
- (NSInteger)totalCost;

#pragma mark - Trim
- (void)trimToCount:(NSUInteger)count;
- (void)trimToCost:(NSUInteger)cost;
- (void)trimToAge:(NSTimeInterval)age;

#pragma mark - Extended Data
+ (nullable NSData *)getExtendedDataFromObject:(id)object;
+ (void)setExtendedData:(nullable NSData *)extendedData toObject:(id)object;

@end

YYDiskCache 结构与 YYMemoryCache 类似,由于很多接口都是基于基本的接口做了扩展所得,这里贴的代码省略了一些接口。代码还是一如既往的干净简洁,相信各位都能看懂。

YYDiskCache 是基于 sqlite 和 file 来做的磁盘缓存,我们的缓存对象可以自由的选择存储类型,下面简单对比一下:

  • sqlite: 对于小数据(例如 NSNumber)的存取效率明显高于 file。
  • file: 对于较大数据(例如高质量图片)的存取效率优于 sqlite。

所以 YYDiskCache 使用两者配合,灵活的存储以提高性能。

NSMapTable

NSMapTable 是类似于字典的集合,但具有更广泛的可用内存语义。NSMapTable 是 iOS6 之后引入的类,它基于 NSDictionary 建模,但是具有以下差异:

  • 键/值可以选择 “weakly” 持有,以便于在回收其中一个对象时删除对应条目。
  • 它可以包含任意指针(其内容不被约束为对象)。
  • 您可以将 NSMapTable 实例配置为对任意指针进行操作,而不仅仅是对象。

Note: 配置映射表时,请注意,只有 NSMapTableOptions 中列出的选项才能保证其余的 API 能够正常工作,包括复制,归档和快速枚举。 虽然其他 NSPointerFunctions 选项用于某些配置,例如持有任意指针,但并不是所有选项的组合都有效。使用某些组合,NSMapTableOptions 可能无法正常工作,甚至可能无法正确初始化。

更多信息详见 NSMapTable 官方文档

需要特殊说明的是,YYDiskCache 内部是基于一个单例 NSMapTable 管理的,这点有别于 YYMemoryCache。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
static NSMapTable *_globalInstances; // 引用管理所有的 YYDiskCache 实例
static dispatch_semaphore_t _globalInstancesLock; // YYDiskCache 使用 dispatch_semaphore 保障 NSMapTable 线程安全

static void _YYDiskCacheInitGlobal() {
static dispatch_once_t onceToken;
dispatch_once(&onceToken, ^{
_globalInstancesLock = dispatch_semaphore_create(1);
_globalInstances = [[NSMapTable alloc] initWithKeyOptions:NSPointerFunctionsStrongMemory valueOptions:NSPointerFunctionsWeakMemory capacity:0];
});
}

static YYDiskCache *_YYDiskCacheGetGlobal(NSString *path) {
if (path.length == 0) return nil;
_YYDiskCacheInitGlobal();
dispatch_semaphore_wait(_globalInstancesLock, DISPATCH_TIME_FOREVER);
id cache = [_globalInstances objectForKey:path];
dispatch_semaphore_signal(_globalInstancesLock);
return cache;
}

static void _YYDiskCacheSetGlobal(YYDiskCache *cache) {
if (cache.path.length == 0) return;
_YYDiskCacheInitGlobal();
dispatch_semaphore_wait(_globalInstancesLock, DISPATCH_TIME_FOREVER);
[_globalInstances setObject:cache forKey:cache.path];
dispatch_semaphore_signal(_globalInstancesLock);
}

每当一个 YYDiskCache 被初始化时,其实会先到 NSMapTable 中获取对应 path 的 YYDiskCache 实例,如果获取不到才会去真正的初始化一个 YYDiskCache 实例,并且将其引用在 NSMapTable 中,这样做也会提升不少性能。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
- (instancetype)initWithPath:(NSString *)path
inlineThreshold:(NSUInteger)threshold {
// 判断是否可以成功初始化,省略
...

// 先从 NSMapTable 单例中根据 path 获取 YYDiskCache 实例,如果获取到就直接返回该实例
YYDiskCache *globalCache = _YYDiskCacheGetGlobal(path);
if (globalCache) return globalCache;

// 没有获取到则初始化一个 YYDiskCache 实例
// 要想初始化一个 YYDiskCache 首先要初始化一个 YYKVStorage
YYKVStorage *kv = [[YYKVStorage alloc] initWithPath:path type:type];
if (!kv) return nil;

// 根据刚才得到的 kv 和 path 入参初始化一个 YYDiskCache 实例,代码太长省略
...

// 开启递归清理,会根据 _autoTrimInterval 对 YYDiskCache trim
[self _trimRecursively];
// 向 NSMapTable 单例注册新生成的 YYDiskCache 实例
_YYDiskCacheSetGlobal(self);

// App 生命周期通知相关代码,省略
...
return self;
}

我在 YYCache 设计思路 中找到了作者使用 dispatch_semaphore 作为 YYDiskCache 锁的原因:

dispatch_semaphore 是信号量,但当信号总量设为 1 时也可以当作锁来。在没有等待情况出现时,它的性能比 pthread_mutex 还要高,但一旦有等待情况出现时,性能就会下降许多。相对于 OSSpinLock 来说,它的优势在于等待时不会消耗 CPU 资源。对磁盘缓存来说,它比较合适。

YYKVStorageItem 与 YYKVStorage

刚才在 YYDiskCache 的初始化源码中,我们不难发现一个类 YYKVStorage。与 YYMemoryCache 相对应的,YYDiskCache 也不会直接操作缓存对象(sqlite/file),而是通过 YYKVStorage 来间接的操作缓存对象。

从这一点上不难发现,YYKVStorage 等价于 YYMemoryCache 中的双向链表 _YYLinkedMap,而对应于 _YYLinkedMap 中的节点 _YYLinkedMapNode,YYKVStorage 中也有一个类 YYKVStorageItem 充当着与缓存对象一对一的角色。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
// YYKVStorageItem 是 YYKVStorage 中用来存储键值对和元数据的类
// 通常情况下,我们不应该直接使用这个类
@interface YYKVStorageItem : NSObject
@property (nonatomic, strong) NSString *key; ///< key
@property (nonatomic, strong) NSData *value; ///< value
@property (nullable, nonatomic, strong) NSString *filename; ///< filename (nil if inline)
@property (nonatomic) int size; ///< value's size in bytes
@property (nonatomic) int modTime; ///< modification unix timestamp
@property (nonatomic) int accessTime; ///< last access unix timestamp
@property (nullable, nonatomic, strong) NSData *extendedData; ///< extended data (nil if no extended data)
@end


/**
YYKVStorage 是基于 sqlite 和文件系统的键值存储。
通常情况下,我们不应该直接使用这个类。

@warning
这个类的实例是 *非* 线程安全的,你需要确保
  只有一个线程可以同时访问该实例。如果你真的
  需要在多线程中处理大量的数据,应该分割数据
  到多个 KVStorage 实例(分片)。
*/
@interface YYKVStorage : NSObject

#pragma mark - Attribute
@property (nonatomic, readonly) NSString *path; /// storage 路径
@property (nonatomic, readonly) YYKVStorageType type; /// storage 类型
@property (nonatomic) BOOL errorLogsEnabled; /// 是否开启错误日志

#pragma mark - Initializer
- (nullable instancetype)initWithPath:(NSString *)path type:(YYKVStorageType)type NS_DESIGNATED_INITIALIZER;

#pragma mark - Save Items
- (BOOL)saveItem:(YYKVStorageItem *)item;
...

#pragma mark - Remove Items
- (BOOL)removeItemForKey:(NSString *)key;
...

#pragma mark - Get Items
- (nullable YYKVStorageItem *)getItemForKey:(NSString *)key;
...

#pragma mark - Get Storage Status
- (BOOL)itemExistsForKey:(NSString *)key;
- (int)getItemsCount;
- (int)getItemsSize;

@end

代码美哭了有木有!?这种代码根本不需要翻译,我觉得相比于逐行的翻译,直接看代码更舒服。这里我们只需要看一下 YYKVStorageType 这个枚举,他决定着 YYKVStorage 的存储类型。

YYKVStorageType

1
2
3
4
5
6
7
8
9
10
11
12
13
/**
存储类型,指示“YYKVStorageItem.value”存储在哪里。

@discussion
通常,将数据写入 sqlite 比外部文件更快,但是
  读取性能取决于数据大小。在我的测试(环境 iPhone 6 64G),
  当数据较大(超过 20KB)时从外部文件读取数据比 sqlite 更快。
*/
typedef NS_ENUM(NSUInteger, YYKVStorageType) {
YYKVStorageTypeFile = 0, // value 以文件的形式存储于文件系统
YYKVStorageTypeSQLite = 1, // value 以二进制形式存储于 sqlite
YYKVStorageTypeMixed = 2, // value 将根据你的选择基于上面两种形式混合存储
};

在 YYKVStorageType 的注释中标记了作者写 YYCache 时做出的测试结论,大家也可以基于自己的环境去测试验证作者的说法(这一点是可以讨论的,我们可以根据自己的测试来设置 YYDiskCache 中的 inlineThreshold 阈值)。

如果想要了解更多的信息可以点击 Internal Versus External BLOBs in SQLite 查阅 SQLite 官方文档。

YYKVStorage 性能优化细节

上文说到 YYKVStorage 可以基于 SQLite 和文件系统做磁盘存储,这里再提一些我阅读源码发现到的有趣细节:

1
2
3
4
5
@implementation YYKVStorage {
...
CFMutableDictionaryRef _dbStmtCache; // 焦点集中在这里
...
}

可以看到 CFMutableDictionaryRef _dbStmtCache; 是 YYKVStorage 中的私有成员,它是一个可变字典充当着 sqlite3_stmt 缓存的角色。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
- (sqlite3_stmt *)_dbPrepareStmt:(NSString *)sql {
if (![self _dbCheck] || sql.length == 0 || !_dbStmtCache) return NULL;
// 先尝试从 _dbStmtCache 根据入参 sql 取出已缓存 sqlite3_stmt
sqlite3_stmt *stmt = (sqlite3_stmt *)CFDictionaryGetValue(_dbStmtCache, (__bridge const void *)(sql));
if (!stmt) {
// 如果没有缓存再从新生成一个 sqlite3_stmt
int result = sqlite3_prepare_v2(_db, sql.UTF8String, -1, &stmt, NULL);
// 生成结果异常则根据错误日志开启标识打印日志
if (result != SQLITE_OK) {
if (_errorLogsEnabled) NSLog(@"%s line:%d sqlite stmt prepare error (%d): %s", __FUNCTION__, __LINE__, result, sqlite3_errmsg(_db));
return NULL;
}
// 生成成功则放入 _dbStmtCache 缓存
CFDictionarySetValue(_dbStmtCache, (__bridge const void *)(sql), stmt);
} else {
sqlite3_reset(stmt);
}
return stmt;
}

这样就可以省去一些重复生成 sqlite3_stmt 的开销。

sqlite3_stmt: 该对象的实例表示已经编译成二进制形式并准备执行的单个 SQL 语句。

更多关于 SQLite 的信息请点击 SQLite 官方文档 查阅。

优秀的缓存应该具备哪些特质

嘛~ 我们回到文章最初提到的问题,优秀的缓存应该具备哪些特质?

如果跟着文章一步步读到这里,相信很容易举出以下几点:

  • 内存缓存和磁盘缓存
  • 线程安全
  • 缓存控制
  • 缓存替换策略
  • 缓存命中率
  • 性能

我们简单的总结一下 YYCache 源码中是如何体现这些特质的。

内存缓存和磁盘缓存

YYCache 是由内存缓存 YYMemoryCache 与磁盘缓存 YYDiskCache 相互配合组成的,内存缓存提供容量小但高速的存取功能,磁盘缓存提供大容量但低速的持久化存储。这样的设计支持用户在缓存不同对象时都能够有很好的体验。

在 YYCache 中使用接口访问缓存对象时,会先去尝试从内存缓存 YYMemoryCache 中访问,如果访问不到(没有使用该 key 缓存过对象或者该对象已经从容量有限的 YYMemoryCache 中淘汰掉)才会去从 YYDiskCache 访问,如果访问到(表示之前确实使用该 key 缓存过对象,该对象已经从容量有限的 YYMemoryCache 中淘汰掉成立)会先在 YYMemoryCache 中更新一次该缓存对象的访问信息之后才返回给接口。

线程安全

如果说 YYCache 这个类是一个纯逻辑层的缓存类(指 YYCache 的接口实现全部是调用其他类完成),那么 YYMemoryCache 与 YYDiskCache 还是做了一些事情的(并没有 YYCache 当甩手掌柜那么轻松),其中最显而易见的就是 YYMemoryCache 与 YYDiskCache 为 YYCache 保证了线程安全。

YYMemoryCache 使用了 pthread_mutex 线程锁来确保线程安全,而 YYDiskCache 则选择了更适合它的 dispatch_semaphore,上文已经给出了作者选择这些锁的原因。

缓存控制

YYCache 提供了三种控制维度,分别是:cost、count、age。这已经满足了绝大多数开发者的需求,我们在自己设计缓存时也可以根据自己的使用环境提供合适的控制方式。

缓存替换策略

在上文解析 YYCache 源码的时候,介绍了缓存替换策略的概念并且列举了很多经典的策略。YYCache 使用了双向链表(_YYLinkedMapNode_YYLinkedMap)实现了 LRU(least-recently-used) 策略,旨在提高 YYCache 的缓存命中率。

缓存命中率

这一概念是在上文解析 _YYLinkedMapNode_YYLinkedMap 小节介绍的,我们在自己设计缓存时不一定非要使用 LRU 策略,可以根据我们的实际使用环境选择最适合我们自己的缓存替换策略。

性能

其实性能这个东西是隐而不见的,又是到处可见的(笑)。它从我们最开始设计一个缓存架构时就被带入,一直到我们具体的实现细节中慢慢成形,最后成为了我们设计出来的缓存优秀与否的决定性因素。

上文中剖析了太多 YYCache 中对于性能提升的实现细节:

  • 异步释放缓存对象
  • 锁的选择
  • 使用 NSMapTable 单例管理的 YYDiskCache
  • YYKVStorage 中的 _dbStmtCache
  • 甚至使用 CoreFoundation 来换取微乎其微的性能提升

看到这里是不是恍然大悟,性能是怎么来的?就是这样对于每一个细节的极致追求一点一滴积少成多抠出来的。

总结

  • 文章系统的解读了 YYCache 源码,相信可以让各位读者对 YYCache 的整体架构有一个清晰的认识。
  • 文章结合作者 YYCache 设计思路 中的内容对 YYCache 具体功能点实现源码做了深入剖析,再用我自己的理解表述出来,希望可以对读者理解 YYCache 中具体功能的实现提供帮助。
  • 根据我自己的源码理解,把我认为做的不错的提升性能的源码细节单独拎出来做出详细分析。
  • 总结归纳出“一个优秀缓存需要具备哪些特质?”这一问题的答案,希望大家在面试中如果被问及“如何设计一个缓存”这类问题时可以游刃有余。额,至少可以为大家提供一些回答思路,抛砖引玉(笑)。

文章写得比较用心(是我个人的原创文章,转载请注明 https://lision.me/),如果发现错误会优先在我的 个人博客 中更新。如果有任何问题欢迎在我的微博 @Lision 联系我~

希望我的文章可以为你带来价值~