一个故事看懂CPU的SIMD技术
创始人
2024-05-31 21:38:21
0

好久不见,我叫阿Q,是CPU一号车间的员工。我所在的CPU有8个车间,也就是8个核心,咱们每个核心都可以同时执行两个线程,就是8核16线程,那速度杠杠滴。

我所在的一号车间,除了负责执行指令的我,还有负责读取指令的小A,负责指令译码的小胖和负责结果回写的老K,我们几个各司其职,一起完成执行程序的工作。

一个简单的循环

那天,我们遇到了一段代码:

void array_add(int data[], int len) {for (int i = 0; i < len; i++) {data[i] += 1;}
}

循环了好几百次之后,才把这段代码执行完成,每次循环都是做简单又重复的工作,把我累得够呛。

一旁负责结果回写的老K也是累的满头大汗,吐槽道:“每次都是取出来加1又写回去,要是能一次多取几个数,批量处理就好了”

老K的话让我眼前一亮,对啊,能不能批量操作呢?

心里一边想着,一边继续干活了。

繁忙的一天很快结束了,转眼又到了晚上,计算机关机后,我把大家召集了起来。

“兄弟们,还记得咱们白天遇到的那个循环吗?”

“你说哪个循环,咱们这一天可执行了不少循环呢”,小A说到。

“就是那个把整数数组每个元素都加1的那个循环”

“我想起来了,那循环怎么了?有什么问题吗?”

我看了老K一眼,说道:“我在想今天老K的话,像这种循环,每次都是取出来加1又写回去,一次操作一个数,效率太低了,咱们要是升级改造一下,支持一次取出多个数,批量加1,这样岂不是快很多?”

老K一听来了兴趣,“这敢情好,你打算怎么做?”

“这我还没想好,大家有什么建议吗?”

一旁负责指令译码的小胖说道:“可以新增一条指令,专门用来一次取出多个数据来加1”

“不行不行,不能限的这么死,今天是加1,万一下次是加2呢?指令里面不能限制为1”

“那如果每个数据要加的是不一样的怎么办?”

“你这么一说,那万一不是加法,是减法,乘法怎么办?”

“还有啊,···”

大家开始七嘴八舌讨论了起来,没想到一个小小的加法循环,一下子引出了这么多问题来,这是我们没想到的。

并行计算

随着讨论的深入,我觉得已经超出了咱们一号车间能把控的范围,需要上报给领导,组织八个车间代表一起来商讨。

领导一听说有提高性能的新技术,马上来了兴趣,很快便开会组织大家一起来商讨方案。

 “都到齐了是吧,阿Q你给大家说一下这个会议的目的”,领导说到。

我站了起来,开始把我们遇到的问题和想法跟大家讲了一遍。

“是这样的,我们一号车间那天遇到了一段循环代码,循环体的内容很简单,就是给数组中的每一个元素加1。我们执行的时候,就是不断取出每一个元素,然后将其执行加法计算后,再写回去。这样一个一个来加1,我们感觉太慢了, 要是可以一次多取几个,并行加1,那一定比一个一个加快上不少。”

我刚说完,大家都开始小声议论起来。

“我看出来了,这其实就是并行计算!”,二号车间小虎一语道出了关键。

六号车间小六问道:”阿Q,你们已经有方案了吗?“

“还没有,这正是今天开会的目的,因为情况有点复杂,还需要大家一起来出出主意”

“好像并不复杂嘛”

“我上面举的例子只是一个简单的情况,并行计算还可能不是固定的数,可能是一个数组和另一个数组相加。还有可能不是整数相加,而是浮点数,甚至,还可能不是加法,而是减法或者乘法,再或者不是算术运算,而是逻辑运算”

我刚一说完,大家又开始窃窃私语交流起来。

“我琢磨着你说的这一系列东西,咱们是要新增一套专门用来并行计算的指令集啊”,小虎说道。

“这可是大工程啊”

“是啊···”

这时,小六又问道:“咱们的计算的时候,都是把数据读取到寄存器进行的,可这寄存器一次只能装一个数,怎么一次读取多个数据呢?”

“可能需要新增一些容量大一些的寄存器,比如128bit长度,可以同时容纳4个32位的整数”

“有这个必要吗?咱们是通用CPU,又不是专门做数学计算的芯片,搞这些东西干嘛?”,四号车间代表提出了质疑。

我也不甘示弱:“那可太有必要了,在图像、视频、音频处理等领域,有大量这样的计算需求,咱们得提升处理这些数据的能力”

见我们争执不下,领导拍了拍桌子,会场一下安静了下来。

“我觉得阿Q说的有道理,咱们确实需要提升处理这类数据运算的能力了。不过不用一下搞那么复杂,先支持整数并行运算就行了。新增寄存器这个也不用着急,可以先借用一下浮点数运算单元FPU的寄存器。这件事先这么定下来,具体的方案你们再继续讨论。”,说完便离开了会议室。

领导不愧是领导,几句话就把我们安排的明明白白。

SIMD

又经过一阵紧张的讨论,我们终于敲定了方案。

我们借用浮点数运算单元的寄存器,还给它们起了新的名字:MM0-MM7。因为是64位的寄存器,所以可以同时存储两个32位的整数或者4个16位整数或者8个8位的整数。

我们还新增了一套叫MMX的指令集,用来并行执行整数的运算。

我们把这种在一条指令中同时处理多个数据的技术叫做单指令多数据流(Single Instruction Multiple Data),简称SIMD

有了这套指令集,咱们处理这类整数运算问题的速度快了不少。

不过渐渐地发现了两个很麻烦的问题:

第一个问题,因为是借用FPU的寄存器,所以当执行SIMD指令的时候,就不能用FPU计算单元,反过来也一样,同时使用的话就会出乱子,所以要经常在不同的模式之间切换,实在是有些麻烦。

另一个更重要的问题,咱们这套指令集只能处理整数的并行运算,可现在浮点数的并行运算越来越多,尤其是图像、视频还有深度学习的一些数据处理,浮点数情况越来越多,这时候都派不上用场。

我们把这些问题给领导做了汇报,看到我们已经做出的成绩,领导终于同意继续升级。

这一次,我们扩展了一套新的SSE指令集出来,新增了XMM0-XMM7总共8个128位的寄存器,再也不用跟FPU共享寄存器了。而且位宽加了一倍,能容纳的数据更多了,能同时处理的数据自然也变多了。

后来,我们又不断的修改升级,不仅支持了对浮点数并行处理,还推出了新一代的AVX指令集,把寄存器再一次扩大为256位,现在我们的SIMD技术更加先进,处理数据运算的能力越来越强了!

相关内容

热门资讯

全省基层公共就业创业经办能力提...   本报讯 记者孙潇报道 日前,为期3天的全省基层公共就业创业经办能力提升培训在昆明启动。  此次培...
清明假期国铁昆明局预计发送旅客...   本报讯 记者王绍芬报道 4月3日,记者从中国铁路昆明局集团有限公司(以下简称“国铁昆明局”)获悉...
春景图里的“科技范” 转自:贵州日报 贵州日报天眼新闻记者 杨小友沃野逐春光,田畴织锦绣。清明前后,贵州广袤大地上,春耕生...
充分发挥科技领军企业龙头作用 “发挥科技领军企业龙头作用,加强企业主导的产学研深度融合,从制度上保障企业参与国家科技创新决策、承担...
深化中国与东盟国家经贸合作 东盟是中国周边外交的优先方向和高质量共建“一带一路”重点地区,2025年是中国—东盟自贸区成立15周...
打击违法开垦林地草地专项行动将... 转自:辽宁日报 本报讯 记者刘璐报道 近年来,受利益驱动,我省开垦林地、草地违法行为由零散型、小面积...
直男与暖男的区别,你get到了... 直男与暖男的区别,你get到了吗直男和暖男我觉得并没有多大的区别,如果非要说区别的话,直男说话更直接...
怎样让自己不那么在乎一些不是很... 怎样让自己不那么在乎一些不是很重要的事情?尽量往好的方面去想,要知道,生活中无关紧要的事太多,但是重...
希尔顿集团财务共享中心于南京正... 创新引领酒店业财务管理高质量发展上海2025年4月3日 /美通社/ -- 全球领先的酒店管理公司希尔...
感冒时运动,小心你的心脏哦   随着春天的到来,气温逐渐回升,运动爱好者纷纷摩拳擦掌,准备大展身手。小李是一名跑步爱好者,早上在...
色彩的对比关系. 色彩的对比关系.色彩的对比关系主要是指相邻的__________或者__________的色彩之间所...
男主傅擎夜 女主苏岚的小说叫什... 男主傅擎夜 女主苏岚的小说叫什么名字《重回十七岁》。《重回十七岁》的作者是秦久九,一共544章,状态...
猫和狗打架的时候,为什么大多数... 猫和狗打架的时候,为什么大多数都是猫厉害?因为猫打架的时候尾巴会竖起来,会把狗吓跑,而且猫爪比较有力...
月圆,饼圆,心愿圆圆;日圆,月... 月圆,饼圆,心愿圆圆;日圆,月圆,团团圆圆;官源,财源,左右逢源!人缘,福缘,缘缘不断!情愿,心愿(...
我最喜欢的主人公是灰姑娘,为什... 我最喜欢的主人公是灰姑娘,为什么?你喜欢淳朴善良的人因为她温柔、漂亮、善良,说明你喜欢那样的女孩子。...
有鱼的成语 有鱼的成语鱼肉百姓、放长线钓大鱼、水清无鱼、鲁鱼亥豕、鱼贯而行、雀马鱼龙、釜底游鱼、鱼沉雁渺、池鱼林...
IPO鹰眼预警|悍高集团上市触... Hehson财经上市公司研究院|财报鹰眼预警悍高集团股份有限公司(以下简称“悍高集团”)拟计划在深圳...
中西医“携手”寻找百姓健康更优... 转自:辽宁日报 本报讯 记者王敏娜报道 看病到底选中医还是西医?不少人可能有过这样的纠结。中西医“携...
抢生产拓市场 转自:贵州日报 本报讯(记者 莫宇)4月1日,贵州众联新能源科技有限公司生产车间一派繁忙景象,工人们...
南宁地铁延长运营时间方便市民出...   本报讯(记者杨玲 通讯员潘良健)记者从南宁轨道交通运营有限公司了解到,为满足广大市民乘客清明假期...