摘要：本發(fā)明公開(kāi)了一種GPU上基于內(nèi)存統(tǒng)一管理的MapReduce實(shí)現(xiàn)方法，包括：初始化GPU的塊大小為Bs，每個(gè)塊中的線程數(shù)目N，輸入數(shù)據(jù)量大小M；在全局內(nèi)存上為GPU的每個(gè)塊分配一個(gè)中間數(shù)據(jù)緩沖區(qū)，同時(shí)分配一個(gè)全局結(jié)果緩沖區(qū)；對(duì)p%的輸入數(shù)據(jù)進(jìn)行預(yù)處理，在中間數(shù)據(jù)緩沖區(qū)中收集map任務(wù)計(jì)算結(jié)果和歸約頻率信息；根據(jù)鍵值對(duì)的歸約頻率，對(duì)中間結(jié)果進(jìn)行排序，保存鍵值對(duì)索引信息到排序結(jié)果緩沖區(qū)sort_index[]中；初始化GPU每個(gè)塊對(duì)應(yīng)的中間數(shù)據(jù)緩沖區(qū)為零，在共享內(nèi)存中建立內(nèi)存分配區(qū)sm_pool[]；設(shè)置內(nèi)存分配標(biāo)記數(shù)組mem_flag[]。本發(fā)明在每個(gè)GPU塊的中間數(shù)據(jù)緩沖區(qū)中，對(duì)全局內(nèi)存和共享內(nèi)存資源進(jìn)行統(tǒng)一管理，減少了內(nèi)存資源開(kāi)銷，避免了分開(kāi)管理導(dǎo)致的鍵值對(duì)對(duì)重復(fù)查找和map任務(wù)重復(fù)計(jì)算開(kāi)銷。
- 專利類型發(fā)明專利
- 申請(qǐng)人華中科技大學(xué);
- 發(fā)明人金海;鄭然;劉凱;章勤;馮曉文;
- 地址430074 湖北省武漢市洪山區(qū)珞喻路1037號(hào)
- 申請(qǐng)?zhí)?/b>CN201310710435.0
- 申請(qǐng)時(shí)間2013年12月20日
- 申請(qǐng)公布號(hào)CN103714009B
- 申請(qǐng)公布時(shí)間2016年07月27日
- 分類號(hào)G06F12/02(2006.01)I;G06F17/30(2006.01)I;
教育裝備采購(gòu)網(wǎng)企業(yè)微信客服
京公網(wǎng)安備11010802043465號(hào)
