实战IT培训机构_黄色激情网站_IT培训班选大学生IT技术培训中心_黄色激情视频网站_中公优就业

400-650-7353
您所在的位置:首頁 > IT干貨資料 > 大數(shù)據(jù) > 【大數(shù)據(jù)基礎知識】Spark算子介紹及map算子的使用

【大數(shù)據(jù)基礎知識】Spark算子介紹及map算子的使用

  • 發(fā)布: 大數(shù)據(jù)培訓
  • 來源:大數(shù)據(jù)干貨資料
  • 2021-07-07 18:48:01
  • 閱讀()
  • 分享
  • 手機端入口

進入到大數(shù)據(jù)圈的朋友們都對Spark的強大功能有所了解,那么提到Spark,我們就想到了其中的算子,Spark的強大功能如何實現(xiàn),自然離不開其中的算子了。怎么理解這些算子呢,我們可以簡單把它理解為方法或函數(shù),Spark已經(jīng)定義好了很多功能強大的方法或函數(shù),在這里稱為算子。

Spark中的算子分為兩類:一是轉換類算子(Transformation),二是行動類算子(Action)。轉換類算子執(zhí)行后得到新的RDD,并且不會立即執(zhí)行,需要有行動類算子觸發(fā)才能執(zhí)行。行動類算子是立即執(zhí)行的,并且執(zhí)行后得到的不再是RDD。

這次,我們用命令行的方式先來看看這些算子如何使用。

首先,我們進入spark-shell命令行方式:

[root@node2 ~]# spark-shell --master spark://node1:7077

執(zhí)行上面命令后,就進入了命令行方式:

此時,我們就可以測試使用Spark中的算子了。

有一點我們要注意的 ,這些算子都是作用在RDD上,所以我們首先要得到RDD。

map算子

map算子實現(xiàn)的是一一映射。

對某一個rdd執(zhí)行map,rdd中每一條數(shù)據(jù)都會執(zhí)行操作。也就是說rdd中有幾條數(shù)據(jù),就會被迭代幾次。

執(zhí)行map算子后返回值的數(shù)據(jù)類型,取決于給map傳遞的函數(shù)的返回值類型。

scala> val rdd=sc.makeRDD(List(1,2,3,4,5,6,7),3)

rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[3] at makeRDD at :24

首先,我們通過makeRDD,將一個list轉換成RDD,并且指定分區(qū)數(shù)為3。

scala> val rdd1=rdd.map(_>5)

rdd1: org.apache.spark.rdd.RDD[Boolean] = MapPartitionsRDD[4] at map at :26

執(zhí)行map算子,傳遞的函數(shù)是判斷元素是否大于5,結果得到一個新的的RDD,并且元素類型是Boolean類型。由此我們也可以看到,結果RDD的元素類型就是由傳入map算子的函數(shù)決定的。

此時,實際上還沒有真正執(zhí)行,我們需要使用一個Action算子觸發(fā)執(zhí)行。

scala> rdd1.collect

[Stage 0:===================> res0: Array[Boolean] = Array(false, false, false, false, false, true, true)

我們使用collect算子觸發(fā)執(zhí)行,得到結果。Collect算子是Action類算子,是將結果回收到客戶端。在生產(chǎn)環(huán)境中,要慎用此算子。我們測試中因為數(shù)據(jù)量非常小,用此算子是沒有問題的。

文章“【大數(shù)據(jù)基礎知識】Spark算子介紹及map算子的使用”已幫助

>>本文地址:http://www.jecan.cn/zhuanye/2021/69184.html

THE END  

聲明:本站稿件版權均屬中公教育優(yōu)就業(yè)所有,未經(jīng)許可不得擅自轉載。

1 您的年齡

2 您的學歷

3 您更想做哪個方向的工作?

獲取測試結果
  • 大前端大前端
  • 大數(shù)據(jù)大數(shù)據(jù)
  • 互聯(lián)網(wǎng)營銷互聯(lián)網(wǎng)營銷
  • JavaJava
  • Linux云計算Linux
  • Python+人工智能Python
  • 嵌入式物聯(lián)網(wǎng)嵌入式
  • 全域電商運營全域電商運營
  • 軟件測試軟件測試
  • 室內設計室內設計
  • 平面設計平面設計
  • 電商設計電商設計
  • 網(wǎng)頁設計網(wǎng)頁設計
  • 全鏈路UI/UE設計UI設計
  • VR/AR游戲開發(fā)VR/AR
  • 網(wǎng)絡安全網(wǎng)絡安全
  • 新媒體與短視頻運營新媒體
  • 直播帶貨直播帶貨
  • 智能機器人軟件開發(fā)智能機器人
 

快速通道fast track

近期開班時間TIME

主站蜘蛛池模板: 全自动面膜机_面膜折叠机价格_面膜灌装机定制_高速折棉机厂家-深圳市益豪科技有限公司 | 骨密度检测仪_骨密度分析仪_骨密度仪_动脉硬化检测仪专业生产厂家【品源医疗】 | 珠海白蚁防治_珠海灭鼠_珠海杀虫灭鼠_珠海灭蟑螂_珠海酒店消杀_珠海工厂杀虫灭鼠_立净虫控防治服务有限公司 | 防火门|抗爆门|超大门|医疗门|隔声门-上海加汇门业生产厂家 | 求是网 - 思想建党 理论强党 | 安德建奇火花机-阿奇夏米尔慢走丝|高维|发那科-北京杰森柏汇 | 对照品_中药对照品_标准品_对照药材_「格利普」高纯中药标准品厂家-成都格利普生物科技有限公司 澳门精准正版免费大全,2025新澳门全年免费,新澳天天开奖免费资料大全最新,新澳2025今晚开奖资料,新澳马今天最快最新图库 | 瑞典Blueair空气净化器租赁服务中心-专注新装修办公室除醛去异味服务! | 称重传感器,测力传感器,拉压力传感器,压力变送器,扭矩传感器,南京凯基特电气有限公司 | 模具钢_高速钢_不锈钢-万利钢金属材料 | 肉嫩度仪-凝胶测试仪-国产质构仪-气味分析仪-上海保圣实业发展有限公司|总部 | CNC机加工-数控加工-精密零件加工-ISO认证厂家-鑫创盟 | 大立教育官网-一级建造师培训-二级建造师培训-造价工程师-安全工程师-监理工程师考试培训 | 杭州标识标牌|文化墙|展厅|导视|户内外广告|发光字|灯箱|铭阳制作公司 - 杭州标识标牌|文化墙|展厅|导视|户内外广告|发光字|灯箱|铭阳制作公司 | 无锡不干胶标签,卷筒标签,无锡瑞彩包装材料有限公司 | 阜阳成人高考_阜阳成考报名时间_安徽省成人高考网 | 电动车头盔厂家_赠品头盔_安全帽批发_山东摩托车头盔—临沂承福头盔 | 沈阳真空机_沈阳真空包装机_沈阳大米真空包装机-沈阳海鹞真空包装机械有限公司 | 手持式浮游菌采样器-全排二级生物安全柜-浙江孚夏医疗科技有限公司 | 线材成型机,线材折弯机,线材成型机厂家,贝朗自动化设备有限公司1 | 企业管理培训,企业培训公开课,企业内训课程,企业培训师 - 名课堂企业管理培训网 | 回转炉,外热式回转窑,回转窑炉-淄博圣元窑炉工程有限公司 | 气力输送_输送机械_自动化配料系统_负压吸送_制造主力军江苏高达智能装备有限公司! | 切铝机-数控切割机-型材切割机-铝型材切割机-【昆山邓氏精密机械有限公司】 | 贝壳粉涂料-内墙腻子-外墙腻子-山东巨野七彩贝壳漆业中心 | 芜湖厨房设备_芜湖商用厨具_芜湖厨具设备-芜湖鑫环厨具有限公司 控显科技 - 工控一体机、工业显示器、工业平板电脑源头厂家 | 盘扣式脚手架-附着式升降脚手架-移动脚手架,专ye承包服务商 - 苏州安踏脚手架工程有限公司 | 冷却塔降噪隔音_冷却塔噪声治理_冷却塔噪音处理厂家-广东康明冷却塔降噪厂家 | 自动气象站_气象站监测设备_全自动气象站设备_雨量监测站-山东风途物联网 | 换网器_自动换网器_液压换网器--郑州海科熔体泵有限公司 | 传动滚筒,改向滚筒-淄博建凯机械科技有限公司 | 大连海岛旅游网>>大连旅游,大连海岛游,旅游景点攻略,海岛旅游官网 | _网名词典_网名大全_qq网名_情侣网名_个性网名 | 政府园区专业委托招商平台_助力企业选址项目快速落地_东方龙商务集团 | TPM咨询,精益生产管理,5S,6S现场管理培训_华谋咨询公司 | 清管器,管道清管器,聚氨酯发泡球,清管球 - 承德嘉拓设备 | 工装定制/做厂家/公司_工装订做/制价格/费用-北京圣达信工装 | 塑木弯曲试验机_铜带拉伸强度试验机_拉压力测试台-倾技百科 | 深圳市人通智能科技有限公司 | 卫生人才网-中国专业的医疗卫生医学人才网招聘网站! | 干洗店加盟_洗衣店加盟_干洗店设备-伊蔻干洗「武汉总部」 |