实战IT培训机构_黄色激情网站_IT培训班选大学生IT技术培训中心_黄色激情视频网站_中公优就业

400-650-7353
您所在的位置:首頁 > IT干貨資料 > 大數(shù)據(jù) > 【大數(shù)據(jù)基礎知識】Spark算子介紹及map算子的使用

【大數(shù)據(jù)基礎知識】Spark算子介紹及map算子的使用

  • 發(fā)布: 大數(shù)據(jù)培訓
  • 來源:大數(shù)據(jù)干貨資料
  • 2021-07-07 18:48:01
  • 閱讀()
  • 分享
  • 手機端入口

進入到大數(shù)據(jù)圈的朋友們都對Spark的強大功能有所了解,那么提到Spark,我們就想到了其中的算子,Spark的強大功能如何實現(xiàn),自然離不開其中的算子了。怎么理解這些算子呢,我們可以簡單把它理解為方法或函數(shù),Spark已經(jīng)定義好了很多功能強大的方法或函數(shù),在這里稱為算子。

Spark中的算子分為兩類:一是轉換類算子(Transformation),二是行動類算子(Action)。轉換類算子執(zhí)行后得到新的RDD,并且不會立即執(zhí)行,需要有行動類算子觸發(fā)才能執(zhí)行。行動類算子是立即執(zhí)行的,并且執(zhí)行后得到的不再是RDD。

這次,我們用命令行的方式先來看看這些算子如何使用。

首先,我們進入spark-shell命令行方式:

[root@node2 ~]# spark-shell --master spark://node1:7077

執(zhí)行上面命令后,就進入了命令行方式:

此時,我們就可以測試使用Spark中的算子了。

有一點我們要注意的 ,這些算子都是作用在RDD上,所以我們首先要得到RDD。

map算子

map算子實現(xiàn)的是一一映射。

對某一個rdd執(zhí)行map,rdd中每一條數(shù)據(jù)都會執(zhí)行操作。也就是說rdd中有幾條數(shù)據(jù),就會被迭代幾次。

執(zhí)行map算子后返回值的數(shù)據(jù)類型,取決于給map傳遞的函數(shù)的返回值類型。

scala> val rdd=sc.makeRDD(List(1,2,3,4,5,6,7),3)

rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[3] at makeRDD at :24

首先,我們通過makeRDD,將一個list轉換成RDD,并且指定分區(qū)數(shù)為3。

scala> val rdd1=rdd.map(_>5)

rdd1: org.apache.spark.rdd.RDD[Boolean] = MapPartitionsRDD[4] at map at :26

執(zhí)行map算子,傳遞的函數(shù)是判斷元素是否大于5,結果得到一個新的的RDD,并且元素類型是Boolean類型。由此我們也可以看到,結果RDD的元素類型就是由傳入map算子的函數(shù)決定的。

此時,實際上還沒有真正執(zhí)行,我們需要使用一個Action算子觸發(fā)執(zhí)行。

scala> rdd1.collect

[Stage 0:===================> res0: Array[Boolean] = Array(false, false, false, false, false, true, true)

我們使用collect算子觸發(fā)執(zhí)行,得到結果。Collect算子是Action類算子,是將結果回收到客戶端。在生產(chǎn)環(huán)境中,要慎用此算子。我們測試中因為數(shù)據(jù)量非常小,用此算子是沒有問題的。

文章“【大數(shù)據(jù)基礎知識】Spark算子介紹及map算子的使用”已幫助

>>本文地址:http://www.jecan.cn/zhuanye/2021/69184.html

THE END  

聲明:本站稿件版權均屬中公教育優(yōu)就業(yè)所有,未經(jīng)許可不得擅自轉載。

1 您的年齡

2 您的學歷

3 您更想做哪個方向的工作?

獲取測試結果
  • 大前端大前端
  • 大數(shù)據(jù)大數(shù)據(jù)
  • 互聯(lián)網(wǎng)營銷互聯(lián)網(wǎng)營銷
  • JavaJava
  • Linux云計算Linux
  • Python+人工智能Python
  • 嵌入式物聯(lián)網(wǎng)嵌入式
  • 全域電商運營全域電商運營
  • 軟件測試軟件測試
  • 室內設計室內設計
  • 平面設計平面設計
  • 電商設計電商設計
  • 網(wǎng)頁設計網(wǎng)頁設計
  • 全鏈路UI/UE設計UI設計
  • VR/AR游戲開發(fā)VR/AR
  • 網(wǎng)絡安全網(wǎng)絡安全
  • 新媒體與短視頻運營新媒體
  • 直播帶貨直播帶貨
  • 智能機器人軟件開發(fā)智能機器人
 

快速通道fast track

近期開班時間TIME

主站蜘蛛池模板: 时代北利离心机,实验室离心机,医用离心机,低速离心机DT5-2,美国SKC采样泵-上海京工实业有限公司 工业电炉,台车式电炉_厂家-淄博申华工业电炉有限公司 | VI设计-LOGO设计公司-品牌设计公司-包装设计公司-导视设计-杭州易象设计 | 卷筒电缆-拖链电缆-特种柔性扁平电缆定制厂家「上海缆胜」 | 广州物流公司_广州货运公司_广州回程车运输 - 万信物流 | 超声骨密度仪-骨密度检测仪-经颅多普勒-tcd仪_南京科进实业有限公司 | 防水套管-柔性防水套管-刚性防水套管-上海执品管件有限公司 | 扬子叉车厂家_升降平台_电动搬运车|堆高车-扬子仓储叉车官网 | 碳纤维复合材料制品生产定制工厂订制厂家-凯夫拉凯芙拉碳纤维手机壳套-碳纤维雪茄盒外壳套-深圳市润大世纪新材料科技有限公司 | 测试治具|过炉治具|过锡炉治具|工装夹具|测试夹具|允睿自动化设备 | 工装定制/做厂家/公司_工装订做/制价格/费用-北京圣达信工装 | 通辽信息港 - 免费发布房产、招聘、求职、二手、商铺等信息 www.tlxxg.net | 行星搅拌机,双行星搅拌机,动力混合机,无锡米克斯行星搅拌机生产厂家 | 煤矿人员精确定位系统_矿用无线通信系统_煤矿广播系统 | 河南膏药贴牌-膏药代加工-膏药oem厂家-洛阳今世康医药科技有限公司 | 除尘器布袋骨架,除尘器滤袋,除尘器骨架,电磁脉冲阀膜片,卸灰阀,螺旋输送机-泊头市天润环保机械设备有限公司 | IPO咨询公司-IPO上市服务-细分市场研究-龙马咨询 | FAG轴承,苏州FAG轴承,德国FAG轴承-恩梯必传动设备(苏州)有限公司 | 珠海冷却塔降噪维修_冷却塔改造报价_凉水塔风机维修厂家- 广东康明节能空调有限公司 | 磷酸肌酸二钠盐,肌酐磷酰氯-沾化欣瑞康生物科技 | 活性炭厂家-蜂窝活性炭-粉状/柱状/果壳/椰壳活性炭-大千净化-活性炭 | 高楼航空障碍灯厂家哪家好_航空障碍灯厂家_广州北斗星障碍灯有限公司 | 杭州中央空调维修_冷却塔/新风机柜/热水器/锅炉除垢清洗_除垢剂_风机盘管_冷凝器清洗-杭州亿诺能源有限公司 | 超声波乳化机-超声波分散机|仪-超声波萃取仪-超声波均质机-精浩机械|首页 | 深圳展厅设计_企业展馆设计_展厅设计公司_数字展厅设计_深圳百艺堂 | 长沙中央空调维修,中央空调清洗维保,空气能热水工程,价格,公司就找维小保-湖南维小保环保科技有限公司 | 法兰连接型电磁流量计-蒸汽孔板节流装置流量计-北京凯安达仪器仪表有限公司 | 好看的韩国漫画_韩漫在线免费阅读-汗汗漫画 | 土壤水分自动监测站-SM150便携式土壤水分仪-铭奥仪器 | 球盟会·(中国)官方网站 | NMRV减速机|铝合金减速机|蜗轮蜗杆减速机|NMRV减速机厂家-东莞市台机减速机有限公司 | 多米诺-多米诺世界纪录团队-多米诺世界-多米诺团队培训-多米诺公关活动-多米诺创意广告-多米诺大型表演-多米诺专业赛事 | 土壤检测仪器_行星式球磨仪_土壤团粒分析仪厂家_山东莱恩德智能科技有限公司 | 动力配电箱-不锈钢配电箱-高压开关柜-重庆宇轩机电设备有限公司 聚天冬氨酸,亚氨基二琥珀酸四钠,PASP,IDS - 远联化工 | 高扬程排污泵_隔膜泵_磁力泵_节能自吸离心水泵厂家-【上海博洋】 | 光泽度计_测量显微镜_苏州压力仪_苏州扭力板手维修-苏州日升精密仪器有限公司 | 金刚网,金刚网窗纱,不锈钢网,金刚网厂家- 河北萨邦丝网制品有限公司 | 板框压滤机-隔膜压滤机配件生产厂家-陕西华星佳洋装备制造有限公司 | 网站建设,北京网站建设,北京网站建设公司,网站系统开发,北京网站制作公司,响应式网站,做网站公司,海淀做网站,朝阳做网站,昌平做网站,建站公司 | 液压升降平台_剪叉式液压/导轨式升降机_传菜机定做「宁波日腾升降机厂家」 | 右手官网|右手工业设计|外观设计公司|工业设计公司|产品创新设计|医疗产品结构设计|EMC产品结构设计 | 上海单片机培训|重庆曙海培训分支机构—CortexM3+uC/OS培训班,北京linux培训,Windows驱动开发培训|上海IC版图设计,西安linux培训,北京汽车电子EMC培训,ARM培训,MTK培训,Android培训 |