位置导航 >> 返回首页 >> Spark
Spark2.0安装配置文档
Spark2.0安装配置文档,该文档是建立在已经安装好Hadoop和jdk的基础上,并且已经设置好HADOOP_HOME环境变量以及JAVA_HOME环境变量,测试和现网环境需要在原来的hadoop环境中安装。 1、下载安装包 从scala官网下载scala-2.11.8.tgz、spark-2.0.0-bin-hadoop2.7.tgz两个安装包到集群各个节点机器上。(下面是两个官...
数据框架Hadoop和Spark的异同
数据框架Hadoop和Spark的异同,谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是停留在字面上,并没有对它们进行深入的思考,下面不妨一起看下它们究竟有什么异同。   1、解决问题的层面不一样   首先,Hadoop和Apache Spark两者都是大数据框架,但是各自存在的目...
Spark IM 2.8.0 发布,不再支持Java7
Spark IM 2.8.0 发布,不再支持Java7,Spark IM 2.8.0 发布了,这是个主要的版本,标志着对 Java 7 的支持已经结束,完整的 Spark 安装包已经和 Java 8 集成在一起一段时间。从 2.8.0 起,在线的安装包在 Java 7 下将不会运行,官方建议升级至 Java 8。 此次更新修复了大量 bug,具体点击查看: http://download...
大数据混战:谁将撼动Spark盟主之位?
大数据混战:谁将撼动Spark盟主之位?目前由于Apache Spark的不断发展,其已逐步成为大数据云时代的重要组成部分。但Spark远非那么完美,当然,它确实在逐步改善中,但正如2.0版所示,如果竞争者提供了一个比Spark更赞的处理方式,必然会吸引开发者的注意。 如下列出的四项很可能会撼动Spark的地位,Spark以对传统...
超越Spark 100倍性能?
超越Spark 100倍性能?2004年,Google的MapReduce论文揭开了大数据处理的时代,现如今,大数据的发展已达到惊人的速度,大数据技术深刻改变了世界。与此同时,各大数据库厂商在大数据这片蓝海里都想多分一杯羹,于是乎,各种数据库开发技术如雨后春笋般孕育而出。   众所周知,大数据技术纷杂繁多,而Spark、Hi...
Apache Spark 2.0.0发布,APIs更新
Apache Spark 2.0.0发布,APIs更新,Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。 该版本主要更新APIs,...
Spark SQL超越了MPP SQL?
Spark SQL超越了MPP SQL?这里说的并不是性能,因为我没尝试对比过(下文会有简单的说明),而是尝试从某种更高一层次的的角度去看,为什么Spark SQL 是远远超越MPP SQL的。 Spark SQL 和 MPP SQL 其实不在一个维度上。简而言之,MPP SQL 是 Spark SQL 的一个子集;Spark SQL 成为了一种跨越领域的交互形态;MPP SQ...
LinkedIn开源Photon机器学习:支持Spark
LinkedIn开源Photon机器学习:支持Spark,机器学习是LinkedIn公司关联营销的关键组成部分。他们使用机器学习为feed、广告、推荐系统(比如People You May Know)、邮件优化、搜索引擎等训练排序算法。更深一点的例子可以看LinkedIn的feed流实现,涉及到如何把机器学习应用到feed流排序中。 这些算法在提升用户体验...
Apache Spark外,三种新兴的开源数据分析工具
Apache Spark外,三种新兴的开源数据分析工具,这些数据分析项目大行其道:Apache Grappa、Apache Drill和Apache Kafka。 在数据分析方面,影响深远的变化正在酝酿之中,而开源工具在引领许多变化。当然,你可能已熟悉这个领域的一些明星开源项目,比如Hadoop和Apache Spark,不过现在出现了强烈的要求,需要全面...
Spark官方文档(5)
6、将应用提交到集群(Deploying to a Cluster) 应用提交手册描述了如何将应用提交到集群。简单的说,当你将你的应用打包成一个JAR(Java/Scala)或者一组.py或.zip文件(Python)后,就可以通过bin/spark-submit脚本将脚本提交到集群支持的管理器中。 7、Java/Scala中启动Spark作业(Launching Spark jobs fro...
Spark官方文档(4)
5、共享变量(Shared Variables) 通常情况下,一个传递给Spark操作(例如map或reduce)的方法是在远程集群上的节点执行的。方法在多个节点执行过程中使用的变量,是同一份变量的多个副本。这些变量的以副本的方式拷贝到每个机器上,各个远程机器上变量的更新并不会传回driver程序。然而,为了满足两种常见的使用...
Spark官方文档(3)
4、弹性分布式数据集(RDDs) Spark最重要的一个概念就是RDD,RDD是一个有容错机制的元素容器,它可以进行并行运算操作。得到RDD的方式有两个: 通过并行化驱动程序中已有的一个集合而获得 通过外部存储系统(例如共享的文件系统、HDFS、HBase等)的数据集进行创建 4.1 并行集合(Parallelized Collections) ...
Spark官方文档(2)
2、 引入Spark(Linking with Spark) 在Spark 1.6.0上编写应用程序,支持使用Scala 2.10.X、Java 7+、Python 2.6+、R 3.1+。如果使用Java 8,支持lambda表达式(lambda expressions)。 在编写Spark应用时,需要在Maven依赖中添加Spark,Spark的Maven Central为: groupId = org.apache.spark artifactId = sp...
Spark官方文档(1)
1 、概述(Overview) 2 、引入Spark(Linking with Spark) 3 、初始化Spark(Initializing Spark) 3.1 使用Spark Shell(Using the Shell) 4 、弹性分布式数据集(RDDs) 4.1 并行集合(Parallelized Collections) 4.2 外部数据库(External Datasets) 4.3 RDD操作(RDD Operations) 4.3.1 基础(Basics) 4.3.2 把函...
越来越重要的Spark
越来越重要的Spark ,Hadoop之父Doug Cutting预言了Hadoop将不断向前发展,以及预言了围绕hadoop生态系统的产生的机遇。   Hadoop经过10年的发展,如今Hadoop生态系统非常庞大,同时一直在改进。InfoWorld 的 Andy Oliver就目前的情况,“关于Hadoop你需要知道的最重要的一件事是以后再也没有Hadoop了”—至少,...
Spark调度分析
Spark调度分析,Spark作为分布式的大数据处理框架必然或涉及到大量的作业调度,如果能够理解Spark中的调度对我们编写或优化Spark程序都是有很大帮助的。 在Spark中存在转换操作(Transformation Operation)与 行动操作(Action Operation)两种;而转换操作只是会从一个RDD中生成另一个RDD且是lazy的,Spark中只有...
Spark连续重大更新
Spark连续重大更新,由于移动互联网数据量庞大且类型多样的特性,分布式计算在这一领域极受欢迎。Hadoop无疑是大数据开源环境下的王者,而本文的主角Spark和Storm与其一起并列为最主流的三大分布式计算系统。 今年初,大数据处理技术Spark刚刚更新了1.6版本,近日又爆出,Spark下一个重大版本——2.0预计在今年4、...
Spark读HBase多表组成一个RDD
Spark读HBase多表组成一个RDD,环境:Spark-1.5.0 HBase-1.0.0。场景:HBase中按天分表存数据,要求将任意时间段的数据合并成一个RDD以做后续计算。 尝试1: 寻找一次读取多个表的API,找到最接近的是一个叫MultiTableInputFormat的东西,它在MapReduce中使用良好,但没有找到用于RDD读HBase的方法。 尝试2: 每个...
Spark简介及在Ubuntu下的安装使用
Spark简介及在Ubuntu下的安装使用,Spark 是一种与 Hadoop 相似的开源集群计算环境,在性能和迭代计算上很有看点,现在是Apache孵化的顶级项目吧。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发,可用来构建大型的、低延迟的数据分析应用程序。 Spark 启用了内存分布数据集...
Spark并行计算模型
Spark并行计算模型,Spark是一个小巧玲珑的项目,由Berkeley大学的Matei为主的小团队所开发。使用的语言是Scala,项目的core部分的代码只有63个Scala文件,充分体现了精简之美。 Spark要解决的问题是,在当前的分布式计算框架中不能有效处理的两类问题:iterative(迭代计算)和interactive(交互式)计算。 目前...
Spark安装部署与运行实例
Spark安装部署与运行实例,首先解压scala,本次选用版本scala-2.11.1。 [Hadoop@CentOS software]$ tar -xzvf scala-2.11.1.tgz [hadoop@centos software]$ su - [root@centos ~]# vi /etc/profile 添加如下内容: SCALA_HOME=/home/hadoop/software/scala-2.11.1 PATH=$SCALA_HOME/bin EXPORT SCALA_HOME ...
Spark大数据引擎的七大工具
Spark大数据引擎的七大工具,Spark正在数据处理领域卷起一场风暴。让我们通过本篇文章,看看为Spark的大数据平台起到推波助澜的几个重要工具。 Apache Spark不仅仅让大数据处理起来更快,还让大数据处理起来更简单、功能更强大、更方便。Spark并非只是一项技术,它结合了诸多部分,新的功能和性能改进不断添加进来...
Spark是否真的比MapReduce技高一筹
Spark是否真的比MapReduce技高一筹,Apache 基金会下的 Spak 再次引爆了大数据的话题。带着比 Hadoop MapReduce 速度要快 100 倍的承诺以及更加灵活方便的 API,一些人认为这或许预示着 Hadoop MapReduce 的终结。 作为一个开源的数据处理框架,Spark 是如何做到如此迅速地处理数据的呢?秘密就在于它是运行在集群...
CentOS6.2(64位)下安装Spark0.8.0
CentOS6.2(64位)下安装Spark0.8.0,系统:CentOS6.2,操作账号:root,Spark版本:Spark-0.8.0-incubating-bin-Hadoop1.tgz,jdk版本:jdk-7-linux-x64.rpm,scala版本:scala-2.9.3.tgz。 使用的节点情况:(172.18.11.XX)XX=16,17,18,20,21,23,24,25,26,27,28,29,30,31,32,33,34共17个节点。主控节点:hw024,...
Apache Spark 2.0 最快今年4月亮相
Apache Spark 2.0 最快今年4月亮相,大数据技术Spark今年初才刚释出1.6版,下一个2.0版本就已经蓄势待发,预计今年4、5月释出,近日Spark创办人、同时也是 Databricks技术长的Matei Zaharia,更在2016 Spark Summit上,抢先揭露了Spark 2.0即将带来的3大主要特色:包括能大幅提升Spark平台效能的Project Tungsten即...
共 25 页 每页 30 条  1/1条   <<   <<   1   >>   :   GO 

相关课程

     思科培训      微软培训      红帽Linux培训      Oracle培训      华为培训
     F5 Networks培训      IT管理培训      Juniper培训      VMware培训      EMC培训
     Spark培训      Openstack培训      IBM AIX培训      Cloudera培训      Citrix培训
     Cissp培训                

在线咨询
◆微软将在Office中引入人工智能 ◆微软发Surface Pro 4/Studio固件更新日志 ◆微软:AI人工智能应该帮助,而不是替代人 ◆微软推出WDATP强化企业终端威胁防护 ◆Windows申请免费SSL证书-Let's Encrypt ◆思科ASAP助力全数字化时代数据中心创新 ◆怎样选择合适的PoE交换机? ◆思科持续保持企业基础设施市场优势 ◆网络工程师需要的8项技能 ◆思科IOS中改善CLI的用户体验 ◆H3C交换机以太网端口类型 ◆H3C交换机做DHCP ◆H3C交换机常用配置命令 ◆新华三集团总裁兼首席执行官于英涛2017年会致辞 ◆新华三加速云落地 ◆RHEL7 配置VNC远程桌面 ◆RHEL7利用iso镜像制作本地yum源 ◆RHEL6 学习笔记 ◆RedHat5和RedHat6 配置yum源详解 ◆RedHat7上为Nginx编译安装nginx_push_stream_module ◆是否有必要参加PMP考试培训 ◆该怎么选择PMP培训公司 ◆企业为什么需要IT配置管理及其如何使用 ◆PMP考试心得 ◆IT资产管理与ITIL配置管理的区别和联系 ◆Juniper用户快更新:Junos OS、SRX有DoS漏洞 ◆Juniper防火墙之恢复出厂默认设置 ◆Juniper SSG双机高可用(HA)平滑升级经验分享 ◆高盛:Juniper市场表现将超过Cisco和Arista ◆Juniper收购云管理公司AppFormix ◆F5 Network:让爱点亮世界 ◆F5发布2017年应用交付状态报告 ◆除F5外,其他负载均衡软件的优缺点 ◆负载均衡的那些算法们 ◆F5配置手册:设备初始化配置 ◆Oracle培训:Oracle数据泵导入dmp文件 ◆Oracle培训:Oracle手工建库出现ORA-01519错误 ◆Oracle培训:Oracle CDC部署 ◆Oracle培训:Oracle 12c创建可插拔数据库(PDB)及用户 ◆Oracle EXP和IMP使用方法介绍 ◆VMware中CentOS 6.6的kdump启动失败解决 ◆VMware NSX升级:微细分、安全启动和支持非vSphere环境 ◆VMware虚拟化培训:虚拟化的基础知识 ◆VMware发布2016数字化工作空间现状报告 ◆VMware助力广州科政实现恒大集团打造全虚拟化数据中心 ◆戴尔EMC补丁在VMAX存储系统中出现漏洞 ◆EMC进行SAN拆分,解决更细化的存储需求 ◆EMC数据中心全闪存年,机架级闪存可让Hadoop提速10倍 ◆EMC发布2016年新品和技术路线 ◆重新定义企业IT,EMC联手VMware推超融合 ◆最近面试的大数据岗位的公司经历 ◆用大数据预测雾霾,已获得环保部订单的微软是如何做到的? ◆大数据学习经验 ◆身处大数据时代,大数据这些误区你知道吗 ◆大数据分析促进人才招聘 ◆云计算SaaS采用要考虑的5大因素 ◆如何构建一个私有存储云 ◆云计算的三大支柱 ◆云计算的真正价值不仅仅是节省开支 ◆云计算将改变我们的生活? ◆Apache Spark也有不完美 ◆Spark将机器学习与GPU加速机制纳入自身 ◆spark作业调优 ◆Spark基本工作流程及YARN cluster模式原理 ◆从Spark 2.0版的推出,看开源大数据技术的商业化发展 ◆EasyStack郭长波当选OpenStack基金董事 ◆OpenStack私有云:好处、挑战和未来 ◆在Openstack上创建并访问Kubernetes集群 ◆思科公司关闭基于OpenStack的公共云 ◆2017年OpenStack管理员认证会不会火? ◆IBM和Bell联手共同打造苹果iOS企业应用 ◆IBM首席执行官提出人工智能部署三大基本原则 ◆调研IBM与西门子:软件将是工业的未来! ◆IBM在美获专利最多 ◆IBM闪存迎接新挑战 ◆Hadoop创始人Doug Cutting寄语2017:五种让开源项目成功的方法 ◆基于Ubuntu Hadoop的群集搭建Hive ◆HDFS以及HBase动态增加和删除节点 ◆Cloudera提供课程帮助缩小数据技能差距 ◆Cloudera提供课程帮助缩小数据技能差距 ◆扩大与Azure合作,思杰力推超融合基础设施上部署VDI ◆MapReduce工作流多种实现方式 ◆Citrix虚拟化技术:XenServer6.2资源池配置 ◆Citrix虚拟化技术:XenServer6.2虚拟机创建 ◆Citrix虚拟化技术:XenServer6.2存储管理 ◆2017年十大最热IT技能:安全位列其中 ◆筑牢个人信息安全防火墙 ◆2016年最热门的六大IT职位 ◆CISP认证和CISSP认证区别 ◆成为CISSP的理由