ubuntu安装spark(Ubuntu安装ssh)
AB资源网 2023-05-04 10:33 55 浏览 0 评论
本文目录:
- 1、spark在ubuntu12.10上能直接安装吗
- 2、怎么在ubuntu中安装spark
- 3、如何安装spark&tensorflowonspark
- 4、如何在Ubuntu下搭建Spark集群
- 5、ubuntu 安装spark时,运行命令pyspark报错
- 6、ubuntu卸载spark命令
spark在ubuntu12.10上能直接安装吗
完全可以安装,所谓大家都先装hadoop是想要使用hadoop的HDFS分布式存储文件系统,如果你先不装hadoop,那你就直接用本地文件系统就成了,然后在spark-shell下进行使用spark命令,亲测可用。
怎么在ubuntu中安装spark
我自己已经解决了,通过看了几篇BLOG,这里贴上地址,参考BLOG : 一、Ubuntu14.04下安装Hadoop2.4.0 (单机模式);Ubuntu 12.04下Hadoop 2.2.0 集群搭建(原创);ubuntu 中ssh无密码配置 ,hadoop节点之间无密码登录;我是在Ubuntu14.04LTS下搭建的1.1.0Spark集群,已经搭建成功,目前只用了3台电脑。方法差不多。
如何安装spark&tensorflowonspark
1. 安装Scala最好选择一个2.10.X,这样对spark支持比较好,不会出现一些幺蛾子。这有个教程,应该是可以的
2. 安装spark大概是这里面最简单的事了吧点这里下载spark。鉴于我们已经安装好了hadoop,所以我们就下载一个不需要hadoop的spark包,就是这个with user-provided Hadoop这个
我用的是1.6.0好像大家用这个的比较多,最新的已经到2.1.x了。
解压到你想安装的目录
sudo tar -zxf ~/下载/spark-1.6.0-bin-without-hadoop.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-1.6.0-bin-without-hadoop/ ./spark
sudo chown -R hadoop:hadoop ./spark # 此处的 hadoop 为你的用户名
之后很重点的一步是修改spark-env.sh的内容,好像要改好多好多。。。
cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
vim conf/spark-enf.sh
这里是我的spark-env.sh的一些配置
export HADOOP_HOME=/home/ubuntu/workspace/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_HDFS_HOME=/home/ubuntu/workspace/hadoop
export SPARK_DIST_CLASSPATH=$(/home/ubuntu/workspace/hadoop/bin/hadoop classpath)
export JAVA_HOME=/home/ubuntu/workspace/jdk/
export SCALA_HOME=/home/ubuntu/workspace/scala
export SPARK_MASTER_IP=192.168.1.129
export SPARK_WORKER_MEMORY=1G
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORDER_INSTANCES=2
export SPARK_EXECUTOR_INSTANCES=2118
属性不明白的可以打开spark-env.sh,里面前面又好多注释,讲各种属性的意思。(ps:这里有个SPARK_DIST_CLASSPATH一定要照着改对,否则会运行不起来)
这是给力星大大的教程写得很好。
3. 分布式spark部署
重点来了,当然,教程在这里
这里好像没什么坑,但是好像我记得刚开始的时候别的机器上的worker老是启动不起来,但是忘记是什么原因了,可能是免密登录没设置还是怎么的。
照着教程完成了之后,你就获得了spark的集群辣,撒花~(≧▽≦)/~
ps:这里还有个搭建standalone集群的简单介绍,Spark的Standalone模式安装部署
如何在Ubuntu下搭建Spark集群
这里是结合Hadoop2.0使用的 1,download :选择prebuilt:中hadoop2的下载,hadoop安装就不介绍了,spark节点可以不是hadoop节点,可以是一个hadoop客户端。 2,download scala,…
ubuntu 安装spark时,运行命令pyspark报错
方法: 1。 改表法。可能是你的帐号不允许从远程登陆,只能在localhost。这个时候只要在localhost的那台电脑,登入mysql后,更改 “mysql” 数据库里的 “user” 表里的 “host” 项,从”localhost”改称”%” mysql -u root -pvmwaremysqluse mysql;mysqlupdate user set host = ‘%’ where user = ‘root’;mysqlselect host, user from user; 2. 授权法。例如,你想myuser使用mypassword从任何主机连接到mysql服务器的话。
ubuntu卸载spark命令
ubuntu卸载spark命令
最佳卸载命令(最好是切换到root)
apt-get remove packagename –purge apt-get autoremove –purge apt-get clean
卸载程序(包括配置文件)、卸载依赖、删除/var/cache/apt/archives下所有安装包
最佳升级软件命令
apt-get update apt-get upgrade
apt常用命令
apt-cache show packagename 获取包的相关信息,如说明、大小、版本等
apt-cache depends packagename 了解使用依赖
apt-cache rdepends packagename 是查看该包被哪些包依赖
apt-get install packagename 安装包
apt-get install package=version 指定安装版本
apt-get install packagename –reinstall 重新安装包
apt-get remove packagename –purge 卸载程序,包括删除配置文件等
apt-get update 更新源,更新 /etc/apt/sources.list里的链接地址
apt-get upgrade -u 升级程序(不包括依赖关系改变的) -u 完整显示列表
apt-get dist-upgrade 升级程序(包括依赖关系改变的并且重新组织依赖关系)
apt-get clean 删除安装包(节约硬盘空间,下次安装需要重新下载包,软件包位置:/var/cache/apt/archives/)
apt-get autoclean 删除已卸载的安装包(Ubuntu14.04测试发现没起作用)
apt-get autoremove 卸载依赖的程序
【ubuntu安装spark】的内容来源于互联网,如引用不当,请联系我们修改。
相关推荐
- 踏入阿里云服务器代理商之门:步骤和技巧 (怎么成为阿里云服务器代理商)
-
作为目前全球更大的云计算服务提供商之一,阿里云在中国市场的份额一直占据领导地位。如果你希望在云计算领域开展业务,成为阿里云服务器代理商可能是个不错的选择。本文将为大家详细介绍具体的步骤和技巧,帮助你成...
- 高性价比,足够优惠! 30美元起,年付美国VPS,值得拥有! (美国vps 年付)
-
近年来,随着互联网的不断发展,越来越多的网站需要使用虚拟主机服务,以提供更加稳定的服务质量和更好的访问速度。而虚拟主机的使用也因此成为了越来越普遍的一种方式。但是,在选择虚拟主机服务时,除了考虑到稳定...
- 评测美国云服务器,推荐性价比高的品牌 (美国云服务器哪个好用)
-
近年来,随着人们对于云计算的需求不断增加,云服务器也逐渐成为了企业、机构和个人等用户参与服务的主要方式之一。而在众多的云服务器品牌中,美国云服务器更是备受欢迎。而对于那些想要评测美国云服务器的用户来说...
- 群晖服务器的登录方法详解 (群晖服务器如何登陆)
-
群晖服务器是一种高效可靠的存储和共享平台,它可以提供非常多的实用功能和服务。但是,在开始使用之前,你需要登录到你的群晖服务器。在本文中,我们将详细讲解群晖服务器的登录方法。一、了解群晖服务器的基本概...
- 紧急通知:CDN服务器可能遇到故障,需及时解决! (cdn服务器可能发生故障)
-
作为一个网站管理员,CDN服务器的重要性我们再清楚不过了。最近,我们收到了来自网络运营商的紧急通知,通知我们CDN服务器可能遇到故障,需要及时解决。CDN服务器,即内容分发网络服务器,是在全球各个位...
- 办公室网络瘫痪!无法连接局域服务器怎么办? (连接不了局域服务器)
-
办公室网络瘫痪是企业中常见的问题之一。一旦网络瘫痪,会影响到员工的工作效率和企业的营运。当你打开电脑,却发现无法连接局域服务器时,这时该如何应对呢?1.检查网络连接检查电缆是否连接正确,网线是否...
- 利润吗?买云主机,能否带来收益? (买云主机能赚)
-
随着互联网的飞速发展,云计算作为一种新型的计算模式,其广泛应用在各个领域之中。其中,云主机服务是云计算的重要组成部分,已经成为很多企业选择托管的首选方式。随着云主机的发展和普及,很多人开始关注,如果购...
- .NET轻松打开FTP服务器文件夹,方便快捷管理文件 (.net打开ftp服务器文件夹)
-
在现代科技的浪潮下,越来越多的企业选择使用云服务器来存储和共享数据。FTP服务器是一个非常有用的工具,它允许用户上传、下载、删除和共享文件。然而,FTP管理文件需要一些特定技能和知识,否则操作可能会变...
- 2023企业服务器版:全面升级,助力企业发展 (2023 企业服务器版)
-
2023年,微软推出了全新的企业服务器版本,旨在为企业用户提供更为稳定、高效的IT系统支持,更好地助力企业发展。随着互联网和信息技术的飞速发展,企业面临着越来越大的信息化压力。如何建设一个高效、稳定...
- 享受超低价格!2023年付VPS,轻松搭建私人网站 (2023便宜年付vps)
-
当今时代,互联网充斥着各种各样的网站,无论是企业还是个人都会拥有一个网站,用来展示自己的产品或者知识。而搭建一个私人网站也是越来越普遍的事情。那么,如何搭建一个便捷而且又不贵的私人网站呢?本文将为大家...
- 回顾2023服务器系统:经典之作还是过时技术? (2023服务器系统)
-
2023年,微软公司推出了WindowsServer2023,这是一款非常成功的服务器操作系统,许多企业和机构使用它进行各种任务和应用程序。然而,随着时间的推移,新技术的发展以及安全漏洞的增加,2...
- 2023 Q3服务器排名发布:领先厂商与新兴品牌争夺冠军 (2023 Q3服务器排名)
-
近年来,随着互联网技术的迅速发展,服务器市场也持续升温。市场上主要的服务器品牌包括戴尔、惠普、联想、IBM等。而在这些老牌企业的竞争下,新兴的服务器品牌也在不停崛起。根据2023Q3服务器排名发布,...
- 「低成本高性能!100g云服务器价格惊喜震撼!」 (100g云服务器价格)
-
低成本高性能!100g云服务器价格惊喜震撼!现今的互联网时代,任何一家公司都需要拥有自己的网站,以便宣传公司产品、服务和品牌。一个高速、可靠的云服务器是每个公司的必备工具之一。就在不久之前,网络服务...
- 1u服务器显卡:强大性能让服务器效率提升 (1u服务器显卡)
-
1U服务器显卡:强大性能让服务器效率提升随着信息技术的飞速发展,人们对数据处理和存储的需求越来越高,尤其对企业级服务器的性能要求也越来越苛刻。随着、大数据、云计算等诸多新技术的不断涌现,服务器的效率...
- 韩国将于2023年推出云服务器服务,助力云计算技术的发展。 (2023韩国云服务器)
-
韩国将于2023年推出云服务器服务,助力云计算技术的发展随着互联网的高速发展,云计算技术已经成为了数字化时代的一项重要技术。云计算技术是一种以互联网为基础,将不同的底层服务封装成云服务器,以便用户可...
你 发表评论:
欢迎- 一周热门
-
-
大网数据:双12秒杀聚惠,湖北100G高防云低至0元/月,湖北独服务器低至210元、200G高防+50Mbps带宽
-
HostYun廉价洛杉矶三网回程CN2 GIA云服务器内测13元/月起(美国原生IP,去程10Gbps防御)
-
大网数据、湖北高防云服务器低至39元/月起、湖北高防独服务器低至245元起(200G硬防、金盾+傲盾防CC)
-
HostYun洛杉矶大硬盘云服务器9折22.5元/月起(240G-500G硬盘/1Gbps/10G防御)
-
樊云香港双程CN2及洛杉矶50G高防三网CN2 GIA云服务器9折22.5元/月起
-
spinservers圣何塞/达拉斯10Gbps带宽高配服务器月付89美元起
-
DogYun新上韩国独立服务器,E5/SSD+NVMe优惠后300元/月,自动化上架
-
tmhhost美国高防云服务器8折_CeRaNetworks机房/三网cn2直连/适合建站
-
高防服务器大网数据湖北独服务器低至210元、200G高防+50Mbps带宽
-
初忆云 – 2020年中云聚惠全场五折 BGP云服务器低至88/年,抓紧上车
-
- 互动交流
- 标签列表
- 最新评论
-
虚拟机部署好后跟物理机一样当服务器的,只是它依赖了本地物理机不要关机为前提。对于外网访问内网场景,本地内网搭建服务器后需要提供到互联网上连接访问的,比较简便的
访客 评论于:03-01- 刘中宜 评论于:11-01
- 访客 评论于:06-03
- AB资源网 评论于:05-08
- AB资源网 评论于:11-22
- AB资源网 评论于:11-22
- 頹廢了悲伤 评论于:11-15
- 南风知我意 评论于:11-15
- 心若冰凝 评论于:11-15
- 淡似春风 评论于:11-15