每天学习笔记分享

学习笔记分享-0001 2016-01-19

主题：免费的在线git版本控制工具的使用

  • 内容概述

    oschina 提供免费的git版本控制工具，介绍如何在上面新建自己的帐号，新建自己的项目，上传源码或资料，进行版本控制

  • 解决实际需求

    伴随知识和技术的积累，以后会在工作和生活中，遇到越来越多的同类或相似的问题需要面对和解决，如果没有很好的分类整理这些解决方法或方案供以后复用，那么将会是无休止的重复做以前同样的事情，10遍，100遍，是很正常的事情，这将严重影响工作效率和个人能力的体现。所以需要版本控制工具对项目或功能源码，笔记，电子书等各种资源进行分类管理和版本控制。

详细地址：https://opensourceteam.gitbooks.io/bigdata/content/tools/version/gitoschinanet.html
（坚持每天做一次学习笔记分享，厚积薄发，坚信技术大咖就是这样日复一日，年复一年练就的,大家互免）

------------------------

学习笔记分享-0002 2016-01-19

主题：分布式集群环境中SSH免密登录之脚本化

  • 内容概述

    通过脚本在集群环境中的主节点机器上执行一次，所有集群中的节点，完成免密登录操作，缺点(未完成功能)，目前还要在主节点上对每台机器输入一次密码，进行验证

  • 解决实际需求

    分布式集群环境中经常需要进行节点之间的数据的通信，相互之前访问经常需要输入密码是一种很麻烦而且不易于编程化使用，所以我们需要进行配置，进行免密登录。

详细地址：https://opensourceteam.gitbooks.io/bigdata/content/ubuntu/userd/sshmian_mi_deng_lu_ff0d_ji_qun.html

（坚持每天做一次学习笔记分享，厚积薄发，坚信技术大咖就是这样日复一日，年复一年练就的,大家互免）

------------------------------------

学习笔记分享-0003 2016-01-20

主题：分布式集群环境中部署==>spark maven

功能概述

  • 分布式计算，HDFS文件系统上的一个目录（目录下的所有文件）或一个文件的内容，各单词的统计个数，（单词之间以空格来分隔）
  • scala或java 语言开发 spark程序
  • 通过maven 打包 spark 项目
  • 通过maven 打包后,都可以直接在 idea 工具中直接运行项目,把应用部署到集群中去
  • 也可以直接运行 spark-submit.sh 部署工具

  • maven scala 打包命令
    java执行:mvn clean compile package -DskipTests
    scala执行:mvn clean scala:compile compile package -DskipTests

  • 解决实际需求

    分布式集群环境之所以效率高，讲究的是多台机器并行运算，整合集群中的硬件资源进行最大化运算，分别部署到每台机器上去执行相应的应用程序是一件很麻烦头疼的事情，所以用各框架自带的工具，自动、打包、部署应用程序到集群环境中去

  • 源码下载 scala 版：https://git.oschina.net/opensourceteams/spark-maven-scala-idea.git

  • 源码下载 java 版 https://git.oschina.net/opensourceteams/spark-maven-java-idea.git

  • 更多资料分享： https://opensourceteam.gitbooks.io/bigdata/content/notes/share/mei_tian_xue_xi_bi_ji_fen_xiang.html

  • 坚持每天做一次学习笔记分享，厚积薄发，坚信技术大咖就是这样日复一日，年复一年练就的,大家互免

=============================================================================

学习笔记分享-0004 2016-01-21

主题：系统环境变量引发的问题

提出的观点

  • 能写在配置文件中的，绝对不配置环境变量

  • 为了方便命令的使用，可以在用户根目下建一个文件夹如(~/run),然后把各执行命令写进该文件夹中

  • 解决实际需求

    • 由于现在硬件成本不断降低，企来生产环境配置很高，光内存就起步就是几十个G的内存，动则一，二百G的内存，硬盘也是T级别的起步
    • 丰富的硬件配置导致，单台机器也不可能只跑单个应用程序，就是说一台机器可能会给一项目组或几个项目组用的，会跑很多应用程序，包括历史应用程序，而历史程序大都应用的版本比较低，如Java就普通是1.6,但是很多现在的新功能，都是1.7以上的才支持，所以会冲突，导致不可用 *特别是 java 框架太多，版本又很多，特别是各种多版本的集成问题，往往会不兼容，导致很难维护，很容易出错，并且相互影响

  • 看看 hadoop,spark,那些框架依赖的变量，都是直接写在配置文件中，这样完全不会影响别的操作，因为文件中变量的作用域，就是这一次任务执行开始到结束就没了

  • 系统环境变量引发的问题：https://opensourceteam.gitbooks.io/bigdata/content/ubuntu/configuration/huan_jing_bian_liang_pei_zhi_wen_ti.html

  • 更多资料分享： https://opensourceteam.gitbooks.io/bigdata/content/notes/share/mei_tian_xue_xi_bi_ji_fen_xiang.html

  • 坚持每天做一次学习笔记分享，厚积薄发，坚信技术大咖就是这样日复一日，年复一年练就的,大家互免

=============================================================================

学习笔记分享-0005 2016-01-22

主题：maven 编译，打包工具的使用说明

解决实际需求

=============================================================================

学习笔记分享-0006 2016-01-22

主题：hadoop 2.6.0集群安装

  • 安装好 jdk 1.8 64位以上
  • 安装好 集群ssh免密登录
  • hadoop 安装包 hadoop-2.6.0.tar.gz
  • 操做系统 ubuntu 15 64位

  • 集群环境如下

      各节点分布
  s0为master主控制节点
  192.168.0.110 s0
  192.168.0.111 s1
  192.168.0.112 s2
  192.168.0.113 s3
  192.168.0.114 s4

  • 集群配置说明 先在s0上配置完成所有配置信息，然后同步到所有集群每一个节点上，所有配置包括安装路径是一样的
    *详细: https://opensourceteam.gitbooks.io/bigdata/content/hadoop/install/hadoop_2_6_0_ji_qun_an_zhuang.html

  • 了解更多资料：http://weibo.com/thinktothings

  • 坚持每天做一次学习笔记分享，厚积薄发，坚信技术大咖就是这样日复一日，年复一年练就的,大家互免