当前位置 博文首页 > 大数据manor的博客 :Hadoop(HDFS+MapReduce+Hive+数仓基础概念)

    大数据manor的博客 :Hadoop(HDFS+MapReduce+Hive+数仓基础概念)

    作者:[db:作者] 时间:2021-07-16 18:46

    在这里插入图片描述

    修改虚拟机IP

    *复制网卡的配置*

    第一种方式:配置文件向识别的网卡兼容

    1、 通过一个主机复制出多个主机

    2、 开启复制的主机,启动时选择“复制”

    img

    3、 启动后查看IP ifconfig

    img

    查看系统识别的网卡

    Ifconfig -a

    img

    这里ifconfig看不到IP 是因为系统识别的设备名称与系统配置文件不同导致。

    配置文件名称img

    解决方案:

    修改配置文件名为系统识别的名称(将eth0改为eth1)

    img

    修改eth1内的配置

    img

    保存退出,重启网卡(报错)

    img

    错误原因:VM软件为新系统分配了新的mac地址,配置文件中还是原始的。两个不匹配

    查看系统分配的mac地址,并记录。

    img

    方案:将配置文件中的历史的mac改为新的Mac地址

    img

    重启网卡

    img

    查看IP ifconfig

    img

    第二种方式:识别的网卡向配置文件兼容

    通过一个主机复制出多个主机

    开启复制的主机,启动时选择“复制”

    img

    启动后

    查看IP ifconfig

    img

    查看系统识别的网卡

    Ifconfig -a

    img

    这里ifconfig看不到IP 是因为系统识别的设备名称与系统配置文件不同导致。

    配置文件名称img

    方案:让系统识别的eth1变为eth0

    第一步:修改配置文件img\

    文件中有两个配置,删除其中任意一个,修改剩下的一个配置将address改为系统新分配的mac地址,将NAME改成eth0,保存退出

    img

    第二步:修改配置文件img中的mac地址为系统重新分配的地址。保存退出

    第三步:重启系统 reboot

    img

    002_Linux_随堂笔记_终版

    操作系统

    Windows 10

    操作系统的分类

    * 桌面操作系统

    * 服务器操作系统

    * 嵌入式操作系统

    * 移动设备操作系统

    桌面操作系统

    * Window 系列

    * macOS

    * Linux

    服务器操作系统

    Linux

    Windows Server

    嵌入式操作系统

    Linux

    Linux创始人

    林纳斯 托瓦兹

    脱发兹
    linux是开源免费

    img

    Linux分类

    商业版 Redhat

    稳定版 6.4 6.6 6.8 7.0(偶数)

    开发板 6.5 5.7 6.9 (奇数)

    免费版 CentOS

    稳定版6.4 6.6 6.8 7.0

    开发板 6.5 5.7 6.9

    界面最好的

    Ubuntu

    国内的

    红旗 中标麒麟

    Linux 系统需要记住的目录

    /etc: 系统配置,启动程序

    /home:普通用户的家,目录默认数据存放目录

    /mnt:临时挂载储存设备的挂载点,u盘插入光驱无法使用,需要挂载然后使用

    /opt:额外的应用软件包

    /root:Linux超级权限用户root的家目录

    /tmp:临时文件目录,这个目录被当作回收站使用

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GSWVWcxj-1624768770724)(C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml25440\wps161.png)]

    文件夹的增删改查

    添加 mkdir XXX

    mkdir –p XXX

    删除 rm –rf XXX

    修改 mv XX XXX

    查询 ll [-a]

    ls [-a] [-l]

    复制 cp [-a/-r] 原文件夹 目标文件夹

    文件的增删改查

    添加 touch 空文本

    echo ‘XXXX’ > 或 >> 文本

    删除 rm –rf xxx

    修改 mv XX XXX

    查询 ll [-a]

    ls [-a] [-l]

    查看内容

    前10行 head 文件名

    head -10 文件名

    后10行 tail -10 文件名

    查看所有

    cat 文件名

    赤壁

    数据过滤

    grep [参数] 关键字 文件名

    img

    编辑 ???????

    其他

    当前所在的目录 pwd

    清空屏幕 clear

    软连接 ln -s 目标文件绝对路径 快捷方式路径

    帮助文档 命令+ --help

    && 前面的命令执行成功再执行后面的。

    || 前面的命令执行失败再执行后面的。

    Vi编辑器的常用命令

    1、 VI编辑器的三种模式

    a) 命令模式

    b) 编辑模式

    c) 末行模式末行模式

    保存并退出 :wq / x!

    不保存强制退出 :q!

    行内移动

    以单词为单位向后移动 w

    以单词为单位向前移动 b

    光标移动到行首 0 / ^

    光标移动到行尾 $

    行数移动

    移动到首行 gg

    移动到尾行 G

    定位到某一行 数字gg / 数字G / :数字

    段落

    以段落为单位后移 }

    以段落为单位前移 {

    撤销

    撤销命令 u

    取消撤销/恢复撤销 Ctrl+r

    删除文本

    删除多行 数字dd

    删除一行 dd / 1dd

    在光标所在的位置删除至行尾 D

    在光标所在的位置删除至行首 d0 / d^

    剪切 x

    复制

    复制多行 数字yy

    复制一行 yy

    粘贴 p

    替换的命令

    替换的是光标所在的位置以及后面的数据 R

    只替换光标右侧的第一个字符 r

    文件夹内查找

    通过文件名指定路径查找 find 路径 -name *.txt

    通过文件名在当前路径查找 find -name *.txt

    文件内查找

    /查找的内容

    向上查找 N

    向下查找 n

    文件内替换

    :%s/旧文本/新文本/g [c]

    进入编辑模式【插入】

    I、A、O / i、a、o

    img img

    压缩命令

    gzip

    制作压缩文件 tar zcvf 压缩文件名.tar.gz 被压缩的文件/文件夹

    解压压缩文件 tar zxvf 压缩的文件名.tar.gz -C 路径

    bzip2

    制作压缩文件 tar jcvf 压缩文件名.tar.bz2 被压缩的文件/文件夹

    解压压缩文件 tar jxvf 压缩的文件名.tar.bz2 -C 路径

    关机

    halt

    重启

    reboot

    用户权限

    drwxr-xr-x. 2 root root 4096 9月 14 23:15 aa

    d:表示文件夹

    rwx:当前用户具备的权限

    r-x:当前用户所属的组具备的权限

    r-x:其他用户所具备的权限

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mKqGTGaI-1624768770725)(C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml25440\wps165.jpg)]

    root:文件所属的用户

    root:文件所属的用户所属的组

    4096 :文件大小

    9月 :文件创建的月份

    14 23:15 文件创建的日期

    aa:文件名

    读权限:数字表示4

    写权限:数字表示2

    执行权限:数字表示1

    读写执行能够构成的数字和是1、2、3、4、5、6、7

    用户和组的添加

    组的操作

    添加组 groupadd 组名

    删除组 groupdel 组名

    查询当前所有的组 cat /etc/group

    修改组 chgrp 组名 文件/目录名

    用户的操作

    添加用户同时指定组 useradd -g 组名 用户名

    添加用户 useradd 用户名 【未指定组时,创建一个与用户名相同的组】

    删除用户(删除家目录):userdel –r 用户名

    查看当前用户 cat /etc/passwd

    为用户设置密码 passwd 用户名

    用户切换

    Su 用户名

    Root用户 切换到普通用户无需密码,普通用户之间切换需要密码

    退出用户 exit

    普通用户临时借用root权限使用sudo 命令【普通用户已经添加到/etc/sudoers文件中】

    img

    修改权限

    1、chmod [-R] 777 文件名/文件夹名

    2、chmod +/- rwx 文件名|目录名

    3、chmod -R u=rwx,g=rwx,o=rwx 文件名|目录名

    修改文件所属的组

    chown -R 新用户:新用户的组 文件名/文件夹名

    其他命令

    获取当前日期 date

    更新当前日期 date -s “yyyy-MM-dd HH:mm:ss”

    查看磁盘空间 df -h

    查看某一目录所占空间大小 du -h

    查看进程详细信息 ps aux

    查看cpu内存等使用情况 top

    杀死某一进程 kill [-9] 进程号

    查看内存使用率 free –h [-m/-g]

    /opt目录下创建文件夹“dashuju”

    在/opt/dasguju内创建10个文件,文件名为wenjian1.txt wenjian2.txt wenjian3.txt

    … … wenjian10.txt

    在目录/opt中,将dashuju文件夹中的内容添加到gzip格式的压缩文件dashuhu.tar.gz中

    将压缩命令和过程截图发群里

    img

    进入 /opt/dasguju内 将文件wenjian1.txt wenjian2.txt wenjian3.txt

    … … wenjian10.txt 添加到bzip2.tar.bz2 压缩文件中

    将bzip2.tar.bz2的解压命令以及过程发到群里

    img

    添加“mingren”“woailuo”用户,属于huoying组

    Mingren 密码:123321

    Woailuo 密码:456654

    使用mingren用户,添加新用户“kakaxi”

    img

    使用mingren用户在/tmp目录下创建文件1.txt, 将权限修改成rw-r-x-wx

    使用woailuo用户在/tmp目录下创建文件2.txt, 文件所属组从woailuo: huoying

    使用woailuo用户将系统日期修改成“2020-12-12 12:12:12”

    使用woailuo用户查看系统磁盘使用情况【不显示单位】,记做截图1

    查看cpu使用率 截图2,内存使用率 截图3。将三个截图截到一个图中发到群里。【添加姓名】

    添加用户mignren1、mignren2、… … mingren5,所有人归属于mignren组

    添加用户xiaoying1、xiaoying2、… …xiaoying5,所有人归属于xiaoying组

    添加用户dou1、dou2、… …dou5,所有人归属于dou组

    使用root用户创建文件huoying.txt

    修改huoying.txt所属的用户和组。修改为mignren4用户,mignren组

    img

    修改权限使得

    mignren4用户具有读写执行

    mignren组所有成员具有读写权限,没有执行权限。

    Xiaoying组和dou等其他组具有读权限,没有写和执行权限

    img

    Cut

    按照字符提取 head -2 1.txt | cut -c 5

    指定分隔符 head -2 1.txt | cut -d ‘:’ -f 1,2

    Sort

    文本排序 sort 文件名

    文本排序反转 sort -r 文件名

    文本排序去重 sort -u 文件名

    数值按大小排序 sort -n 文件名

    指定分隔符、指定排序列 sort -t ‘分隔符’ -k2nr 文件名

    Wc

    查看文件基本信息 wc 文件名

    查看文件行数 wc – l 文件名

    查看文件单词数 wc -w 文件名

    查看文件字节 wc -c 文件名

    查看多个文件信息 wc 文件1 文件2 文件3

    Uniq

    与sort连用

    排序、去重 cat 5.txt | sort | uniq

    排序、去重计算总数 cat 5.txt | sort | uniq -c

    Tee

    数据定位到多个文件 cat 5.txt | tee a.txt b.txt c.txt

    Tr

    小写i 替换成 echo “itheima” | tr ‘i’ ‘I’

    把 HELLO 转成 小写 echo “HELLO” |tr ‘[A-Z]’ ‘[a-z]’

    删除数字 echo ‘abc1d4e5f’ | tr -d ‘[0-9]’

    Split

    按照文件大小切分 split -b 10k 被切分的文件

    按照行数进行切分 split -l 1000 被切分的文件

    Awk

    模糊查询 awk ‘/zhangsan|lisi/’ score.txt

    按照分隔符拆分,根据角标显示

    awk -F ‘,’ ‘{print $1, $2, $3}’ 1.txt

    按照分隔符拆分,根据角标显示并指定分隔符

    awk -F ‘,’ ’ {OFS="==="}{print $1, $2, $3}’ 1.txt

    支持函数 awk -F ‘,’ ‘{print toupper($2),$3*100}’ 1.txt

    If判断语句

    awk -F ‘,’ ‘{if($4>60) print $1, $4, “及格”; else print $1, $4, “不及格”}’ score.txt

    Shell编程

    Shell 脚本的解释器

    /bin/sh

    /bin/bash

    /sbin/nologin

    /bin/dash

    /bin/tcsh

    /bin/csh

    脚本的编写规范

    首行描述解释器 #!/bin/bash

    执行脚本的三种方式

    1、bash 脚本名称 脚本参数

    2、 sh 脚本名称 脚本参数

    3、 ./脚本名称 脚本参数【./脚本名称之间没有空格】【chmod 777 脚本名称】

    变量的声明

    变量名=”值”【中间不能有空格】

    变量名要求 字母或下划线或数字(开头不能是数字)构成

    变量的引用

    使用$ 或 ${}引用变量

    删除变量 只读变量

    删除 unset 变量名

    只读 readonly 变量名

    字符串使用

    双引号(””):内部可以使用变量

    反引号(``):表示可执行

    单引号(‘’):内部所有的原样输出

    字符串长度及截取

    长度: echo ${#skill}

    截取: echo ${str:2:2} 【在第二个字符开始截取截取两位】

    脚本参数传递

    bash 脚本名 参数1 参数2 参数3 。。。。。。

    脚本内

    $0 脚本名称

    $1 参数1

    $2 参数2

    $n 参数n

    $* 所有参数

    $# 参数的个数

    算数运算符

    加法计算 expr 2 + 2

    乘法计算 expr 2 \* 2

    流程控制if

    if [ $a -gt 10 ];then

    代码1

    elif [ $a -lt 10 ];then

    代码2

    else

    代码3

    fi

    关系运算符

    大于小于大于等于小于等于等于不等于
    -gt-lt-ge-le-eq-ne

    循环

    For 循环

    For aa in XXXX

    do

    循环体

    done

    While循环

    While 条件 ;

    do

    循环体

    done

    跳出循环

    跳出所有循环 break

    跳出当前循环,进入下一次循环 continue

    case ()

    case 值 in

    结果1)

    结果1对应的操作;;

    结果2)

    结果2对应的操作;;

    结果3)

    结果3对应的操作;;

    esac

    接收控制台数据

    read 变量名

    函数的使用

    函数声明: [function] 函数名(){

    函数体

    $参数1

    $参数2

    $参数3

    }

    函数调用

    函数名 参数1 参数2 参数3

    数组

    数组声明: 数组名称=(元素1 元素2 元素3 元素4)

    数组的使用

    单个使用 echo 数组名[角标] 【角标从0开始】

    遍历数组 for var in ${my_arr[*]}

    do

    echo $var

    done

    文件加载

    在文件中添加 . 脚本名称 或者 source 脚本名称

    #!/bin/bash

    source ./test1.sh # 加载test1.sh 的文件内容

    实操部分

    1、linux 服务器添加硬盘并进行分区,实现自动挂载

    1、添加硬盘:在虚拟机中添加硬盘(忽略),添加后重启服务器,发现新硬盘

    img

    2、硬盘分区:查看硬盘 fdisk –l

    img

    Fdisk /dev/sdb

    n

    p

    分区一的开始 1

    分区一的结尾 自定义1

    分区二的开始 自定义1+1

    分区二的结尾 自定义2

    w

    3、磁盘格式化

    mkfs -t ext4 /dev/sdc1

    mkfs -t ext4 /dev/sdc2

    4、硬盘挂载(临时挂载:重启linux系统后,不会挂载)

    mount /dev/sdc2 /mnt/disk1/

    mount /dev/sdc2 /mnt/disk2/

    取消挂载

    umount /mnt/disk2/

    5、开机自动挂载(自动挂载:重启linux系统后,会自动挂载)

    修改/etc/fstab

    添加UUID=新硬件的UUID 挂载点路径 格式等

    重启

    其他说明

    硬盘删掉后,/fstab没有删除UUID重启报错

    使用 mount -o remount rw / 重新挂载,能够编辑/etc/fstab

    删掉 添加UUID=新硬件的UUID

    重启

    光驱的挂载

    目标虚拟机, 右键 设置

    选中 CD/DVD, 浏览 选中本地的 centOS 镜像

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tApR2o3c-1624768770730)(C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml25440\wps174.png)]img

    创建目录 mkdir -p /mnt/cdrom

    第一种方式挂载(仅限于VM):

    挂载镜像文件 mount /dev/sr0 /mnt/cdrom

    df -h

    img

    第二种方式挂载(上传ISO文件)

    mount –o loop /tmp/CentOS-6.9-x86_64-bin-DVD1.iso /mnt/cdrom

    2、软件的相关操作

    安装部署

    a: rpm -ivh 软件包名 【不能解决依赖问题】

    b: yum install –y 软件名 【Yum解决依赖问题,用户无需关注】

    查看

    rpm -qa | grep 关键字(软件名)

    卸载软件

    rpm –e [–nodeps] 软件包名

    3、 本地资源库安装部署

    前提:本地需要有一个系统的ISO镜像文件 或 光盘,并且挂载到系统的某一目录(/mnt/cdrom)

    进入系统目录/etc/yum.repos.d中,创建文件夹old。将目录中的所有.repo文件移动到old中。【系统自动到/etc/yum.repos.d找.repo文件】

    拷贝CentOS-Media.repo 文件到/etc/yum.repos.d中,修改该文件。

    [c6-media]name=CentOS-$releasever - Mediabaseurl=file:///media/CentOS/file:///media/cdrom/file:///media/cdrecorder/gpgcheck=1enabled=0gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

    改为

    [c6-media]name=CentOS-$releasever - Mediabaseurl= file:///mnt/cdrom/gpgcheck=0enabled=1

    保存退出

    清空yum 缓存 yum clean all

    查询mysql软件包是否能找到 yum search mysql

    安装mysql yum install -y mysql-server

    4、网络yum源的配置过程

    原理:一个节点配置资源库,其他节点通过http服务访问该节点资源,其他节点无需安装资源库。

    Node01:资源库节点

    Node02:其他节点

    1、 在Node01安装httpd软件,并启动

    a) yum install –y httpd

    b) /etc/init.d/httpd status

    i. /etc/init.d/httpd start

    ii. /etc/init.d/httpd status

    2、 到Node01节点的/var/www/html路径下,创建资源库路径的软连接

    a) ln -s /mnt/cdrom /var/www/html/cdrom

    b) 通过浏览器查看(关闭防火墙 /etc/init.d/iptables stop【重启系统时会启动】)防火墙开机不自启命令 chkconfig iptables off(on自启)

    img

    3、进入Node02节点的系统目录/etc/yum.repos.d中,创建文件夹old。将目录中的所有.repo文件移动到old中。【系统自动到/etc/yum.repos.d找.repo文件】

    拷贝CentOS-Media.repo 文件到/etc/yum.repos.d中,修改该文件。

    [c6-media]name=CentOS-$releasever - Mediabaseurl=file:///media/CentOS/file:///media/cdrom/file:///media/cdrecorder/gpgcheck=1enabled=0gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

    改为

    [c6-media]name=CentOS-$releasever - Mediabaseurl=http://192.168.10.132/cdromgpgcheck=0enabled=1

    保存退出

    清空yum 缓存 yum clean all

    查询mysql软件包是否能找到 yum search mysql

    安装mysql yum install -y mysql-server

    5、JDK安装部署

    1、软件包的上传大到/export/soft

    2、加压安装包到/export/servers

    tar -zxvf jdk-8u65-linux-x64.tar.gz -C /export/servers/

    3、 修改系统配置创建vi /etc/profile.d/java.sh文件,添加一下内容,保存并退出

    export JAVA_HOME=/export/servers/jdk1.8.0_65

    export PATH= P A T H : PATH: PATH:JAVA_HOME/bin

    4、使配置生效

    source /etc/profile

    5、更新/usr/bin/java 软链接

    a) 删除/usr/bin/java链接 rm -rf /usr/bin/java

    b) 创建新的软连接(将java1.8解压路径下的bin/java链接到/usr/bin/) ln -s /export/servers/jdk1.8.0_65/bin/java /usr/bin/java

    6、验证是否生效

    java -version

    img

    补充: 查看软件包安装在哪里 whereis java

    查看历史所有的命令 history

    6、TomCat安装部署【不用背】

    1、软件包的上传与解压

    tar zxvf apache-tomcat-6.0.53.tar.gz -C …/servers/

    2、直接启动,并查看启动日志

    ./startup.sh && tail -100f …/logs/catalina.out

    3、验证,在浏览器访问http://192.168.10.132:8080/

    img

    7、Mysql安装部署

    7.1

    a、安装部署 yum install -y mysql-server

    b、启动mysql /etc/init.d/mysqld start

    c、设置用户名密码 /usr/bin/mysqladmin -u root password ‘123456’

    d、使用root登录 mysql -uroot -p123456

    Mysql命令

    查看数据库列表 show databases;

    查看数据表 show tables;

    数据库切换 use 数据库名

    7.2

    解决中文乱码

    A: 查看当前编码集

    mysql -uroot -p123456

    show variables like ‘character_set_%’;

    img

    B:修改配置/etc/my.cnf

    在/etc/my.cnf中添加一下内容

    [client]default-character-set=utf8[mysql]default-character-set=utf8[mysqld]character-set-server=utf8

    最终结果

    img

    C: 重启mysql

    /etc/init.d/mysqld restart

    D: 查看编码集

    img

    7.3 解决mysql远程连接失败

    远程连接工具连接mysql报错如下

    img

    原因:mysql允许远程连接的服务器收到限制

    修改mysql配置

    A: mysql -uroot -p123456

    B: mysql> use mysql

    C: select host, user ,password from user;

    img

    D: 修改远程限制,让root用户在任意节点使用123456都能够访问

    grant all privileges on *.* to ‘root’@‘%’ identified by ‘123456’ with grant option;

    E: 刷新配置

    flush privileges;

    F: 查看最终结果

    select host, user ,password from user;

    img

    G:再次连接

    img

    8、定时任务crontab

    基本操作

    查看已经配置的定时任务 crontab -l

    编辑/添加新的定时任务 crontab -e

    删除当前用户所有的任务 crontab -r

    基本语法

    * * * * * 命令/操作/动作

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JQ6WXzKa-1624768770736)(C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml25440\wps187.jpg)]

    9、时钟同步

    A:与阿里云同步 ntpdate ntp4.aliyun.com

    B: 局域网内部与某一个节点同步

    1、 服务节点安装ntpd软件,并启动。

    2、 修改配置/etc/ntp.conf

    a) 解开第18行的注释,并将网段设置正确restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

    b) 注释掉第22-25行#server 0.centos.pool.ntp.org iburst

    #server 1.centos.pool.ntp.org iburst

    #server 2.centos.pool.ntp.org iburst

    #server 3.centos.pool.ntp.org iburst

    c) 在文档最后 添加两个设置server 127.127.1.0

    fudge 127.127.1.0 stratum 10

    3、 修改配置文件/etc/sysconfig/ntpd保证BIOS与系统时间同步 添加SYNC_HWLOCK=yes ,保存退出

    4、 重启ntpd 服务/etc/init.d ntpd restart

    5、 到其他节点执行同步命令ntpdate 192.168.10.132(时钟同步服务器的IP)

    6、验证

    10、集群部署及无密码访问

    1、部署多台服务器(linux系统)

    2、修改每个节点的主机名 /etc/sysconfig/network

    img

    注意:重启后生效

    3、配置ip [动态或者静态]

    4、配置每个主机的 主机名和IP的对应关系 /etc/hosts

    img

    5、验证

    img

    远程拷贝命令

    scp [-r] 文件/文件夹 目标节点:/目标路径

    scp /export/aaa/01.txt root@192.168.100.202:/export

    scp /export/aaa/02.txt root@hadoop02:/export

    scp /export/aaa/02.txt hadoop02:/export

    scp /export/aaa/02.txt hadoop02:/$PWD

    11、无密码登录

    方式一

    1、生成公钥私钥 ssh-keygen + 回车 回车 回车 回车

    公钥私钥所在的路径 /root/.ssh

    img

    2、将公钥内的内容写入到目标服务器(免密码登录的节点)内的/root/.ssh/authorized_keys文件内(没有authorized_keys自己创建)

    authorized_keys用户存储可以登录本节点的所有公钥

    img

    3、验证(无密码登录)

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sNB48NIP-1624768770740)(C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml25440\wps193.jpg)]

    方式二

    1、生成公钥私钥 ssh-keygen + 回车 回车 回车 回车

    公钥私钥所在的路径 /root/.ssh

    2、ssh-copy-id 目标节点主机名/ip

    img

    3、验证(无密码登录)

    img

    003_大数据基础_随堂笔记_终版

    什么是大数据

    数据集(数据量)的大小已经超过了现有传统数据库软件的计算、处理能力的数据就是大数据

    现有传统数据库软件

    MysqlSQL (一亿) SQLServer Oracle(十亿) DB2

    大数据的特点(4v)

    海量化:数据量庞大 Tb是基本单位

    多样化:数据类型比较多。例如:结构化数据(关系型数据库)、半结构化数据、非结构化数据

    快速化:数据量的增长速度非常快

    高价值:海量数据中含有的价值比少量数据更高。

    本质:少量数据是微观角度,海量数据是宏观角度。宏观角度看待数据相对更真实。

    大数据能做什么

    前提:在海量数据的背景下

    1、 海量数据的快速查询

    2、 海量数据的存储

    3、 海量数据的快速计算

    4、 海量数据的实时计算

    5、 海量数据的数据挖掘大数据从事的岗位

    1、ETL工程师

    2、数据仓库工程师

    3、大数据开发工程师

    4、Hadoop工程师

    5、Spark/Flink工程师

    6、大数据分析师

    7、大数据算法工程师

    8、大数据运维工程师

    9、大数据解决方案

    学习的技术

    img

    大数据项目流程

    1、 数据生产

    2、 数据收集

    3、 数据存储

    4、 需求分析

    5、 数据预处理

    6、 数据计算

    7、 结果数据存储

    8、 结果数据展示什么是服务器

    也称伺服器,是一种高性能计算机,提供计算服务的设备。

    服务器的类型

    用途

    通用性和专用型服务器

    按机箱划分

    1U 2U 4U 价值2w-15w

    塔式服务器

    刀片机

    小型机 价值几百万

    大型机 价值几千万

    硬盘的划分

    机械硬盘

    SSD固态硬盘

    混合硬盘

    RAID

    RAID0: 物理层连不做备份(冗余)空间使用率100%

    RAID1: 两块硬盘做一个Raid1,物理层连做一份数据备份,空间使用率50%

    什么是集群

    集群是一组相互独立的、通过高速计算机网络互联的计算机,它们构成了一个组,并以单一系统的模式加以管理。一个客户与集群相互作用时,集群像是一个独立的服务器。

    什么是网络

    计算机网络是指 将地理位置不同的具有独立功能的多台计算机及其外部设备,通过通信线路连接起来,在网络操作系统,网络管理软件及网络通信协议的管理和协调下,实现资源共享和信息传递的计算机系统。

    什么是交换机

    交换机(Switch)意为“开关”是一种用于电(光)信号转发的网络设备。

    什么是局域网

    局域网是指在某一区域内由多台计算机互联成的计算机组

    什么是网络拓扑

    网络拓扑(Network Topology)结构是指用传输介质互连各种设备的物理布局

    类型

    以太网

    优点:价格低廉、随处可见、软件支持比较丰富

    缺点:网络传输时延时较大,吞吐量较小

    适用场景:构建常用的局域网络

    InfiniBand网络

    优点:吞吐量高,速度快、延时低

    缺点:价格昂贵,软件支持比较少

    适用场景:在高速网络环境中适用

    和谐号复兴号为什么那么快

    1、和谐号分布式动力。每节车厢都有动力

    004_HDFS_随堂笔记_10-12

    *复制网卡的配置*

    第一种方式:配置文件向识别的网卡兼容

    4、 通过一个主机复制出多个主机

    5、 开启复制的主机,启动时选择“复制”img

    6、 启动后查看IP ifconfig

    img

    下一篇:没有了