22일차(3.15)

  RAID10(RAID1 + RAID0)
  RAID10은 Stripe Mirrored로 불리는데 RAID0과 RAID1을 합한 것으로 RAID0의 빠른 데이터 입출과 RAID1의 데이터 미러링을 통한 복원이라는 두 가지 장점을 모두 갖게 한 RAID 시스템이다. 
  RAID0과 RAID1이 각각 디스크 2개를 필요로 하므로 RAID10에는 총 4개의 1GB 하드디스크를 사용하는데 실제 데이터 저장은 RAID0 2G와 RAID1 1G로 총 3GB가 될 것이다. HDD 4개를 사용해서 2개는 RAID1(/dev/md1)으로 만들고 2개는 RAID0(/dev/md0)으로 만든 다음 이 둘을 합쳐서 RAID10(/dev/md10)으로 만든다.

 

실습

1GB 하드 4개 추가!

 

전부 파티션 해줬다.

 

이제 RAID1, RAID0구성을 해주러 가자.

 

mdadm --verbose --create /dev/md1 --level=1 --raid-devices=2 /dev/sdb1 /dev/sdc1

mdadm --verbose --create /dev/md0 --level=0 --raid-devices=2 /dev/sdd1 /dev/sde1

묶어주자

mdadm --verbose --create /dev/md10 --level=10 --raid-devices=2 /dev/md1 /dev/md0

[root@localhost centos1]# ls /dev/md*
/dev/md0  /dev/md1  /dev/md10

 

mdadm --detail /dev/md10

2개 참여했다고 나와 있음

 

순서가 조금 엉망진창이지만 포맷해주고, 마운트 해준다. 

 

[root@localhost centos1]# blkid /dev/md10
/dev/md10: UUID="4a0be946-aa39-48c6-a390-b3755fde7c8f" SEC_TYPE="ext2" TYPE="ext3" 

mdadm --detail --scan --verbose > /etc/mdadm.conf

구성을 이해할 수 있게 해준다.

 

blkid로 UUID도 알아주고, 

자동 마운트 되게 해준다.

 

그리고 하드 중 하나를 remove 한다.

 

앗... 에러가 뜬다 ㅠㅠ

UUID 말고 /dev/md10으로 해볼까?

그래도 에러가 뜬다.(블랙 화면) 

mdadm --detail /dev/md1 이거로 했을 때 나오는 UUID로 해도 마찬가지. 

이게 센토스의 불안정함 때문인 걸까? 

 

  BTRFS로 RAID 생성하기 
  BTRFS는 현재 RAID0, RAID1, RAID10을 지원한다. 
  RAID1 Mirroring을 생성해보자. 
① 먼저 CentOS1 시스템을 끄고, 앞에서 실습으로 장착했던 /dev/sdb와 /dev/sdc 기존의 두 하드디스크를 모두 제거하고 새로 1GB 하드디스크 두 개를 장착하고 
② ls /dev/sd* 해서 /dev/sdb와 /dev/sdc를 확인하고
③ 위에서와 같이 각각 fdisk /dev/sdb, n, p, 1, 엔터, 엔터, t 해서 파일시스템 유형을 보고, fd 해서 RAID 시스템으로 파티션하는 것을 알리고, p 해서 /dev/sdb1이 보이면, w 해서 기록하는 식으로 두 디스크를 파티션하고, 
④ ls /dev/sd* 해서 /dev/sdb1과 /dev/sdc1 라면, 
⑤ 이제 mkdir /mirror 해서 마운트 포인트를 만들고,  
a. mkfs.btrfs -m raid1 -d raid1 /dev/sdb1 /dev/sdc1 해서 포맷 한 뒤,
b. mount /dev/sdb1 /mirror 해주면 끝이다. 정말 간단하다. 여기서 /dev/sdb1만 마운트하면 /dev/sdc1도 함께 마운트 된다(vice versa). mount /dev/sdc1 /mirror 하면 이미 마운트되어 있다고 나오는 것을 보면 알 수 있다.
⑥ 그리고 nano /etc/fstab 하고 
/dev/sdb1 /mirror   btrfs   device=/dev/sdb1,device=/dev/sdc1   0   0 해서 저장하면(물론 lsblk /dev/mirror 해서 UUID로 설정하는 것이 더 좋다) 부팅 시 별도로 mount 명령을 사용하지 않아도 RAID 시스템이 마운트된다.

 

   XFS로 RAID 시스템 구축하기
① 3개의 1G HDD를 추가한다. 머신을 부팅하고
② ls /dev/sd* 해서 /dev/sdb와 /dev/sdc. /dev/sdd를 확인한다.
a. for i in sdb sdc sdd 
   do 
     sudo wipefs -a /dev/$i 
     sudo mdadm --zero-superblock /dev/$i 
   done 해주고 
b. for i in sdb sdc sdd
   do 
     sudo parted --script /dev/$i "mklabel gpt" 
     sudo parted --script /dev/$i "mkpart primary 0% 100%" 
     sudo parted --script /dev/$i "set 1 raid on" 
   done 한 뒤
c. lsblk나 ls /dev/sd* 해본다.
③ 이어서 
mdadm --create /dev/md5 --level=stripe —raid-devices=3 /dev/sd[b-d]1 해서 RAID5를 /dev/md5 이름으로 만들고 디스크를 추가한 뒤
④ mkfs.xfs /dev/md5 해서 포맷한다.
OR mkfs.xfs –f –d su=64k -d sw=2 /dev/md5 해주면 되는데 –d는 su(sunit:스트라이프(stripe)크기)와 sw(swidth:512KB 데이터 저장 블록크기)를 지정하는 옵션이다.
⑤ mkdir /MD5 해서 마운트포인트를 만들고
a. mount /dev/md5 /MD5 해서 마운트한 뒤
b. echo “IM XFS MD5” > /MD5/md5.txt 해서 문서를 저장해본다.

 

해냇따.

 

LVM(Logical Volume Management)으로 디스크 관리하기
  LVM 기법은 즉석에서 파티션 사이즈를 늘리거나 디스크를 추가/삭제할 수 있는 기법으로 전통적인 디스크 관리의 큰 장벽을 없앴다. CentOS를 설치하면 디폴트로 LVM을 사용하는데 작은 용량의 /boot 부트 파티션 영역만 놔두고 나머지 / 영역을 모두 LVM으로 할당해서 CentOS가 관리하게 함으로써 나중에 메인 HDD의 / 공간이 작아졌을 때 HDD를 추가해서 /를 얼마든지 별도의 기존 데이터의 백업이나 이동 없이 용량을 확장하게 하고 있다. 

 

 LVM은 파티션된 디스크들의 물리적 여분 공간을 모두 모으거나 
           새로 디스크를 추가해서 하나의 논리 공간으로 확장시켜줄 수 있다. 
▪ 하나의 디스크에 1.5GB이 남아있고, 또 하나의 디스크에 0.5GB가 남아있을 때 LVM으로 이 남은 공간들을 묶어서 마치 하나의 디스크처럼 2GB의 공간으로 만들 수 있고, 
▪ 기존의 2GB 디스크에 새로 1GB 디스크를 추가해서 LVM으로 묶으면 별도의 파티션과 같은 작업 없이 바로 3GB의 공간으로 만들 수 있다. 이 두 가지는 결국 같은 메카니즘이다. 

 

HDD, USB, DVD 등 블록장치는 파일시스템이 있어야 데이터를 저장할 수 있다. 디스크 하나 전체를 하나의 블록으로 파티션(C:\)해서 포맷할 수도 있지만 대부분은 관리하기 쉽고, 어느 한 파티션에 문제가 있어도 전체 블록에는 영향을 미치지 않도록 여러 블록으로 나누어서(파티션해서))C:\, D:\) 사용한다. 
∎ RAID에서는 주로 같은 HDD 브랜드의 같은 용량의 디스크들을 묶어서 구성하지만, 
∎ LVM에서는 다른 브랜드와 다른 용량의 HDD들을 묶어서 새로운 볼륨으로 만들 수 있다. HDD 브랜드가 달라도 되고, USB와 HDD식으로 각각 저장매체가 달라도 구성된다. 

 

볼륨 그룹
  LVM에서 가장 중요한 개념은 볼륨그룹이다. 볼륨그룹(Volume Groups:VGs)은 물리적 볼륨(Physical Volumes:PVs)과 논리적 볼륨(Logical Volumes:LVs)을 합쳐서 부르는 말인데 운영체제는 이 VGs를 통해서 디스크들을 관리한다. 
  시스템에서 여러 개의 디스크 타입을 사용할 예정이라면 볼륨그룹도 여러 개 만들어 두어야 한다. 예를 들어서 CentOS에 로컬 디스크만 연결된다면 파일시스템 인식에 별 문제가 없지만 SAN(Storage Area Network)이 연결된다면 CentOS는 이 SAN이 가지고 있는 디스크 타입도 인식해야 할 필요가 있기 때문이다. 이럴 때 관리자는 LVM의 VGs를 사용해서 로컬 디스크는 local VG를 만들어서 모든 로컬 파티션을 그룹화해두고, 또 SAN은 san VG를 만들어서 모든 SAN의 파티션을 그룹화해두면 관리하기도 편하고 서로 다른 포맷을 가지고 있으므로 충돌도 생기지 않아서 디스크 관리의 유연성이 배가된다. 사용자들도 sales와 marketing식으로 그룹화해서 사용하는 VG 디스크를 따로 지정할 수도 있다.

  LVM 생성 순서는 

PVs(물리적 볼륨) 생성 => VGs(볼륨 그룹)를 생성 => LVs(논리적 볼륨)로 만드는 식으로 진행한다. 

 

1기가 2기가로 용량이 달라도 된다.

 

8e선택하면 LVM

 

pvcreate /dev/sdb1 && pvcreate /dev/sdc1

1단계. 물리적 볼륨 생성

2단계. sdb1으로 볼륨 그룹을 생성

3단계. 볼륨 그룹에 sdc1을 추가

 

* 2-3단계에는 두 가지 방법이 있다.

vgcreate vg-home /dev/sdb1
vgextend vg-home /dev/sdc1

vgcreate vg-home /dev/sdb1 /dev/sdc1

 

vgdisplay 

볼륨 그룹에 대해 좀 보여봐라~

 

2GB + 1GB 하니까 2.99 GB 되어 있다 ㅎㅎ

 

새로운(n) 논리적 볼륨 lg-home을 만들겠다. 용량(L)은 2.3GB다.

lvcreate vg-home -n lg-bak -L 0.6G

bak도 만들어줬다.

 

볼륨 그룹 밑에 논리적 그룹이 링크로 만들어진 것을 알 수 있다.

 

포맷해준다.

 

마운트 포인트를 만들어주고, 마운트해준다.

 

용량을 확인해보면 사이즈가 2.3기가, 591메가로 잘 마운트 된 것을 알 수 있다. 

 

마운트가 되어서 파일이 저장이 되었다^^

 

lsblk로 확인해주고 컴퓨터 끄기

 

2기가 하드 추가. 600메가에 붙일 거임! 이동이나 백업 없이 그냥 늘릴 거다! 

 

1G+2G-> 3G, 그걸 lg-home(2.3G), lg-bak(600MB)으로 나눴다.

그리고 2G 추가해서 5G 됐다. 근데 그 2G는 lg-bak에 붙으므로 lg-bak은 2.6G.

 

파티션, 포맷 하고 볼륨 그룹에 sdd1 추가한다.

vgextend vg-home /dev/sdd1

lvextend /dev/vg-home/lg-bak -L +2G

논리적 볼륨을 vg-home 밑에 lg-bak 에다가 2기가 추가함!

 

파일 점검 e2fsck -f(고쳐라) 

non-contiguous(비연속적인 부분) 0.0% -> 하나의 저장 공간

resize2fs로 시스템에 인식시킴(너가 지금 100GB로 인식하고 있는 거 같은데 150GB야 확인해봐. 이런 느낌)

 

 

BTRFS로 LVM 생성하기 
  이제 BTRFS로 LVM을 생성해보자. 
① 새롭게 1G와 2G 두 개를 달아서 작업해보자.
a. ls /dev/sd* 해서 보면 새로 추가한 디스크는 /dev/sdb, /dev/sdc로 보일 것이다.
b. fdisk /dev/sdb 한 뒤, n, p, 1, 엔터, 엔터, w 해서 파티션하는데 LVM 파일 시스템 t 한 뒤 8e를 지정하지 않았다.
c. ls /dev/sd* 해서 /dev/sdb1을 확인하고,
d. 똑같이 /dev/sdc에게도 파티션하고 확인해준다. 
e. yum -y install btrfs-progs 해서 btrfs 도구를 설치하고
f. mkfs.btrfs /dev/sdb1 해서 포맷한다.
g. 똑같이 /dev/sdc1에게도 포맷해준다. 
② 이제 합쳐보자. 
a. mkdir /btrfs 해서 마운트포인트를 생성하고 
b. mount /dev/sdb1 /btrfs 해서 먼저 /dev/sdb1을 마운트 한 뒤, 
c. btrfs device add /dev/sdc1 /btrfs 해서 기존의 /dev/sdb1(1GB)에 /dev/sdc1(1GB)을 붙이면 /btrfs 디렉터리가 2GB가 된다.
③ 확인해보자.
a. df –h /btrfs 해서 3.0GB를 보고, 
b. btrfs filesystem show /dev/sdb1나 btrfs filesystem show /dev/sdc1 해보면 각각 1GB와 2GB가 들어 있는 것을 볼 수 있다. 
④ 이제 btrfs balance start -d –m /btrfs 해서 두 개의 디스크를 하나의 볼륨으로 완성하는데 –d는 data, -m은 metadata 옵션이다.  
⑤ 확인해보자. 작업표시줄에서 CentOS 설치 DVD를 물리고 connect 해서 활성화 한 뒤
a. dd if=/dev/sr0 of=/btrfs/file.txt bs=512MB count=5 해서 2.5GB를 복사해주고 
b. ls -l /btrfs 해서 file.txt 파일이 2.5GB 용량으로 잘 들어갔는지 확인한다. 
⑥ 부팅 시 자동으로 btrfs LVM 파일시스템을 인식하게 하려면
nano /etc/fstab 하고 
/dev/sdb1 /btrfs btrfs device=/dev/sdb1,device=/dev/sdc1 0 0 해서 저장하면 된다.

 

 

ZFS(Z File System) File System
  ZFS File System 특징 
- 2001년에 UNIX Open Solaris, 2008년에 FreeBSD과 Linux에 설정 
- ZFS 파일 시스템은 파일 시스템 관리를 근본적으로 변화와 혁신시킨 새로운 파일 시스템이다. 다른 파일 시스템에서는 찾아 볼 수 없는 막강한 특징을 가지고 있다.
- ZFS 파일시스템은 강력하고 확장성이 뛰어나며 관리가 편리하도록 디자인 되어 있다.
- CPU architecture인 SPARC 또는 Intel 시스템 모두 사용 가능
- UNIX Solaris 10 OS 06/06 릴리즈 이상부터 채용됨
- 최소 물리적 디스크 크기는 128MB 필요
- 권장 메모리는 최소 768MB, 성능상 1G 메모리 이상 필요
- 미러 방식을 구현 한다면 다중 컨트롤러(RAID0) 권장
- 기본적으로 ZFS 파일시스템을 만들면 EFI Label을 사용하게 된다.
- HDD 저장 풀(Pool) 가능, Copy-on-Write 기능, Snapshot 기능, 데이터 무결성과 자동 수정 기능, RAID5와 유사한 RAID-Z 구성 가능, 16EB까지 설정 가능, 256개의 Quardrillion Zettabytes 저장 가능하다는 특징이 있다.

 

RAID-Z에는 다음의 종류가 있다.
RAID-Z1(2HDD:data+1HDD:parity <=3HDD), 
RAID-Z2(2HDD:data+2HDD:parity <=4HDD), 
RAID-Z3(2HDD:data+3HDD:parity <=5HDD)가 필요하다.
  그리고 Copy-on-Write 기능은 일반 파일 시스템에서는 데이터가 겹쳐 쓰이면 이전 데이터는 삭제되는데 ZFS에서는 새로운 데이터를 다른 블록에 써서 일단 쓰기가 끝나면 파일 시스템의 메타데이터(데이터의 데이터)가 업데이트되어 새로운 데이터를 가리키게 되어서 시스템 크래시에 기존 데이터가 자동으로 보존되게 한다(Linux의 journaling 기능). 따라서 시스템 크래시에도 물리적으로 체크해주는 e2fsck 도구를 사용할 필요가 없다.

 

실습

우분투에서 1기가 하드 2개를 추가한다.

 

한꺼번에 파티션

 

끄고 하드를 3개 추가해줬다.

 

1기가 1기가 미러해줘서 1기가, 1기가 1기가 미러해줘서 1기가, 합쳐서 2기간데 대략 1.75기가.

 

zpool status -v

zfs create -p zfspool/data

zfs create -p zfspool/data/paul

zfs create -p zfspool/apps

 

 

zfspool 아래에 data, apps, data 밑에 paul 디렉터리 만들었다.

 

adduser paul  해주고,

chmod 755(rwxr-xr-x)읽고 실행하는!

 

 

 

스크립트 생성해서 데이터를 집어넣을 수 있어요~

 

우분투에서 VMware Tools 설치하기

 

VM > Install VMware Tools

아니면 다운로드에 놓기

 

계속 엔터 누름

 

그 다음 리부트

 

스냅샷 찍기

 

1메가를 3번 복사한다음 4번, 총 12메가

 

chmod +x로 실행 권한을 주고, 실행파일을 bash로 실행햇다. 그랬더니 복사가 됐다. zfs list로 확인했더니 12MB가 확인된다. 

 

 

3개짜리를 붙여야 붙여지는 듯

쉽게 대체 가능

replace

 

root@ubuntu1:/home/paul# zpool offline zfspool /dev/sdd
root@ubuntu1:/home/paul# zpool status

쿼타도 설정 가능

 

적용해줬다.

zfs list로 확인

(여기 참고 https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=addong1224&logNo=120182046080) 

 

---

소프트웨어에 대한 이야기를 시작하겠다!!

Software 관리

  파일 압축과 풀기 
  Linux 시스템은 일반적인 Windows 시스템과 파일과 포맷이 다르므로 CentOS 사용자는 Linux 시스템에서의 파일을 압축하거나 압축된 파일을 풀 수 있어야 한다. 여기에 사용되는 도구는 tar, rpm, yum, apt-get, zip, bunzip 등 여러 가지가 있는데 주로 시스템이나 사용자의 데이터를 백업하거나 벤더의 소스 프로그램이나 커널 배포 패키지를 다운받아서 풀고 시스템에서 실행할 때 사용된다. 

 

  tar
  tar는 파일들을 백업하거나 전송하기 위해서 여러 파일들을 하나의 파일로 묶거나 묶여 있는 파일들을 압축해서 용량을 줄이는데 사용된다. 물론 이런 묶여있고 압축되어 있는 파일을 풀 때에도 사용된다. 확장자가 ~.tar(묶음), ~.tar.gz(=tgz)(z가 들어가면 묶어서 압축)로 되어 있으면 tar 도구를 이용해서 작업해야 한다. 묶이기 전에 가지고 있던 소유권과 허가권은 tar 작업 후에도 그대로 지니지만 묶거나 풀 때 권한을 변경할 수 있다. 
  여기에는 여러 옵션이 있는데 대표적인 옵션으로 
p : 모든 퍼미션 정보를 유지함
h : 심볼릭 링크를 묶지 않고 심볼릭 링크가 가리키는 오리지널 파일을 묶음 
c / x : c는 파일이나 디렉터리를 묶음 / x는 풀기
v : 진행 상황을 보임 
f : 파일을 지정함
C : 디렉터리를 지정해서 압축풀기
t : 묶여있는 파일보기  
z : 압축하기(z는 *.tar.gz(tarball source로 부름)<-->j: 풀기. j는 *.tar.bz2에서 사용됨 등의 옵션이 있다. 

 

  tar로 여러 파일/폴더들을 묶을 때 예를 들어 /var 밑의 여러 파일/디렉터리들을 test라는 이름으로 묶으려면 파일/디렉터리를 묶어주는 c, 진행 상황을 화면에 출력하는 v, 파일을 지정하는 f를 옵션으로 주면 된다. 
  특히 조심할 것은 일반적인 cp A B, mv A B 등과 달리 파일 등을 묶을 때에는 'tar 옵션 생성될_파일명 대상_파일/디렉터리(들)' 형식인데 생성될 결과 파일_명이 먼저 오는 것에 주의!!해야 한다. 

 

실습!

 

c 묶어라! v 보여라~ f 파일 지정! test.tar 생성될 파일 먼저! gz는 압축이니까 안 씀. 그 다음에 묶을 파일 나열

ls 때려보니까 빨간 압축파일 생성되어 있음

 

tar cvf test.tar xyz.lst abc.txt xyz

 

root@ubuntu1:/home/paul# tar rvf test.tar abc
abc/
root@ubuntu1:/home/paul# 

tar rvf test.tar abc

 

r 옵션은 추가(append)

 

 

tar --delete abc.txt --file=test.tar

압축파일에서 뺄 때

tar tvf test.tar

압축파일에 있는 파일 확인할 때

 

tar xvf test.tar -C /root

(지정 안하면 홈 밑에 폴에 품)

x 풀어라

 

root@ubuntu1:/home/paul# ls /root
abc  snap  xyz  xyz.lst

 

압축까지 할 때 

tar cvfz test.tar.gz abc abc.txt xyz

z 옵션 넣기

 

타볼 소스(gz)

보이십니까 용량 차이..!

 

tar cvfj test.tar.bz2 abc abc.txt xyz

j로 bz2 로 만들었더니 효율이 아주 조금 더 좋다.

 

tar xvfj test.tar.bz2 -C /

j 넣어서 풀기

 

xz test.tar

이런 확장자도 있다.

 

tar xvfJ test.tar.xz abc xyz.lst abc.txt

unxz test.tar.xz