21일차(3.14)

 Disk Quotas
  Linux는 멀티 사용자 시스템이라서 여러 사용자들이 동시에 하나의 Linux 시스템에 접속해서 작업하게 되는데, 특정 사용자/그룹이 과도하게 고정된 용량의 하드디스크 공간을 많이 사용하면 다른 사용자들의 디스크 사용에 영향을 미칠 수 있다. 이럴 때 관리자는 Disk Quota를 사용해서 사용자나 그룹별로 하드디스크의 사용량이나 저장할 수 있는 파일의 개수를 지정해서 리소스를 제한해주어야 한다. 
  간단히 말해서 사용자별로 하드디스크의 사용량을 제한하는 것이 디스크 쿼타인데 사용자와 그룹에게 할당한다. root 관리자는 디스크 쿼타에 적용받지 않고 무한으로 하드디스크를 사용하게 한다. CentOS 6.5 버전에서 이 쿼타 설정이 까다롭다. CentOS 문서에는 새로운 저널링 기법을 사용해서 쿼타를 설정하도록 권장하고 있지만 실제로 설정이 잘되지 않으므로 기존의 방식으로 설정해서 사용하는 경우가 많기 때문에 여기서도 기존의 방식으로 설정해본다.  

mkdir /QUOTASmount /dev/sdb1 /QUOTAS/

 

blkid(block device 의 파일 시스템(file system) 유형이나 속성(LABEL, UUID 등) 을 출력하는 유틸리티)

 

복사한다.

 

defaults 0 0에서
처음 0은 0(오류 체크 함), 1(오류 체크 안 함)만 가능, 뒤의 0은 0(/ 점검), 1(/ 이외 점검), 2(점검 안 함) 가능

 

이어서..

 

ls / 밑에 QUOTAS가 생성되어 있다.

ls /QUOTAS를 해보니 aquota.group과 aquota.user이 생성되어 있다.

 

/etc/fstab을 읽어보니 UUID가 잘 들어가 있다.

 

만약 quota가 오류가 생기면 다음의 매뉴얼을 따라서 해결해보면 된다.

 

==============================================================================

∎ CentOS 6.5에서 자주 발생하는 오류는 다음과 같으니 참고해서 문제 발생 시 해결해보라.
1) quotacheck: Cannot create new quotafile /quotas/aquota.user.new: Permission denied와 quotacheck: Cannot initialize IO on new quotafile: Permission denied 등 권한 오류가 발생하면
=>chcon --reference=/var /quotas 해서 /var의 보안 설정(콘텍스트)을 /quotas에게 지정해준다(chcon은 뒤에서 따로 알아볼 것이다. 우선 ls -dZ /var와 ls -dZ /quotas 해서 비교해보라 ). 
2) Cannot find filesystem on /dev/sdb1식으로 파일시스템 오류가 나오면 
=>quotacheck -F vfsv0 /quotas 해준다.  
3) Cannot stat old user quota file /quotas/aquota.user: No such file OR directory. Usage will not be subtracted.식의 파일 오류가 뜨면 
=>cd /quotas && touch aquota.{user,group} 해서 aquota.user와 a.quota.group quotaDB를 수동으로 생성한다.
4) Cannot stat old user quota file /quotas/aquota.user:식으로 쿼타 파일을 생성할 수 없다는 파일 생성 오류가 뜨면, ls /quotas 해서 aquota.group, aquota.user 등이 만들어져 있으면 
=>rm –rf /quotas/* 해서 모두 지우고, 다시 quotacheck –cvug /quotas를 실행해서 새로 aquota.group과 aquota.user를 생성해준다. 
5) 가끔 Cannot initialize IO on new quotafile: Permission denied가 보이면 
=>chmod 4757 -R /quotas/ 해서 쿼타 디렉터리의 권한을 변경해야하는 수도 있다.  
  이들 오류는 CentOS 6.5가 journaling을 지원하므로 quotacheck: Your kernel probably supports journaled quota but you are not using it. Consider switching to journaled quota to avoid running quotacheck after an unclean shutdown. 메시지에서 보듯이 저널링 쿼타를 실행하라고 권고하는데 예전 방식으로 수행하기 때문에 나오는 오류들이다. 하지만 이 저널링 쿼타에 문제가 많아서 아직 예전 방식의 쿼타를 설정하는 경우가 현장에서 많다.

 

=============================================================================

 

busy하다고 나오면 turn off 했다가 turn on 해준다.

 

useradd -d /QUOTAS/test1 test1 -p test1

사용자를 만들겟다. /QUOTAS/test1에 test1사용자로 
비밀번호는 평문으로 test1

 

세 명의 사용자와 평문장 패스워드를 만들었다. 

/QUOTAS가 test1,test2,test3의 홈 디렉터리다.(/etc/passwd/에서 조회 가능)

 

*HDD 대신 별도의 NAS 서버를 건다. 별도의 저장공간에 무수한 사용자의 홈 디렉터리를 만든다. 쿼타를 온해서 적용시킨다. 일정 공간만 사용할 수 있게 한다. 

일반 사용자로 홈 디렉터리 밑에 만들었어도

usermod -m -d /QUOTAS/paul paul

 명령어로 쿼타에 적용을 받게 만들어 줄 수 있다.

 

쿼타에 적용을 받는 test1을 보여라(verbose)

 

  quota -v test1 하면
 Filesystem       blocks   quota   limit   grace   files   quota   limit   grace
      /dev/sdb1      28       0       0         7       0       0 
쿼타를 사용자에게 12MB를 주었다면 quota는 10MB, limit는 12MB가 된다.       
/dev/sdb1은 Quotas가 적용되는 저장장소
blocks               quota       limit       grace 네 항목은 H/W에 대한 항목으로 
데이터 저장 크기 소프트한계 하드한계 소프트한계를 넘었을 때 용인 기간
files   quota   limit   grace 네 항목은 S/W, File 소유에 대한 항목으로
파일 수를 quota 만큼 소프트리밋으로 하고, limit 은 절대로 넘을 수 없는 하드리밋이고, grace는 소프트리밋을 넘었을 때 삭제할 용인 기간이다.

edquota test1

 

i를 누르고 soft limit, hard limit을편집한 다음 esc :wq!로 엔터 저장

edquota -t

grace 기간 편집

setquota -u test3 10000 12000 0 0 /QUOTAS/

user test3의 쿼타를 간단하게 명령어로 설정해줬다.

edquota -up test1 test2

test1의 쿼타를 test2에 적용시켰다.

 

  사용자에게 쿼타를 설정하는 세 가지 방법이 있는데
직접 edquota test1 해서 파일을 열고 설정하거나
setquota -u test3 10000 120000 0 0 /QUOTAS 해서 외부에서 설정해주거나
edquota -up test3 test2  해서 test3 설정을 test2에게 적용시킬 수 있다.
=>이런식으로 하나의 샘플 사용자를 만들어서 쿼타를 설정한 뒤 이 사용자의 쿼타 설정을 여러 사용자에게 뿌리면 간단하게 여러 사용자들에게 쿼타를 할당할 수 있다!!!

edquota -g users

users 그룹에 쿼타를 할당할 수 있다.

 

su - test1 (해당 사용자로 바뀌면서 해당 사용자의 홈 디렉터리로 감) su test1은 사용자만 바뀜

 

[test1@localhost ~]$ pwd
/QUOTAS/test1

 

QUOTAS 밑에 있다.

 

파일을 복사해서 넣었는데 첫 번째 복사는 무리 없이 잘 넣어졌다.

그런데 두 번째는 소프트 리밋에 의해 warning이 떴다가 결국 hard limit에도 걸려서 에러가 떴다.

세 번째는 아예 저장이 안됐다.

 

디스크 쿼타는 특정 사용자가 저장공간 독점 하는 것을 막기 위해 쓴다.

 

 

 

RAID(Redundant Array of Independent(or Inexpensive) Disks) 디스크 구축하기
  RAID를 사용하는 목적은 적어도 두 개 이상의 디스크를 RAID로 묶어서 데이터를 저장 한 뒤 어느 한 디스크가 고장 나더라도 저장된 데이터가 그대로 존속되게 하는 기법이다. 서버를 구축하고 모든 중요한 데이터를 하드디스크에 저장했다고 해보자. 만일 하드디스크 하나를 사용하고 있는데 그 디스크가 고장 나면 운영에 필요한 시스템 파일뿐만 아니라 중요한 모든 데이터를 잃고 말게 될 것이다. 
  이런 경우 간단히 하드디스크 두 개를 사용해서 RAID1(mirrored)으로 시스템을 구축해 두면 CentOS는 RAID로 미러드된 두 개의 디스크에 똑같이 데이터가 저장되게 해서, 두 개의 하드디스크는 정확히 서로를 미러링하고 있기 때문에 하나의 디스크가 고장 나더라도 복제된(cloned) 다른 디스크가 있으므로 시스템 파일뿐만 아니라 중요한 데이터도 그대로 존속되어서 서비스 제공에 문제가 없게 된다. 나중에 손상된 디스크를 교체하면 다시 미러드된 시스템이 된다. 그리고 RAID를 사용하면 시스템의 성능도 대폭 향상시킬 수 있다. 
  하지만 RAID로 시스템을 구축했다고 해서 시스템을 완전히 믿을 수는 없다. 이 경우 두 개의 디스크는 하나의 디스크 컨트롤러(arm)에 연결되어 있으므로 두 개의 디스크가 동시에 고장 나거나 컨트롤러가 고장 나면 두 디스크 모두 사용할 수 없게 된다. 물론 동일한 전원 공급기에 두 디스크가 끼워져 있을 때 전원이 나가도 두 디스크 모두 못 쓰게 된다. 

  RAID 디스크 구축을 백업용으로 생각하면 안 된다. 백업은 일정한 수준에서 지속적으로 진행되어져야 하므로 하드웨어 오류에 대한 일시적인 데이터 보호책인 RAID와 다르다. 백업은 완전히 재난 수준의 하드웨어 오류에 대한 데이터 보호책이다. 

 

RAID 타입과 레벨
  일반적으로 RAID는 하드웨어 RAID와 소프트웨어 RAID(그리고 faked RAID)로 두(세)가지 타입이 있다. 하드웨어 RAID는 물론 가장 좋은 해결책인데 전용 하드웨어가 RAID 디스크들을 관리하므로 CentOS는 RAID 컨트롤러가 생성한 논리적인 디스크만 보게 되고 RAID에 관한 구성을 알지 못하므로 RAID에 관해서 아무 것도 설정해줄 것이 없어서 운용이 편리하다. 하지만 하드웨어 RAID는 비싸고 보통 프로프리에터리(proprietary: 벤더 종속적)(<<집에서 다 LG 제품만 쓰는 것 같은 개념, 전세계가 다 크롬사용, 모든 사람이 다 KT만 사용, 그래서 none-프로프리에터리 할 필요 있음)한 포맷이어서, 예를 들어 HP RAID 컨트롤러가 고장 나면 반드시 동일한 HP RAID 컨트롤러 제품만 구입해야 하는 벤더 종속적인 단점이 있다. 반면에 소프트웨어 RAID는 하드웨어 RAID보다는 기능이 조금 떨어지지만 현재 널리 사용되고 있다. 대부분 하드웨어 RAID에 참여하는 하드디스크는 주로 같은 브랜드에 같은 용량을 가진 디스크들이지만 최근에는 서로 다른 용량의 하드디스크를 모아서 RAID를 만드는 Linear RAID도 있다. 하지만 소프트웨어 RAID에서는 엄격하지 않다.

  CentOS는 RAID 어레이를 설정하고 관리할 때 mdadm과 같은 일련의 명령어를 사용한다. 소프트웨어 RAID는 예를 들어서 RAID1 미러링인 경우 운영체제가 같은 데이터를 두 디스크에 각각 따로 보내야 하기 때문에 성능상 하드웨어 RAID만큼 빠르지 못하다. 그렇지만 소프트웨어 RAID는 어느 블록장치라도 RAID로 구성할 수 있어서 두 개의 HDD나 두 개의 USB는 물론 HDD와 USB를 RAID로 묶어서 SAN(Storage Area Network)으로 구성할 수도 있다. 그리고 RAID 기술은 대부분 Linux 배포판에 필수적으로 들어있어서 벤더 종속적이지 않기 때문에 일부 기술자들은 오히려 소프트웨어 RAID를 더 선호하기도 한다. 반면 속도와 성능이 중시되는 데이터베이스를 RAID로 구축한다면 소프트웨어 RAID로는 곤란할 수 있다.

 

CentOS는 시스템이 부팅될 때 /etc/mdadm.conf 파일에서 모든 가용한 RAID를 찾아서 어레이를 구성한다. 두 개의 패리티 비트로 구성해서 두 개의 디스크에 문제가 생겨도 데이터 복원이 가능한 디스크 4개의 RAID6, 속도가 빠른 RAID0과 데이터 복원이 되는 RAID1을 합쳐서 RAID10([ten]이 아니라 [one zero]로 발음)을 만들기도 한다. 또 Faked(가짜) RAID라는 것도 있는데 기본적으로는 RAID에 속하지만 실제로 구축하는 대신 운영체제가 그런 역할을 대신하는 경우이다. 이 가짜 RAID는 거의 사용되지 않으며 대부분 Linux 배포판도 이 기능을 제공하지 않는다. 

 

RAID 레벨에는 몇 가지가 있지만 주로 다음 세 가지를 사용한다.
∎ RAID 0 : 데이터 복원은 되지 않지만 암(arm:컨트롤러)이 두 개여서 읽기/쓰기 속도가 빠름 =>stripe without parity
∎ RAID 1 : 데이터 복원이 되며 두 개의 디스크가 필요한 중소 조직용 =>mirroring
∎ RAID 5 : 데이터 복원이 되며 세 개 이상의 디스크가 필요한 대형 조직용이다. =>stripe with parity
  이외에 RAID 3, RAID 6, 그리고 RAID 1과 RAID 0을 합친 RAID 10등이 있다.

 

 

RAID1 실습

하드 1기가 2개 추가했다.

 

아까 /etc/fstab에 디스크쿼타를 자동으로 마운트 되게 해놨는데 RAID 실습을 위해 하드디스크를 제거하는 바람에 부팅할 때 자동마운트를 위해 없는 디스크를 계속 찾는 오류가 발생했다. 그래서 fstab에서 자동 마운트 명령어 줄을 주석처리 해주었다.

 

fdisk /dev/sdb n, p, 1, 엔터 엔터 t, L누르면 이렇게 많은 Hex codes 타입들이 나온다.

fd와 8e만 기억하면 된다.

 

동적으로 만들어줬다.

 

 mdadm --create /dev/md1 --verbose --level=1 --raid-devices 2 /dev/sdb1 /dev/sdc1

가상으로 디바이스 밑에 md1이라는 걸 만들어. 과정을 보여줘. 레벨은 레이드1이야. 참여하는 디바이스는 2개야. 걔네들은 얘네야. 

 

mdadm: size set to 1046528K

미러링해서 사이즈는 1GB.

 

물리적으로는 두 갠데 하나의 논리적인 디스크로 모이는 것. 그리고 포맷한다.

하나가 작살이 나도 복원이 가능하다.

ext3가 더 안정적이다. 

 

mdadm --detail /dev/md1

UUID는 이 시스템이 dev 밑에 md1을 인식한 오브젝트 넘버, 즉 객체의 이름 넘버. 

 

blkid /dev/md1

UUID="fecfac0b-87f5-4beb-a590-c9ad76e6a2f8"를 복사해둔다.

mdadm --detail --scan --verbose > /dev/mdadm.conf

부팅할 때 RAID1 자동 마운팅

 

오예 잘 되어 있고~

(참고로 mdadm --detail /dev/md1 이걸로 하면 오류 뜸, blkid로 해야 됨)

 

레이드를 이루는 하드 하나를 뺐다.

 그리고 하드 하나를 추가했다. 

 

HDD  2개를 raid 1로 만들고 /dev/md1으로 가상 장치로 만든 뒤 포맷하고 마우트해서 사용한다.
  이제 다시 1G HDD를 추가해서 RAID1을 복원해보자. 
a. CentOS 머신을 끄고 새로 1G 하드디스크를 추가한 뒤, 부팅하고 
b. ls /dev/sd* 해서 새로 추가한 디스크 /dev/sdc를 확인하고,
c. fdisk /dev/sdc, n, p, 1, 엔터, 엔터, t 하고, fd 해서 RAID 시스템으로 파티션하는 것을 알리고, w 해서 기록한다. 
d. mkfs -t ext3(앞에서 ext3으로 포맷했었음) /dev/sdc1 해서 포맷 한 뒤, 
e. 이제 mdadm /dev/md1 --add /dev/sdc1 해서 mdadm: added /dev/sdc1을 보게 되면 RAID 시스템에 새로운 HDD가 가입되어 RAID가 완전체가 된 것이다. 
f. mdadm --detail /dev/md1 해서 제대로 되어있는지 보고, 이제  
g. cat /raid1/raid1.txt 해서 IM RAID1을 확인한다. 

 

 

  RAID5는 Stripe with parity로 불리는데 현재 가장 많이 사용되고 있다. 최소 세 개의 디스크가 필요하며 RAID1처럼 데이터 복구기능을 가지고 있다. 여기서 parity bit는 홀수(odd)와 짝수(even)를 지정해서 사용하는데 odd parity라면 각 stripe에서 추가적으로 1이나 0비트(이를 parity bit라고 부름)를 주어서 전체적으로 1의 개수가 홀수가 되게 조절해준다. 데이터는 각 디스크에 순차적으로 기록되므로 어느 한 디스크에 오류가 발생하면 나머지 두 디스크에서 1의 개수를 홀수로 만드는 비트를 찾아서 원본 디스크의 데이터를 복원해준다. 
=>parity bit는 데이터 전송단위인 1Byte(8bits)에 추가되는 1bit로써 데이는 정확하게 전송되지만 데이터 크기가 커져서 Overhead가 커지므로 대역폭 효율은 낮아진다.

 

LAID5 실습

 

1GB 하드 3개 추가

 

sdb,sdc,sdd 모두 laid용으로 파티션 해줬다

mdadm --verbose --create /dev/md5 --level=5 --raid-devices=3 /dev/sdb1 /dev/sdc1 /dev/sdd1

2GB, 1기가는 레이드로 날아감

 

안되면 yum -y install mdadm으로 설치할 것

 

 

mkfs -t ext3 /dev/md5

마운트 해주고 파일 만들어주기

 

그리고 세 개의 하드 중 아무 하드 remove

 

power on

 

자동 마운트가 잘 되어 있다.

 

이제 다시 하드를 추가하고 power on

RAID 복원을 해보자.

 

sdb 파티션을 하고 포맷을 하고 md5에 가입시켜주고 디테일을 보면 된다.

Array size(용량)은 2기가. 미러링 때문

 

오늘도 알차게 복습 끝!!(아슬하게 ㅎㅎ)