RBM 이란?

RBM은 정답이 없는 상태에서 데이터가 어떻게 생겼는지 분포를 스스로 학습하는 생성형 확률 모델

구조

• 가시층 : 실제 대이터가 입력되는 곳
• 은닉층 : 데이터 속의 숨겨진 패턴이나 특징을 추출하는 곳

Restricted의 의미

• 네트워크 통신 규칙이 존재하기 때문
• 가시층과 은닉층 사이의 양방향 통신만 허용. 가시층 내부의 유닛 혹은 은닉층 내부의 유닛끼리 서로 연결 및 통신은 불가

RBM에서 정수 단위 Sampling 이란?

• 원래 초기 RBM은 뉴런의 상태를 $0,1$ 두가지 상태의 정수로만 샘플링함. → 이진 유닛
• 표현력을 높이기 위해 이진 유닛을 무한대로 복사하고 offset을 설정 → 계단식 시그모이드 유닛
• 입력신호가 들어왔을 때 각 복제본들이 개별적으로 확률 주사위를 굴림
  • 1번 허들: 95% 확률로 통과 → 성공 $(1)$
  • 2번 허들: 80% 확률로 통과 → 성공 $(1)$
  • 3번 허들: 50% 확률로 통과 → 실패 $(0)$
• 이 상태를 다 합치면 $1 + 1 + 0 = 2$가 됨. 즉 최종적으로 활성화된 유닛의 총합이 $1.5$나 $2.7$같은 실수가 아닌 정확히 몇개의 스위치가 켜졌는지를 나타내는 이산적인 정수가 되어야 함