[XAI] LRP

LRP는 사실 완전하게 이해하지는 못했다. 그냥 어떤식으로 사용되는것인지 대략적인 내용만 이해했다. 

 

LRP

Layer-wise Relevance Propagation

- 레이어 단위로 결과에 영향을 주는 관련성을 구하는 역전파 기술

- 모델이 어떤 부분을 보고 해당 결과를 도출해 내었는지 히트맵 형식으로 알려주는 방법

- Relevance Propagation & Decomposition 방법으로 모델을 해부한다.

---

LRP 예시

- LRP 분해과정에서는 f(x)에서부터 딥러닝을 역방향으로 순회하며 각 은닉층의 결과 기여도를 판단한다.

- f(x)는 예측값을 의미하며, 아래 예시에서는 이미지를 수탉으로 예측할 가능성이다.

- 타당성 전파는 분해 과정을 마친 은닉층이 결과값 출력에 어떤 기여를 하는지 타당성을 계산하는 방법이다.

 

여기서 기여도값인 Relevance score R은 x가 출력에 얼마나 영향을 주는지에 대한 값이다.

즉, x의 변화에 따라 y의 변화가 얼마나 큰가?에 대한 값이다.

→ 각각 입력이 output에 대해 주는 기여도는 편미분 값으로 표현할 수 있다. 

결국 LRP에서 하고 싶은 것은 출력(f(x))를 기여도로 분해하는 것이다.

위에 관한 내용은 이 유튜브에서 자세히 설명해준다! 특히 R이 무엇을 의미하는지 궁금했었는데, 테일러 시리즈를 이용하여 구한다. 위 이미지의 출처도 링크된 유튜브에 있다.

 

heatmap을 해석해보면, input x로 들어온 이미지가 수닭일 확률에 영향을 준 것은 수탉의 머리 부분이라고 할 수 있다.

 

 

---

출처

[1] https://www.youtube.com/watch?v=4twkQWYTXpw