1.Rat Training

#Rat No. 49 Group : comparison study of no reward vs negative feedback on learning Current weight : 448(-3g) Pellet/Water :15 g Experiment time : 09:55 ~ 10:30 Stage : Shaping - DAY 3

금일 49번은 5분 towel handling 이후 약 30분간 shaping을 진행했다. 총 25trial을 수행했으며, opend washer trial은 2번 closed washer trial은 23번을 진행했다. 어제와 달라진 점은 start box에서 나와 reward zone까지 가는 속도가 상당히 빨라졌다. 다른 행동을 하지 않고 문을 열면 곧장 달려나간다. 또한 reward를 먹고나서 start box까지 돌아가는 시간이 상당히 많이 줄었다. 실험자가 억지로 쥐의 고개를 돌려 넣기도 했지만, 어제와 비교했을 때 저항이 크게 줄었다. washer에 대한 반감이 있을 것 같아 opened washer trial 즉 wahser로 절반만 가린 trial을 2번 진행 후 washer로 완전히 가린 trial을 계속 진행했다.

criterion 충족 trial 횟수인 20회를 넘은 모습을 보여주었다.

DAY3 trial latency를 median quartile로 나타낸 figure이다. 어제와는 다르게 total latency 즉 opened trial과 closed trial 모두 합친 trial을 median quartile로 나타낸 figure를 추가했다. criterion이 closed trial만 충족하는 줄 알았지만, open trial과 closed trial을 합친 total trial로 criterion 충족 여부를 판단한다고 하여 추가하였다. 추가로 5초인줄 알았던 criterion이 15초로 변경되었다. 선배님이 주신 자료에 오타가 존재하여 5초로 잘 못 기입되어 criterion이 5초인 줄 알았다.

추가로 각 shaping 날짜별 total latency를 비교한 figure이다. 49번은 shaping 날짜를 거듭할 수록 criterion에 충족하는 trial이 증가하였고, 오늘인 DAY3에 모든 trial이 criterion에 충족했다.

washer closed trial과 15초 미만의 trial이 criterion 조건인 20 trial에 도달한 결과를 볼 수 있다. 원래는 total trial에서 15초 미만의 trial이 20 trial이면 만족이지만, washer closed trial만 실험자가 criterion으로 추가한 이유는, 위 figure에서 opened trial과 closed trial을 나눠 비교했기 때문에 criterion 설정을 하나 추가하여 비교해 보고 싶었기 때문에 위 사항을 추가했다. 3일이 되는 날에 shaping을 완벽하게 수행한다는 데이터를 얻을 수 있었다.

다음 단계인 main tesk로 넘어가도 되지만 사수님의 부재인 이슈와 실험자의 경험적 적응 이슈로 shaping을 명일 하루 더 진행하기로 결정했다.

금일 49번은 푸릇룹을 2개와 suger water 2.9mL (towel - 0.4mL, shaping - 2.5mL)를 섭취했다. pellet양은 15g을 주었다.

Rat No. 50

Group : comparison study of no reward vs negative feedback on learning Current weight : 436g(-4g) , Pellet/Water :15g Experiment time : 10:40 ~ 11:15 Stage : Shaping - DAY 3

어제 문제가 많았던 50번은 shaping DAY3에서 정말 좋은 모습을 많이 보여주었다. washer에 대해 아직 적응이 완료되지 않아 opened washer trial을 4번을 진행 후 closed washer trial을 계속 진행했다. 우려했던 reward를 먹고 start box에 다시 들어가는 행동은 오늘 많이 교정되었다. 실험자가 blocker로 막아도 힘으로 버티는 모습또한 사라졌고, start box에서 blocker로 가려도 아래 구멍으로 탈출하는 모습을 1번도 보여주지 않았다. 또한 trial을 시도할 수록 실험자가 blocker로 막지 않아도 reward를 먹고 알아서 start box에 돌아가는 모습을 꾸준하게 보여주었다.

어제 washer로 막아 놓았을 때 reward를 잘 찾지 못하는 모습을 보여주어 실험 초반에 reward를 절반만 가려 실험을 진행했다. 4번 진행 후 5번째 trial 부터는 washer로 모두 가렸는데 모든 trial에서 reward를 잘 찾는 모습을 보여주었다.

DAY3의 latency를 보면 거의 모든 trial이 criterion인 15초 미만을 만족하는 결과를 보여주었다.

추가로 3일동안의 trial을 비교해 본다면, 3일차에 더 좋은 motivation을 보여주었다. 50번은 start box를 열어주면, 곧장 출발하지 않고 start box 앞에 존재하는 blocker의 냄새를 맡고 출발하는 경향이 있다. 그럼에도 불구하고 오늘 trial이 criterion에 충족을 한 퍼포먼스롤 보여주는 것이라면, 위 행동만 교정하면 더 빠른 motivation을 보여줄 수 있을 것이라고 생각한다.

마찬가지로 실험자가 closed washer trial의 criterion 기준을 추가한 데이터이다. 50번은 어제 motivation이 정말 안 좋았지만 3일차인 오늘 정말 좋은 motivation을 보여주며 criterion기준을 충족시켰다. 신기하게도 갑자기 motivation이 좋아진 이유를 생각해 본다면, 원래부터 50번은 suger water에 대한 motivation이 정말 강했다. towel handling을 진행할 때에도 suger water을 천천히 주면 syringe를 자기 쪽으로 당기는 모습을 보여주었고, cart trainning에서는 땅만 보고 다닐 정도로 suger water에 대한 집착을 보여주었다. 많이 먹을 수 있던 suger water가 shaping에 들어가고 1일차 2일차에 적은 suger water을 먹게 되자 오늘 suger water을 먹기위해 집착을 보여준 것이 아닐까 생각이 든다. reward zone에서 suger water을 먹고 원래는 start box에 돌아가지 않았지만 오늘은 스스로 돌아가는 모습을 많이 보여주었고, 후반부 trial에서는 빠른 속도로 start box에 다시 돌아가는 모습 또한 보여주었다. 걱정이 많은 50번이었지만, 오늘 shaping을 잘 마무리 했고, criterion을 충족하여 다음 단계인 main tesk에 들어갈 수 있지만, 사수님의 부재와 실험자의 경험적 적응 이슈가 존재하여 49번과 똑같이 shaping을 하루 더 진행하기로 하였다.

금일 50번은 푸릇룹 2개와, suger water 2.9mL (towel - 0.4mL, shaping - 2.5mL)를 섭취했다. pellet 양은 15g을 주었다.

2. DLC project

어제 돌려놓은 scale 0.5와 crf -31의 학습이 금일 끝나 영상을 input 하여 test를 진행했다. 추가로 학습의 조건은

batch_size = 8
해상도 = 960*540
화질 crf -31

사용하여 학습을 진행하였다.

result

해상도를 낮추고 화질을 낮춰 batch size를 최대값인 8까지 올려 학습한 결과는 결론을 말하면 학습이 제대로 되지 않았다. 쥐가 움직이거나 행동을 멈추어도 labeling이 심하게 요동치는 모습을 많이 보여주었다.

batch size 8로 설정 후 학습한 데이터를 가지고 만든 output 영상의 일부분이다. 7분 44초에서 8분 5초까지 쥐가 달리는데, 달리기를 시작할 때 labeling의 위치가 크게 흔들리고 달리기를 멈추기 전까지 labeling이 계속 흔들리는 것을 확인했다. 또한 hyper drive의 17번이 아닌데 syringe를 labeling 한다던지, 갑자기 튀는 결과를 많이 보여주었다.

행동을 멈춘 상태에서도 좋지 못한 labeling을 보여주었다. 다른 학습 데이터에서도 제일 잘 찍히는 쥐의 코 labeling에서도 좋지 못한 결과를 보여주었다. batch size를 8로 올리면 학습시간이 줄지만 학습 데이터의 jitter가 크다. 그렇다면 output 영상을 만들때도 batch size를 8로 설정하여 그런 것일까? 라는 의문이 들어 output 영상을 만들때만 batch size를 1로 만들어 진행해 보았다.

batch size를 1로 설정한 output 영상이다. batch size 8과 같은 영상이기 때문에 같은 시간대를 비교해 본다면, 쥐가 움직였을 때는 batch size 8과 큰 차이가 없다. labeling이 원하는 위치에 제대로 되어 있지 않는 결과를 많이 보여주었다. 제일 정확한 값인 batch size 1도 움직이는 쥐의 labeling을 완벽하게 하지 못하는 것이면 960*540 해상도에서는 batch size 8을 주면 안된다는 결과를 얻었다.

쥐가 장시간 멈춰있었던 13분 49초를 비교해 본다면 batch size 8보다는 정확한 결과를 보여주었다. 움직이는 쥐에서 labeling은 서로 차이가 없으나 움직임이 없는 상태의 쥐에서는 batch size가 더 낮은 값이 정확한 결과를 보여주었다.

그렇다면 scale을 진행한 데이터는 학습 데이터로 사용하지 못할까? 필자의 생각으로는 batch size를 낮추면 학습데이터로 충분히 사용이 가능할 것이라고 판단된다. 최대 값인 8을 주었을 때, labeling의 jitter가 심했지만 1을 주었을 때는 멈춰있는 상황에서는 좋은 결과를 보여주었기 때문에 numframe2pick의 데이터를 높이고, batch size를 약 4정도 주면 좋은 학습 데이터를 얻을 수 있을 것으로 판단된다.

그리하여 다음 프로젝트는 5마리의 쥐 실험 영상을 각각 한개씩 넣어 5개의 영상으로 여러가지 상황을 학습시켜 볼 것이다. 저번에 확장자 변환기로 scale을 960*540으로 변환 후 mp4 확장자로 변환 시켜 놓았기 때문에 현재 new project를 만들었고, 각 영상마다 numframe2pick을 200씩 주어 총 1000개 labeling을 진행하려고 한다. 기대되는 효과는 여러가지 상황에 대한 데이터를 넣어 학습 시키기 때문에 다른 쥐들의 영상을 가져오더라도 labeling이 jitter없이 깔끔하게 된 output 영상을 뽑아주는 것을 기대한다.