skn family ai camp 13 주차 회고록(2025.05.19-2025.05.23)

좋았던 점 

 

이번주는 제 생일이 있는 주입니다. 5월25일 일요일이였습니다. 무한도전 마라톤을 하는 날이였습니다. 아는 분이 제것도 같이 예매해줘 다녀왔습니다. 유재석을 제외한 무한도전 멤버들의 공연도 볼 수있었고 재미있는 이벤트와 많은 먹을거리를 줬습니다. 토요일에는 에어소프트 페스티벌에 갔습니다. 살까 말까 고민했던 총도 사고 이근님도 뵙습니다(사진을 찍지 못해 아쉬웠습니다).

 

아쉬웠던 점

일요일 마라톤을 완주하고 싶었는데 같이 간 파트너가 체력이 좋지 못해 중간에 포기했습니다. 또한 썬크림을 바르지 않고 공연을 봐서 얼굴이 다 타버렸습니다. 또한 에어컨 필터 청소를 하지 않고 사용하여 목이 부었습니다. 일요일에 자취방에 와서 확인해보니 상태가 많이 심각했습니다. 현재는 필터 마르기를 기다리는 중입니다. 

 

인상적이었던 점

일요일에 앞집 사시는 분을 또 뵈었습니다. 저희 층에 중국분이 사신다는 정보와 문만 세게 닫지 않으면 방음에 문제가 별로 없다는 정보 및 에어컨에 대한 이야기를 나누었습니다.

얼굴이 탔을때는 수딩젤과 펙을 사용해서 열기를 빼줘야하며 냉장고에 넣어뒀다 사용하면 효과가 더 좋다는 정보를 알았습니다(아마 화,수 요일까지는 계속 관리 해줘야 할거 같습니다). 

 

수업 내용중 어렵거나 중요하다고 생각한 내용 (중요하지만 원래 아는 내용은 스킵하였습니다)

 

1. offset

위 사진은 수업시간에 다룬 offet를 다룬 코드 입니다. 

offset이란 기준점으로부터 떨어진 거리나 위치를 의미합니다. 

 

위 사진과 같이 각 토큰의 시작과 끝의 정보를 담고 있습니다. 2번째와 3번째 if문은 정답인 단어가 어떤 토큰에서부터 시작되고 어떤 토크으로 끝나는지 출력하는 찾아내는 코드입니다. 

 

2. llm혹은 텍스트 생성 모델 평가 방법

 

3. 리스트 컴프리션 사용법(추가)

위 코드는 리스트 컴프리션이며 한줄을 띄었지만 잘 동작합니다. 아래 코드에서 q와 a를 뽑아 본 코드에서 사용하게 됩니다. 

 

4. LoRA 튜닝 vs QLoRA 튜닝

위 사진은 LoRA 튜닝과 QLoRA튜닝을 표로 비교한 사진입니다.

요점만 정리하자면 LoRA는 원본 모델은 그대로 두고 일부만 저차원으로 학습하는 방법이고, QLoRA는 원본 모델을 4bits로 압출하고 LoRA를 적용하는 방법입니다. 

QLoRA = Quntized(양자화) + LoRA

 

금주의 이모티콘(금주의 나의 상태를 제일 잘 표현하는 이모티콘)