가누의 코딩로그

1. Introduction전이 학습이란, 이미 학습된 모델을 다른 작업에 활용하는 것을 말한다. 그 예시중엔 fine tuning이 있다. 그런데, fine tuning을 하려면, 10억(1B)개의 파라미터를 가진 LLM을 full fine-tuning(32bit 부동소수점)하려면,  24GB의 메모리가 필요하다. 따라서, 메모리 최적화 없이 LLM을 파인튜닝하면 OOM(Out of Memory)에러가 맨날 뜨는 것을 볼 수 있다. 이 논문에서는 LLM 파인튜닝을 위한 대표적인 최적화 기법들에 대해 자세히 소개하고, 메모리 사용량과 실행 시간 사이의 절충 관계를(trade-off) 분석하며, 실험 결과를 통해 최적의 조합을 선택하기 위한 가이드라인과 기준점을 제시한다.  2. Related Work1...

1. Introduction이 논문에서는 LLM이 지도학습에서 feature selection을 수행할 수 있음을 보여준다. Training set의 변수들과 target 변수의 의미를 LLM이 어느 정도 알고 있다는 전제 하에, LLM에게 어떤 프롬프트를 제공해야 예측에 가장 유용한 특징들을 효과적으로 고르는 지 탐구한다. 이 논문에선 LLM을 활용한 feature selection에 있어서 세가지 접근법을 제안한다. (i) LLM이 생성한 중요도 점수가 가장 높은 특징들을 선택하는 방법,(ii) LLM이 생성한 중요도 순위에 따라 특징을 선택하는 방법,(iii) LLM과의 대화 형식으로 특징을 순차적으로 선택하는 방법. 전체 데이터를 확인하지 않고 feature selection을 진행하면, sele..

1. 접속하려는 컴퓨터의 ssh 서버를 켜준다. sudo systemctl status ssh 초록색으로 active라고 뜨면 잘 켜진 것 2. 접속하려는 컴퓨터의 방화벽의 상태를 확인한다. sudo ufw status verbose 상태가 활성이면 2-1로, 비활성이면 3번으로 이동 2-1. 접속하려는 컴퓨터의 방화벽을 끈다sudo ufw disable 3. 다음 명령어를 통해 현재 인터넷과 통신할 때 사용하는 IP를 알아둔다. ip route get 8.8.8.8그리고 src 뒤에 있는 숫자를 기억한다 4. 다음 명령어를 통해 접속할 사용자의 이름을 알아둔다whoami 5. 이제 클라이언트 컴퓨터의 터미널에 다음 명령어를 입력한다. ssh [사용자 이름]@[ip주소] 6. 사용자의 비밀번호를 입력한다..

내 연구실 컴퓨터(Ubuntu)는 무선인터넷 연결이 안 되고, 유선 인터넷 연결만 가능함. 그런데 연구실 유선랜이 문제가 생겨서 인터넷 공급이 안되는 상황..그래서 내 노트북(Windows)에 와이파이를 연결하고, 노트북과 연구실 컴퓨터를 랜선으로 연결해서 연구실 컴퓨터에 무선인터넷 연결을 해주고자 함 준비물1. Ethernet to C 케이블 나는 노트북에 랜선포트가 없어서 필요한 건데, 랜선포트 있는 노트북이면 안사도됨 2. 랜선방법0. 노트북이랑 컴퓨터랑 랜선 연결1. 내 노트북에서 Win + R 누르고 services.msc 치고 엔터2. Internet Connection Sharing 이랑 DHCP Client 찾고 상태가 실행 중인지 확인이렇게 둘다 뜨면 실행 중인 것3. Win + R 눌르..

Introduction이 논문에서는 Few-Shot Learning이 가능한 대규모 언어 모델(LLM)을 활용하여 질병의 발병률을 예측하고자 한다. 그러나 Few-Shot Learning은 데이터가 부족한 환경에서 적용되므로, 성능에 한계가 있을 수 있다는 문제가 존재한다. 이를 보완하기 위해 본 연구에서는 EHR-CoAgent 기법을 도입하였다. EHR-CoAgent 기법은 두 개의 LLM 에이전트를 사용하는 방식으로, Predictor LLM Agent와 Critic LLM Agent가 협업하여 예측 성능을 높이고자 한다.먼저, Predictor LLM Agent는 질병 예측을 수행하고 예측 근거(이유)를 제시한다. 그런 다음, Critic LLM Agent는 Predictor Agent가 내린 예측..

읽게 된 계기환자별로 데이터의 양이 다를 수 있다. 어떤 환자는 짧은 입원으로 데이터가 별로 없는 반면, 어떤 환자는 긴 입원으로 데이터가 굉장히 많을 수 있다. LLM Finetuning에 있어서 학습할 컨텍스트 길이에 있어 차이가 나는 것은 문제가 될 수 있다. 데이터 양이 많은 환자에 치중되어 학습할 수 있으며, 일정 토큰(컨텍스트)를 넘어버리면 그냥 잘라버리는 Truncation 방법이 있지만 최적의 방법은 아니다. 이 논문에선 긴 컨텍스트를 효율적으로 학습할 수 있게 하는 Sparse Attention Mechanism들에 대해 설명한다.   Sparse Attention Mechanism은 관여하는 토큰 수에 따라 Global Attention, Local Attention, 그리고 두가지를 ..

2025-2학기 파견 교환학생에 합격했다!! 바로바로 Universidade de Lisboa리스본 대학교 기말고사 끝나고 영어 꾸역꾸역 공부한 보람이있다 ㅠㅠㅠㅠㅠㅠㅠ 리스본 대학교 영업을 좀 해보자면  포르투갈 1위 대학 (QS Ranking은 2025년 기준 세계 260위)수도 리스본에 있음공항까지 5유로 15분컷이라 비행기로 여행다니기 좋음(유럽 끝자락이라 기차여행은 좀 맘잡고 해야할듯?)유럽중 물가 싼편 (외식은 좀 비싼데, 마트가 ㄹㅇㄹㅇ싸다고함)날씨 온화함 (짐 가벼워짐, 서핑 딱대~!!!!) 그리고 본인은 석사 생각이 있어서 .. 교환학생이긴 하지만 좀 좋은 대학교 가고 싶었음. 개인적으로 메리트였던 점은  문과는 못 감(학점, 영어성적 경쟁하면 썰리기 때문..ㅋㅋ)서울대 공대에서도 교환학..

기억할 것 n이 엄청 크다 (1000000 그이상 ) -> 시간 초과 날 가능성이 있다문제상근이는 남는 돈으로 매우 높은 빌딩 "상근타워"를 지었다.상근타워에는 엘리베이터가 m개가 있다. 각 엘리베이터에는 두 버튼이 있다. i번째 엘리베이터의 한 버튼은 ui 층을 올라가는 버튼이고, 다른 버튼은 di층 내려가는 버튼이다.상근타워의 가장 아래층(로비)은 0층이고, 그 다음 층부터는 증가하는 자연수이다. 엘리베이터를 타고 지하로 내려갈 수 없으며, 건물은 매우 높아 끝이 없다고 가정한다.상근이는 상근타워의 로비에 서있다. 이제, 엘리베이터중 하나를 골라서 타려고 한다. 엘리베이터를 탄 이후에는 다른 엘리베이터로 바꿔탈 수 없다. 이때, 엘리베이터 버튼을 정확하게 n번 눌러서 갈 수 있는 가장 낮은 층(로비는..

저는 식품영양학과로 입학한 후, 소프트웨어융합학과 데이터사이언스 트랙을 복수전공 중입니다.복수전공 신청서는 2023년 여름방학에 제출했으며, 같은 해 10월에 합격 소식을 들었습니다. 현재 복수전공을 시작한 지 약 1년이 되었습니다. 복수전공을 신청하려면 포트폴리오 제출이 필수인데, 개인적으로 합격하기까지 많이 힘들었습니다.. (입시 한번 더 하는 느낌.. ) 이 글을 보는 지원자들에게 도움이 되고자, 제가 작성했던 포트폴리오를 공유하려 합니다. 다소 부끄럽지만, 조금이나마 도움이 되길 바랍니다. 사실 저는 복수전공 신청에 한 번 떨어졌던 경험이 있습니다. 이번에 공유하는 자료는 두 번째 도전에서 합격했던 신청서입니다. 한 번 실패를 경험한 입장에서, 또 여러 선배와 친구들의 자기소개서를 참고했던 사람으..

SS-TI는 사용자의 단맛과 짠맛 선호도를 분석하여 식습관 유형을 분류하고, 건강한 식생활을 위한 맞춤형 솔루션을 제공하는 웹 기반 프로그램입니다.설문 문항은 총 40문항으로 구성되었으며, 당류와 나트륨 두 가지 주요 항목으로 나누어져 있습니다. 각 항목은 10문항은 식품 섭취 빈도를 측정하는 질문, 10문항은 식행동과 관련된 질문으로 구성됩니다. 모든 설문 문항은 5지선다형으로 설계되었으며, 응답자가 간단하고 직관적으로 응답할 수 있도록 제작하였습니다. 모든 문항은 기존 학위 및 학술 논문에서 발췌하였으며, 논문 내에서 통계적으로 유의성이 검증된 문항만을 선정하였습니다. 식품 섭취 빈도 관련 문항은 당류와 나트륨 섭취에 관한 식품만을 조사한 FFQ를 참고하였습니다. 응답 범주는 기존 FFQ의 복잡한 섭..