가누의 코딩로그

1. Introduction이 논문에서는 LLM이 지도학습에서 feature selection을 수행할 수 있음을 보여준다. Training set의 변수들과 target 변수의 의미를 LLM이 어느 정도 알고 있다는 전제 하에, LLM에게 어떤 프롬프트를 제공해야 예측에 가장 유용한 특징들을 효과적으로 고르는 지 탐구한다. 이 논문에선 LLM을 활용한 feature selection에 있어서 세가지 접근법을 제안한다. (i) LLM이 생성한 중요도 점수가 가장 높은 특징들을 선택하는 방법,(ii) LLM이 생성한 중요도 순위에 따라 특징을 선택하는 방법,(iii) LLM과의 대화 형식으로 특징을 순차적으로 선택하는 방법. 전체 데이터를 확인하지 않고 feature selection을 진행하면, sele..

1. 접속하려는 컴퓨터의 ssh 서버를 켜준다. sudo systemctl status ssh 초록색으로 active라고 뜨면 잘 켜진 것 2. 접속하려는 컴퓨터의 방화벽의 상태를 확인한다. sudo ufw status verbose 상태가 활성이면 2-1로, 비활성이면 3번으로 이동 2-1. 접속하려는 컴퓨터의 방화벽을 끈다sudo ufw disable 3. 다음 명령어를 통해 현재 인터넷과 통신할 때 사용하는 IP를 알아둔다. ip route get 8.8.8.8그리고 src 뒤에 있는 숫자를 기억한다 4. 다음 명령어를 통해 접속할 사용자의 이름을 알아둔다whoami 5. 이제 클라이언트 컴퓨터의 터미널에 다음 명령어를 입력한다. ssh [사용자 이름]@[ip주소] 6. 사용자의 비밀번호를 입력한다..

내 연구실 컴퓨터(Ubuntu)는 무선인터넷 연결이 안 되고, 유선 인터넷 연결만 가능함. 그런데 연구실 유선랜이 문제가 생겨서 인터넷 공급이 안되는 상황..그래서 내 노트북(Windows)에 와이파이를 연결하고, 노트북과 연구실 컴퓨터를 랜선으로 연결해서 연구실 컴퓨터에 무선인터넷 연결을 해주고자 함 준비물1. Ethernet to C 케이블 나는 노트북에 랜선포트가 없어서 필요한 건데, 랜선포트 있는 노트북이면 안사도됨 2. 랜선방법0. 노트북이랑 컴퓨터랑 랜선 연결1. 내 노트북에서 Win + R 누르고 services.msc 치고 엔터2. Internet Connection Sharing 이랑 DHCP Client 찾고 상태가 실행 중인지 확인이렇게 둘다 뜨면 실행 중인 것3. Win + R 눌르..

Introduction이 논문에서는 Few-Shot Learning이 가능한 대규모 언어 모델(LLM)을 활용하여 질병의 발병률을 예측하고자 한다. 그러나 Few-Shot Learning은 데이터가 부족한 환경에서 적용되므로, 성능에 한계가 있을 수 있다는 문제가 존재한다. 이를 보완하기 위해 본 연구에서는 EHR-CoAgent 기법을 도입하였다. EHR-CoAgent 기법은 두 개의 LLM 에이전트를 사용하는 방식으로, Predictor LLM Agent와 Critic LLM Agent가 협업하여 예측 성능을 높이고자 한다.먼저, Predictor LLM Agent는 질병 예측을 수행하고 예측 근거(이유)를 제시한다. 그런 다음, Critic LLM Agent는 Predictor Agent가 내린 예측..

읽게 된 계기환자별로 데이터의 양이 다를 수 있다. 어떤 환자는 짧은 입원으로 데이터가 별로 없는 반면, 어떤 환자는 긴 입원으로 데이터가 굉장히 많을 수 있다. LLM Finetuning에 있어서 학습할 컨텍스트 길이에 있어 차이가 나는 것은 문제가 될 수 있다. 데이터 양이 많은 환자에 치중되어 학습할 수 있으며, 일정 토큰(컨텍스트)를 넘어버리면 그냥 잘라버리는 Truncation 방법이 있지만 최적의 방법은 아니다. 이 논문에선 긴 컨텍스트를 효율적으로 학습할 수 있게 하는 Sparse Attention Mechanism들에 대해 설명한다.   Sparse Attention Mechanism은 관여하는 토큰 수에 따라 Global Attention, Local Attention, 그리고 두가지를 ..