가누의 코딩로그

1. Introduction이 논문에서는 LLM이 지도학습에서 feature selection을 수행할 수 있음을 보여준다. Training set의 변수들과 target 변수의 의미를 LLM이 어느 정도 알고 있다는 전제 하에, LLM에게 어떤 프롬프트를 제공해야 예측에 가장 유용한 특징들을 효과적으로 고르는 지 탐구한다. 이 논문에선 LLM을 활용한 feature selection에 있어서 세가지 접근법을 제안한다. (i) LLM이 생성한 중요도 점수가 가장 높은 특징들을 선택하는 방법,(ii) LLM이 생성한 중요도 순위에 따라 특징을 선택하는 방법,(iii) LLM과의 대화 형식으로 특징을 순차적으로 선택하는 방법. 전체 데이터를 확인하지 않고 feature selection을 진행하면, sele..

Introduction이 논문에서는 Few-Shot Learning이 가능한 대규모 언어 모델(LLM)을 활용하여 질병의 발병률을 예측하고자 한다. 그러나 Few-Shot Learning은 데이터가 부족한 환경에서 적용되므로, 성능에 한계가 있을 수 있다는 문제가 존재한다. 이를 보완하기 위해 본 연구에서는 EHR-CoAgent 기법을 도입하였다. EHR-CoAgent 기법은 두 개의 LLM 에이전트를 사용하는 방식으로, Predictor LLM Agent와 Critic LLM Agent가 협업하여 예측 성능을 높이고자 한다.먼저, Predictor LLM Agent는 질병 예측을 수행하고 예측 근거(이유)를 제시한다. 그런 다음, Critic LLM Agent는 Predictor Agent가 내린 예측..

읽게 된 계기환자별로 데이터의 양이 다를 수 있다. 어떤 환자는 짧은 입원으로 데이터가 별로 없는 반면, 어떤 환자는 긴 입원으로 데이터가 굉장히 많을 수 있다. LLM Finetuning에 있어서 학습할 컨텍스트 길이에 있어 차이가 나는 것은 문제가 될 수 있다. 데이터 양이 많은 환자에 치중되어 학습할 수 있으며, 일정 토큰(컨텍스트)를 넘어버리면 그냥 잘라버리는 Truncation 방법이 있지만 최적의 방법은 아니다. 이 논문에선 긴 컨텍스트를 효율적으로 학습할 수 있게 하는 Sparse Attention Mechanism들에 대해 설명한다.   Sparse Attention Mechanism은 관여하는 토큰 수에 따라 Global Attention, Local Attention, 그리고 두가지를 ..

내가 보려고 만든 기억 상기용 글 책 을 혼자 공부하면서 간단한 개념 정도로 정리하려 한다. 책을 보고 옮겨 적는 것이 아닌, 기억나는 개념을 키워드 정도 인용하고 그 외에는 본인이 창작해서 쓸 것이다. 수식은 워드에서, 그래프 그림은 지오지브라나 노타빌리티에서, 표는 주피터 노트북에서 제작했다.(아직까지는) 제작하지 않은 자료는 출처를 따로 기재할 것이다. 문제가 된다면 비공개로 전환하겠다. 2023.9.20 3-6. 시그모이드 함수 딥러닝은 입력받은 신호를 얼마나 출력할 지 계산하는 과정이 반복되는데, 이 때 출력 값으로 얼마나 내보낼지를 계산하는 함수를 활성화 함수라고 한다. 활성화 함수 중 하나가 시그모이드 함수이다. 0 또는 1, 두개의 값 중 하나를 고를 때 유용하게 쓰인다. x가 큰 값을 가..

2023.3.2 새벽 스마트 워치로 사람들의 건강상태 측정 통계학자 - 데이터 과학자 - 컴퓨터 과학자 세상에는 데이터를 통찰력으로 바꾸려는 사람들이 한가득이다. 데이터 과학은 공익을 위해서 쓰이기도 한다: 공중 보건 개선 등 for 문 앞에서 표현식을 쓸 수도 있다. result = [num * 3 for num in a if num % 2 == 0] defaultdict 모듈은 딕셔너리 기본값이 정해져 있지 않을 때 유용하게 쓸 수 있다. from collections import defaultdict d = defaultdict(str) d['one'] = '1' d['two'] = '2' d['three'] print(d) >>>defaultdict(, {'one': '1', 'two': '2',..