개발/논문 (5) 썸네일형 리스트형 LoRA : Low-Rank Adaptation of Large Language Models LoRA 논문에 대한 리뷰포스팅으로 돌아왔다! 혹시모를 자료를 위해 공식 Github Repo를 첨부하니 확인해보라! https://github.com/microsoft/LoRA 여길 들어가보면 알 수 있다 😆 LoRA를 리뷰하기전에 왜 요런 기법이 등장했는지 파악하면 더 알기좋다. 요즘도 그렇지만 1,2년전부터 ChatGPT 열풍이 불었다. 그덕에 LLM에 대한 관심도가 급상승하였는데 새로운 기술이 등장할때마다 사람들은 원천기술보단 응용을 어떻게 해서 본인에게 어떠한 도움이 되느냐를 더 주목하기 마련이다. LoRA가 화두에 떠오른 부분은 하나의 문제점으로부터 시작되었는데, 바로 LLM을 Full-Finetuning하는 것이 너무 한계점이 명확하다는 부분이었다. 상식적으로 자본과 컴퓨팅 리소스, 데이터가.. Upstage - Survey on Large Language Models https://www.aitimes.kr/news/articleView.html?idxno=29669&fbclid=IwAR0BRWXCv9hxdMpm6CJA_8_5B-6fgrzh_TowG0p1BUWjJR3OzFYY1xNkZBE [AI 이슈] 업스테이지 연구진, '초거대 언어모델 연구 동향' 한국어 LLM 서베이 논문 공개 - 인공지 챗GPT, 바드, 재미나이 등 대화형 생성 AI의 근간이 되는 \'대형언어모델(LLM)\'에 대해서 누구나 쉽게 입문 할 수 있도록 쉽고 넓게 중점을 둔 업스테이지 연구진이 \'초거대 언어모델 연구 동향\' www.aitimes.kr 어느날 위의 기사를 확인하게되어 연말인 지금 현재 LLM의 산업트렌드와 동향파악을 위해 한번 읽어보고 본 리뷰를 남긴다. 본 논문은 2023년 1.. Transformer - Attention is All You Needs 트랜스포머(Transformer) 는 2017년 구글이 발표하여 NIPS에 등재된 논문인 “Attention is all you need” 에서 나온 모델로 기존의 seq2seq의 구조인 인코더-디코더를 따르면서도, 논문의 타이틀처럼 어텐션(Attention)만으로 구현한 모델이다. 이 모델은 RNN을 사용하지 않고, 인코더-디코더 구조를 설계하였음에도 번역 성능에서 RNN보다 우수한 성능을 보여주었다. 🪧 Road Map —————————————————————————— 1. Overview 2. Positional Encoding 3. Self-Attention (+ Multi-Head Attention) 4. Residual Learning 5. Add + Norm 6. Attention in Enc.. NLP, LLM, Agent, Trends, etc... 논문 리스트 NLP 엔지니어의 취업을 위해 끊임없는 학습을 위한 논문리뷰를 진행하고자 합니다. 가장 기본이 되는 논문부터 천천히 스스로의 언어로 재정의하며 논문 리뷰를 할 예정이니 추후 올라오는 포스팅에 대한 따끔한 지적과 충고 및 조언은 환영입니다 😊 논문등재 연도에 따라 아래와 같이 리스트를 구성하였으며 포스팅 시기는 공부가 완전히 끝나는대로 올라올 예정입니다. 즉, 정해진 날짜에 올리는 것이 아니기에 자주 올라올수도, 아닐수도 있음을 공지합니다. ※ 임베딩은 파란색, 모델은 빨간색, 알고리즘/기법은 보라색, Survey는 초록색으로 표기하였습니다. 필수내용은 *로 표시하였으니 참고하세요. RNN* : Recurrent neural network based language model (2010) (처음 등장은 1.. 무식한 개발자의 논문리뷰 : (Basic) 조금씩이나마 읽어오던 논문리뷰를 포스팅하려고 합니다! 하나의 논문을 리뷰하는데 시간은 걸리겠지만 도전해보도록 하겠습니다!🔥🔥 오늘은 본격적인 포스팅에 앞서 논문에 대한 내용을 조금 알아보도록 할게요. 제가 학사졸업이라 논문을 접할 환경도 제대로 읽어본적도 많이 없거든요..ㅠㅜ 논문을 읽다보면 생전 처음보는 표기들도 있고, 여러의미가 함축된 내용들이 많더라구요. 이를 포함해서 논문을 읽는데 필요한 기초지식을 정리해보겠습니다. 인용의 유형 연구 논문에서 2가지 유형으로 인용을 표시하고 끝에 참조 목록을 요구한다. 본문 내 인용(in-text citations) : 논문의 본문에서 저자 또는 제목 별로 다른 문헌을 참조할 때 사용해요. 각주(footnotes) : 페이지 하단에 있는 참조 문헌을 인용하는거에요.. 이전 1 다음
