Information and Intelligence
최근 인공지능 커뮤니티의 최대 화제는 GPT-3라는 OpenAI의 기술입니다. 심지어 일반인들도 GPT-3를 이야기하고 있는데, 도대체 이 기술이 어떤 인공지능 기술이길래 이렇게 난리가 난 것일까요? 간략한 기술의 소개와 왜들 그렇게 이 기술에 대해 많은 이야기를 하는 것인지 알아보도록 하겠습니다.
오늘 리뷰에 등장하는 Jay Alamar의 사이트 URL은 아래를 참고하시면 됩니다.
http://jalammar.github.io/how-gpt3-works-visualizations-animations/
좋은 요약 감사합니다
설명가능한 알고리즘들만 다루다 블랙박스로 넘어오니 답답한 것도 많긴 한데.. 새로운 것들이 참 재밌습니다.
소개영상 잘 봤습니다. 고맙습니다
2:56 obey라는 정답이 있는데 비지도학습은 정답이 없는 학습방법 아닌가요??
개발을 하는 입장에서 알파고보다 더 충격적이더라고요. 보다 더 general ai에 근접하고 있는 느낌이라서요
React App 코딩은 놀랍네요. 이거 이정도면 React 컴포넌트 개발할때 제일 귀찮은 샘플러와 Docs 는 해볼만 한데요?
훌륭한 설명 무한 감사드립니다
대표님 한가지 더 여쭙니다.
transformer의 계산이 RNN보다 좀 더 많은 것 같습니다. 하드웨어가 받쳐주니까 성능은 더 좋겠지만요
RNN은 n-1번째 단어까지 왔을 때 1 부터 n-1 까지의 단어를 조건으로 n 부터 k(주어진 문장 마지막 단어)까지를 일일히 확률적으로 조사한 후 다음 단어를 판단한다고 볼 수 있을 것 같습니다. 즉 각 n 마다 n times (k-(n-1) 만큼 계산하는 거지요.
반면에 transformer는 각 단어 마다 (각 단어를 attention할 때마다)1부터 k 단어까지를 다 query해서 value 를 계산하는 것 같습니다. 각 n 마다 n times k 겁니다.
이렇게 보는 게 맞을까요? 감사합니다
이 정도면 판사정도는 충분히 대체가능하겠네요
영상 말미에 gpt 이걸 활용하려면
여기 어텐션 강의 들으라고 하셨는데
검색해보니 10개정도 되더라구요!
그게
프로그래밍에 대한 이해가 없더라도
볼 수 있는건가요?
아니면
다른걸 뭔가 배우고 그걸 시작해야한다면
뭘 배우고 어텐션 1강 보면 될지요!
발전속도 정말 빠르네요.
특이점이 생각보다 빨리 올 듯 합니다.
작년 GPT-2에서 요구 되는 성능에 좌절했습니다. 개인 컴퓨터로는 파인 튜닝도 못하게 되었으니… ㅠ