rwg5565 님의 블로그

1. 어텐션 메커니즘의 개념어텐션 메커니즘은 입력 데이터에서 중요한 정보에 가중치를 부여하는 방식입니다. 예를 들어, 문장을 번역할 때 한 단어가 다른 단어보다 더 중요한 경우가 있습니다. 이런 상황에서 모든 단어를 동일하게 처리하지 않고, 중요한 단어에 가중치를 더 부여하는 것이 어텐션입니다.2. 어텐션 메커니즘의 원리어텐션은 쿼리(Query), 키(Key), 값(Value) 세 가지 개념을 사용합니다.쿼리(Query): 현재 단계에서 참고할 정보키(Key): 입력 데이터의 각 요소를 구별하기 위한 식별자값(Value): 키와 쿼리의 유사도를 기반으로 반환할 데이터Transformer와 어텐션Transformer는 **셀프 어텐션(Self-Attention)**을 기반으로 한 모델로, BERT, GPT..

오늘 푼 문제아이스아메리카노/중복된 개수 세기/머쓱이 보다 큰 사람/ 중앙 값 구하기/등등 입문문제 마크다운마크다운: 태그를 이용해서 문서를 나타내는 표현법 .md (Readme.md) 설명하는 문제 git: 분산 버전 관리 시스템 버전 관리: 코드의 히스토리를 관리하는 도구 개발되어온 과정을 파악할 수 있음 이전 버전과의 변경 사항 비교 및 분석 가능 git ls 현재 위치에서 clear 초기화 ~ 홈 위치를 의미 pwd 현재 위치 보기(git의 위치) working Directory: 내 폴더(작업 공간) .git이 들어있는 위치 가장 최상단의 위치 straging area: commit으로 남기고 싶은, 특정 버전으로 관리하고 싶은 파일들이 있는 곳(미래) repository:  commit들이 저..

content1.dip-running2.ann (인공 신경망)  1. 딥러닝이란???인공신경망데이터에서 패턴(중요한정보)를 추출하여 예측,분류,생성 등 다양한 작업을 수행 한다. !예시!예측: stock의 흐름이라던가\n부동산의 시세라던가\n분류: 명확한 사물 데이터가 있는 개나 고양이 같이 분류가 되는 것\n생성: 창조의 영역 !chat gpt! perceptron: 사람의 뇌(뉴런) 입력 값이 여러 개 들어오면 perceptron이 계산한다.EX))개 다리 4개 개의 귀2개 / 사람 다리 2개 사람 귀 2개 = 4*2=6 2*2=4개는 항상 6의 값이 나오고 사람은 항상 값이 4가 나오니 4는 사람이고 6은 개다.다층 perceptron: 이런 perceptron을 많이 설정하면 설정 할 수록 정확한..