반응형 Computer Science/기계학습23 [Unsupervised learning] 2 주성분 분석치수축소• 동기부여– 고차원 데이터는 생물정보학, 금융, 이미지 처리 등 다양한 분야에서 보편화되어 있습니다 – 높은 차원성은 과적합, 계산 비용 증가 및 시각화의 어려움을 초래할 수 있습니다 – 차원 축소를 통해 필수 정보를 유지하면서 데이터를 단순화할 수 있습니다 – 소음 감소를 돕고 모델 성능을 향상시킵니다 비지도 차원 축소• (라벨을 사용하지 않고) 고차원 데이터의 저차원 표현을 찾으려면 어떻게 해야 합니까?– 입력 : (고차원 데이터)– 출력:(저차원 표현)• 주요 기법– 주성분분석(PCA)– 오토인코더– t-SNE, UMAP(시각화 목적) 주성분 분석• 비지도 선형 변환 기법– 데이터를 새 좌표계로 변환합니다. 여기서 가장 큰 분산은 첫 번째 주성분 PC1(기준)에 있습니다 – 후속.. 2024. 6. 18. [Unsupervised learning] 1 지도 학습 대 비지도 학습• 지도학습에서– 데이터는 레이블(분류) 또는 출력(회귀)과 함께 제공됩니다 • 비지도 학습에서– 해당 대상 출력 없음(y) – 데이터에서 패턴 찾기비지도학습[1]• 군집분석(군집 분석)– 특징 유사도별 표본 그룹화• 치수 축소(차원 축소)– 관련 없는 기능 제거– (라벨 정보를 사용하지 않고) 컴팩트하고 더 많은 정보를 제공하는 기능 추출 비지도학습[2]• 밀도추정– 확률분포 추정– 클러스터링 또는 이상치 탐지에 사용 가능• 이상 탐지– 전혀 또는 매우 적은 수의 이상 징후 탐지 라벨이 붙은 견본– 이상치 탐지/OOD(Out-of-Distribution) 탐지 등.왜 비지도 학습이• 장점:– 원시 데이터 및 알 수 없는 데이터 탐색에 적합– 복잡성 감소– 레이블이 지정되지 않은.. 2024. 6. 18. [Transformer] 1 NN에 의한 표현 학습• MLP, CNN 또는 RNN이 학습하는 내용:– 일부 작업에 대해 입력 표현을 잠재 표현으로 가장 잘 변환하는 가중치 집합(예: 예측)• MLP: 행렬 곱셈• CNN: 컨벌루션• RNN: MLP와 유사하지만 순차적인 처리와 추가가 가능합니다• 일련의 관련 요소(문장의 토큰과 같은)로 분할할 수 있는 순차적 입력, 또는 보다 일반적으로 입력에 대한 더 나은 표현을 학습하는 방법 반복에 의한 시퀀스 모델링• 반복을 이용한 RNN 모델 시퀀스 종속성• 재발을 완전히 제거하여 병렬화하고 더 긴 의존 관계를 처리할 수 있습니까 트랜스포머: "관심만 있으면 됩니다", NIPS 2017• 어텐션 메커니즘을 통해 시퀀스 내 또는 시퀀스 간(입력 및 출력) 글로벌 종속성을 모델링할 수 있습니다•.. 2024. 6. 18. [Recurrent neural network] 모델링 시퀀스 데이터시퀀스 데이터 소개• 일반적인 ML 알고리즘은 독립적이고 동일하게 분산된(i.i.d) 데이터를 가정합니다• 순차적 데이터로– 샘플이 독립적이지 않습니다– 발주사항• 응용 프로그램– 시퀀스 기반 예측– 시계열 예측– 자연어 처리(NLP)과제들• 네트워크 아키텍처를 모델 p("hey Jude"| )로 정의하는 방법?• 예를 들어, 입력 문장의 길이는 가변적일 수 있습니다• 표준 신경망은 고정된 입력 크기의 데이터만 처리할 수 있습니다• 과거 정보를 기억하고 미래 예측에 사용하는 방법은 무엇입니까?순환신경망• (길이가 가변적인) 시퀀스 모델링을 위해 설계되었으며 과거 정보를 기억할 수 있습니다 핵심 아이디어: 동일한 가중치를 반복 적용 순환신경망 아키텍처예: 서열분류• 입력 데이터로 5일 .. 2024. 6. 18. 이전 1 2 3 4 ··· 6 다음 반응형