Mi:dm 2.0 모델의 특징 및 차별점 - 만다라트 뷰
페이지 정보
본문
이 만다라트는 "Mi:dm 2.0 모델의 특징 및 차별점"에 대한 분석을 담고 있습니다.
만다라트 정보:
- 제목: Mi:dm 2.0 모델의 특징 및 차별점
- 주제: "Mi:dm"은 한국 사회의 언어/문화적 특성을 반영한 상업적 활용이 가능한 오픈소스 모델 고품질 한국어 데이터 선별과 합성 데이터 생성, 커리큘럼 러닝, 한국어 특화된 고유 토크나이저 등 다층적 최적화 전략을 사용 온디바이스용 mini(2.3B), 성능과 효율의 밸런스 base(11B), 프론티어급 pro(41B, 공개예정)의 3가지 모델 Mi:dm 2.0 Mini (2.3B): 경량화 모델로, 임베디드 환경과 특수 목적에 최적화 Mi:dm 2.0 Base (11.5B): 대규모 범용 모델, Depth-up Scaling 기법으로 기존 8B 모델을 심층화하여 성능 강화 Base, Mini 모두 32K 토큰 입력 지원 KMMLU, HAERAE 등 한국어 벤치마크에서 최고 수준의 성능을 보이며, 연구/상업적 사용 모두 자유로운 MIT 라이선스로 공개 데이터 구성 및 전략 한국어 고품질 문서 확보에 중점, 맥락성, 가독성, 비유해성 기준으로 문서 선별 합성 데이터(번역, 키워드 기반 교재 생성, Chain-of-Thought 등)를 활용하여 도메인 다양성 확보 커리큘럼 러닝과 도메인 밸런싱으로 훈련 데이터의 불균형 해소 한국어 최적화 토크나이저로 압축 효율과 언어 구조 반영 강화 데이터 분류 체계 언어, 도메인, 데이터 소스, 표현/스타일 등 다차원 분류 체계 적용 6개 주요 도메인(인문, STEM, 응용과학, 건강/식품, 생활/문화, 기타)와 20개 하위 도메인 85.7% 이상을 자연적(organic) 데이터로 구성, 14%는 합성 데이터 품질 관리 파이프라인 8단계 대용량 웹문서 필터링: 중복제거, 휴리스틱, perplexity, 문자 손상/수정, 모델 기반 품질 필터, 유해성 필터, 라인 중복, PII 비식별화 등 각 소스별로 별도 정제 및 규칙 적용(예: 뉴스, 법률문서, 학술논문 등) 합성 데이터 생성 STEM, 경제 등 저커버리지 분야는 고신뢰 오픈소스 데이터를 시드로, 한국어 교재/설명/문제 등 합성하여 데이터 강화 불용(부적격) 웹문서도 핵심 주제만 추출·재작성하여 활용 영어 웹문서의 구조적 다양성을 한국어로 변환·확장하여 장문의 QA·작문 데이터 확보 Chain-of-Thought 데이터로 수학·코드 등 단계별 추론 학습 강화 모델 아키텍처 및 훈련 Transformer 디코더-only 구조 Base: 8B 모델 → Depth-up Scaling(32→48층) → 11.5B로 확장, 고품질 데이터로 2단계 연속 학습 Mini: Base의 지식을 width pruning과 다단계 distillation으로 경량화, 효율적 추론 가능 Long-context 학습으로 최대 32,768 토큰 입력 지원 GQA, SiLU, RoPE 등 최신 기술 반영 사용 후기 및 소개 글들 한국형 AI 모델 : KT 믿음 2.0 사용 후기 KT가 만든 한국어 AI, Midm 2.0 소개 KT 의 한국형 AI 믿음 2.0 을 사용해보다 KT의 믿:음 2.0 소개 페이지 KT의 믿:음 1.0 출시때 홍보자료 - 믿음(Mi:dm), 이성과 감성을 넘어 개성을 표현하다
- 생성일: 2025. 7. 10.
만다라트 보기: /view/4c4ff9cc453a26c6
이 만다라트에 대한 의견이나 토론을 자유롭게 남겨주세요!
만다라트 정보:
- 제목: Mi:dm 2.0 모델의 특징 및 차별점
- 주제: "Mi:dm"은 한국 사회의 언어/문화적 특성을 반영한 상업적 활용이 가능한 오픈소스 모델 고품질 한국어 데이터 선별과 합성 데이터 생성, 커리큘럼 러닝, 한국어 특화된 고유 토크나이저 등 다층적 최적화 전략을 사용 온디바이스용 mini(2.3B), 성능과 효율의 밸런스 base(11B), 프론티어급 pro(41B, 공개예정)의 3가지 모델 Mi:dm 2.0 Mini (2.3B): 경량화 모델로, 임베디드 환경과 특수 목적에 최적화 Mi:dm 2.0 Base (11.5B): 대규모 범용 모델, Depth-up Scaling 기법으로 기존 8B 모델을 심층화하여 성능 강화 Base, Mini 모두 32K 토큰 입력 지원 KMMLU, HAERAE 등 한국어 벤치마크에서 최고 수준의 성능을 보이며, 연구/상업적 사용 모두 자유로운 MIT 라이선스로 공개 데이터 구성 및 전략 한국어 고품질 문서 확보에 중점, 맥락성, 가독성, 비유해성 기준으로 문서 선별 합성 데이터(번역, 키워드 기반 교재 생성, Chain-of-Thought 등)를 활용하여 도메인 다양성 확보 커리큘럼 러닝과 도메인 밸런싱으로 훈련 데이터의 불균형 해소 한국어 최적화 토크나이저로 압축 효율과 언어 구조 반영 강화 데이터 분류 체계 언어, 도메인, 데이터 소스, 표현/스타일 등 다차원 분류 체계 적용 6개 주요 도메인(인문, STEM, 응용과학, 건강/식품, 생활/문화, 기타)와 20개 하위 도메인 85.7% 이상을 자연적(organic) 데이터로 구성, 14%는 합성 데이터 품질 관리 파이프라인 8단계 대용량 웹문서 필터링: 중복제거, 휴리스틱, perplexity, 문자 손상/수정, 모델 기반 품질 필터, 유해성 필터, 라인 중복, PII 비식별화 등 각 소스별로 별도 정제 및 규칙 적용(예: 뉴스, 법률문서, 학술논문 등) 합성 데이터 생성 STEM, 경제 등 저커버리지 분야는 고신뢰 오픈소스 데이터를 시드로, 한국어 교재/설명/문제 등 합성하여 데이터 강화 불용(부적격) 웹문서도 핵심 주제만 추출·재작성하여 활용 영어 웹문서의 구조적 다양성을 한국어로 변환·확장하여 장문의 QA·작문 데이터 확보 Chain-of-Thought 데이터로 수학·코드 등 단계별 추론 학습 강화 모델 아키텍처 및 훈련 Transformer 디코더-only 구조 Base: 8B 모델 → Depth-up Scaling(32→48층) → 11.5B로 확장, 고품질 데이터로 2단계 연속 학습 Mini: Base의 지식을 width pruning과 다단계 distillation으로 경량화, 효율적 추론 가능 Long-context 학습으로 최대 32,768 토큰 입력 지원 GQA, SiLU, RoPE 등 최신 기술 반영 사용 후기 및 소개 글들 한국형 AI 모델 : KT 믿음 2.0 사용 후기 KT가 만든 한국어 AI, Midm 2.0 소개 KT 의 한국형 AI 믿음 2.0 을 사용해보다 KT의 믿:음 2.0 소개 페이지 KT의 믿:음 1.0 출시때 홍보자료 - 믿음(Mi:dm), 이성과 감성을 넘어 개성을 표현하다
- 생성일: 2025. 7. 10.
만다라트 보기: /view/4c4ff9cc453a26c6
이 만다라트에 대한 의견이나 토론을 자유롭게 남겨주세요!
- 이전글01. 잡스가 세상에 충격을 주었던 순간을 모은 동영상 10.02.03
댓글목록
등록된 댓글이 없습니다.