총 500건 · 필터: AI KIT
맘바의 핵심 혁신은 상태 공간 모델 매개변수를 입력 의존적으로 만드는 **선택적 SSM(S6)** 계층입니다.
'''bash'''
RWKV는 **타임 믹싱**(시퀀스 처리) 블록과 **채널 믹싱**(피처 처리) 블록을 번갈아 가며 사용합니다.
4D 병렬 처리(FSDP2, TP, PP, CP)가 가능한 토치티탄을 사용하여 PyTorch 네이티브 분산 LLM 사전 학습을 제공합니다. Lama 3.1, DeepSeek V3 또는 Float8, torch.compile, 분산 체크포인트 기능을 갖춘 8개에서 512개 이상의 GPU 규모의 커스텀 모델을 사전 학습할 때 사용하세요.
이 문서는 몰페이트로 제공되는 모든 피처라이저를 카테고리별로 정리한 포괄적인 카탈로그를 제공합니다.
LLaVA 모델 훈련 및 미세 조정 가이드.
레일팩은 철도의 기본 제작자입니다. 대부분의 프로젝트에 대해 제로 구성.
QLoRA(양자화된 저랭크 적응)를 사용한 4비트 양자화를 사용하여 대형 언어 모델을 미세 조정하는 전체 가이드.
사용자가 Google 광고, 메타(페이스북/인스타그램), LinkedIn, 트위터/X 또는 기타 광고 플랫폼에서 유료 광고 캠페인에 대한 도움을 원할 때. 사용자가 'PPC', '유료 미디어', '광고 카피', '광고 크리에이티브', 'ROAS', 'CPA', '광고 캠페인', '재타겟팅' 또는 '오디언스 타겟팅'을 언급할 때도 사용하세요 이 스키
추론 및 작업별 모델 훈련을 위한 TRL을 통한 GRPO/RL 미세 조정 전문가 지침
마일즈는 슬라임을 기반으로 구축된 엔터프라이즈급 RL 프레임워크로, 대규모 MoE 훈련을 위한 고급 기능을 추가합니다:
**증상**: 손실 폭발, NaN 값, 보상 붕괴
생산 준비가 완료된 슬라임 포크인 마일을 사용하여 엔터프라이즈급 RL 훈련을 위한 지침을 제공합니다. FP8/INT4를 사용하여 대형 MoE 모델을 훈련하거나, 훈련-추론 정렬이 필요하거나, 최대 처리량을 위해 사변적 RL이 필요할 때 사용하세요.
OpenRLHF에서 RL 알고리즘에 대한 완전한 가이드: PPO, REINFO++, GRPO, RLOO 및 그 변형들.
OpenRLHF에서 맞춤형 보상 기능 및 에이전트 RLHF 구현에 대한 완전한 가이드.
RLHF 훈련 중 활용도를 극대화하기 위한 OpenRLHF의 GPU 리소스 공유 시스템에 대한 전체 가이드.
여러 기계에 걸쳐 OpenRLHF를 사용한 분산 레이 클러스터 훈련에 대한 완전한 가이드.
Ray+vLLM 가속을 갖춘 고성능 RLHF 프레임워크. 대형 모델(7B-70B+)의 PPO, GRPO, RLOO, DPO 훈련에 사용하세요. Ray, vLLM, ZeRO-3를 기반으로 구축되었습니다. 분산 아키텍처와 GPU 리소스 공유를 통해 DeepSpeedChat보다 2배 빠릅니다.
SimPO 교육을 위한 선호도 데이터셋에 대한 완전한 가이드.
심에 대한 완전한 가이드PO 하이퍼파라미터 선택 및 조정.