needle cactus-compute

14MB foundation model for tiny devices; phones, wearables, smart home, and robots.

주요 언어
Python
Stars
4,988
Forks
334

태그

  • 라이브러리/SDK
  • 도구 호출
  • 임베디드
  • 로컬 배포
  • 경량 AI 모델

요약

휴대폰·웨어러블·스마트홈·로봇 같은 초소형 기기에서 동작하도록 설계된 45M 파라미터·14MB 단일 바이너리 온디바이스 AI 모델이다. 데코레이터 기반 도구 정의, JSON 스키마 기반 바이트 수준 문법 제약, 신뢰도 점수, 도구 검색, 약 28MB 고정 메모리로 함수 호출과 구조화 데이터 추출을 수행하며, LoRA 파인튜닝과 모델 내보내기 및 브라우저 플레이그라운드도 지원한다. 네트워크 없이 완전 로컬 추론이 가능해 오프라인 기기 내 도구 호출 에이전트에 적합하다.

README

![Needle](assets/banner.png) # Needle 2 Needle 2는 도구 호출, 기기 사용, 구조화된 추출을 위한 오픈 4500만(45M) 파라미터 모델입니다. 전체 모델은 단일 14MB 바이너리이며, 전체 세션을 약 28MB RAM에서 실행합니다. 이 모델은 우리의 Simple Attention Network 연구 결과를 기반으로 Cactus Quants로 CQ2비트까지 압축되어 자체 엔진에 내장되었습니다. 아래 벤치마크에서 Needle 2는 FunctionGemma 270M, LFM2.5 230M, App…

查看完整页面