- Jev는 자연어 입력을 받아 타입이 정해진 여러 판단을 확률과 함께 빠르게 계산해서 프로그램의 의사결정에 사용할 수 있도록 하는 모델이다.
- unstructured state in → typed probabilistic decisions out
- 일반적인 LLM은 문자열을 생성하기 때문에 앞 글자를 알아야 그 다음 글자를 생성할 수 있다. Jev는 문자열을 생성하지 않기 때문에 구조화된 입력을 병렬적으로 생성할 수 있다.
- RLCD(Reinforcement Learning from Compiler Diagnostics): 모델이 만든 결과가 요구한 타입과 맞는지를 확인하고 보상을 줌으로써 강화학습
- 결국 출력 결과가 명확하게 정의된 판단 문제를 기존 LLM보다 빠르고 저렴하게 처리하기 위해서 만들어진 모델
- 예를 들어서 Next.js 아티클중에 How we closed 1,500 GitHub issues in one month에서 해당 이슈를 닫아도 되는지에 대해서 구조화된 입력으로 합/불여부를 판단하는 에이전트가 있고, 또 닫으면 안되는 이유를 찾아서 합/불여부를 판단하는 에이전트가 있어서, 그 둘이 같은 응답을 낼때만 자동으로 닫는다고 했는데, 여기서 Jev가 효과적으로 사용될 수 있을듯
- Jev의 진짜 가치는 “LLM을 대체하는 것”이 아니라, AI를 기존 소프트웨어의 if문처럼 아주 많이 사용할 수 있게 만드는 것이 아닌가
typesafe.aiIntroducing System One Models & Jev - TypeSafe AI BlogTypeSafe AI is an AI lab building machine-native intelligence infrastructure for automation, designed to make decisions within software. Try our first System One Model, Jev, in early access.nextjs.orgHow we closed 1,500 GitHub issues in one monthHow the Next.js team used an agent to research old reports and work through the issue backlog.