POPA ReconOpenAI 할라피뇨와 반도체의 다음 전장 source
OpenAI 할라피뇨와 반도체의 다음 전장 source 1. OpenAI가 Broadcom과 공동 개발한 자체 추론칩 Jalapeño의 성능이 공개됨. 토큰 처리량은 NVIDIA Rubin을 상회했고, 성능도 비슷 2. 다만 아직 엔지니어링 샘플과 일부 LLM 추론 워크로드 기준이며, 장문맥, 에이전트, 학습 성능과 양산 안정성은 검증되지 않음 3. 그래도 중요한 이유는 자체칩이 NVIDIA 칩과 비교 가능한 수준 도달했기 때문. 수년간 시행착오를 겪어야 한다는 기존 상식이 무너짐 4. 특히 OpenAI는 Codex를 활용해 Jalapeño용 커널을 생성, 최적화함. AI가 칩을 설계하고, 소프트웨어까지 만드는 통합 개발 체계가 열림 5. 이는 NVIDIA의 CUDA 생태계에 위협적. AI가 새 하드웨어용 커널과 라이브러리를 만들어낸다면, 자체 ASIC이 격차를 급격히 따라잡음 6. 반도체 경쟁 기준도 최고 FLOPS에서 1MW의 전력을 얼마나 많은 토큰으로 바꾸느냐. 전력이 제한된 데이터센터에서는 tokens/$가 중요 7. 물론 NVIDIA는 학습·추론·CUDA를 제공하는 범용 플랫폼이고 Jalapeño는 OpenAI 내부 워크로드에 최적화됨…
The excerpt is quoted from a public Telegram channel, which owns its text.