CapitalEDGE 소개

Newsletter

WeeklyEDGE InsighEDGE

Publishing

미니멀리스트 창업가

💻

Session: Semiconductor (2)

Intro

The Economics of Generative AI

The Semi layer makes ~90% of all Gen AI profits today! Where does future value accrue and how do we get there?

Parallelization

Cerebras

세계에서 가장 빠른 AI 칩 나왔다…"트랜지스터만 4조개"

[디지털투데이 AI리포터] 미국 실리콘 밸리 스타트업 셀레브라스 시스템즈(Cerebras Systems)가 세계에서 가장 빠른 AI칩이라고 소개한 '웨이퍼 스케일 엔진3'(Wafer Scale Engine 3, 이하 WSE-3)를 공개했다고 지난 16일(현지시간) 테크레이더가 전했다.WSE-3는 TSMC의 5나노미터 공정에서 제작됐으며 44GB의 온칩 SRAM(On-Chip SRAM)을 포함한다. 여기에는 4조 개의 트랜지스터와 90만개의 AI 최적 컴퓨팅 코어를 갖추고 있는 것으로 알려졌다. 이는 엔비디아의 H100 GPU에 해당

Cerebras는 크기가 매우 큰 반도체 칩, 특히 Wafer Scale Engine (WSE)을 개발하였습니다. 일반적인 반도체 칩이 수백 또는 수천 개의 작은 칩으로 구성된 웨이퍼에서 제조되는 반면, Cerebras의 WSE는 하나의 웨이퍼 전체를 단일 칩으로 사용합니다. 이로 인해 수십억 개의 트랜지스터와 수백만 개의 처리 코어를 하나의 칩에 통합할 수 있어, 대규모 병렬 처리가 가능합니다.

Cerebras의 이러한 기술은 특히 인공지능(AI)과 머신러닝 분야에서 주목받고 있습니다. AI 모델은 많은 경우 막대한 양의 데이터를 처리해야 하며, Cerebras의 칩은 이러한 데이터를 훨씬 빠른 속도로 처리할 수 있게 해줍니다. 이는 기존의 GPU나 CPU를 사용하는 전통적인 방식에 비해 훨씬 더 효율적이고 강력한 병렬 처리 능력을 제공합니다.

Specialization

Groq

'포스트 엔비디아'로 떠오르는 美 AI스타트업은 이곳[포카Chip]

인공지능(AI) 반도체가 글로벌 산업계의 핵심으로 떠오른 가운데 AI 유니콘에 대한 관심 역시 늘어나고 있습니다. 이 중에서도 제2의 엔비디아, 젠슨 황으로 꼽히는 기업·인물을 엄선해 알기 쉬운 정보로 전해드립니다.

Groq은 TSP (Tensor Streaming Processor) 아키텍처를 기반으로 하는 칩을 개발하였습니다. 이 아키텍처는 특히 머신러닝 작업에 최적화되어 있으며, 대규모 데이터 세트와 복잡한 계산을 매우 빠르고 효율적으로 처리할 수 있습니다.

Groq의 칩 디자인은 일반적인 CPU나 GPU와는 다른 접근 방식을 사용합니다. 이 회사의 프로세서는 명령어 스트림을 통해 데이터를 처리하는 대신, 데이터를 스트리밍하면서 동시에 여러 연산을 수행할 수 있는 구조를 갖추고 있습니다. 이로 인해 데이터 병목 현상을 최소화하고, 연산 속도를 극대화합니다.

In-Memory Computing

EnCharge AI

EnCharge AI launches with $21.7M Series A to enable Edge AI at scale | EnCharge AI

EnCharge AI raises $21.7M in Series A for cutting-edge AI at the Edge. Achieve over 150 TOPS/W with our charge-based computing. Revolutionize AI applications today!

반도체에서의 인-메모리 컴퓨팅(In-Memory Computing)은 데이터 처리와 저장을 동일한 장치에서 수행하여 데이터 전송 시간과 에너지 소비를 줄이는 기술입니다. 전통적인 컴퓨팅 시스템에서는 CPU가 메모리에서 데이터를 읽어 처리하고 다시 메모리에 저장하는 과정이 필요합니다. 이 과정에서 데이터 이동으로 인한 지연 시간과 에너지 소비가 발생합니다. 인-메모리 컴퓨팅은 이러한 데이터 이동을 최소화하여 처리 속도를 향상시키고 에너지 효율을 개선합니다.

EnChargeAI는 이 분야에서 혁신적인 접근법을 취하고 있는 기업 중 하나입니다. EnChargeAI는 특히 인공 지능(AI) 애플리케이션을 위한 인-메모리 컴퓨팅 솔루션을 개발하고 있습니다. 이 회사의 기술은 데이터를 메모리 내에서 직접 처리함으로써 AI 모델의 학습과 추론 속도를 크게 향상시킬 수 있습니다.

EnCharge’s approach aims to decentralize AI by bringing those next-gen applications to personal mobile devices like PCs and smartphones. Reducing reliance on datacenters for AI applications can lower costs, lower energy intensity and related strain on power grids, and address hardware supply chain issues, while also improving user experience with improved security and increased processing speeds. In December, EnCharge expanded its leadership team and closed an additional $22.6M in financing from VentureTech Alliance (the VC arm of TSMC), RTX Ventures (formerly known as Raytheon), and ACVC Partners, bringing total funding to ~$68M of total capital, including ~$23M of nondilutive funding to support its full-stack AI chipset.

EnCharge’s in-memory-computing based AI processor offers a major advantage in energy efficiency and performance. Its solution achieves 20 times greater efficiency compared to current leading solutions from companies like NVIDIA, Qualcomm, and Intel, with 150 TOPS/watt of efficiency for AI inference, significantly outperforming the industry standard of 5-10 TOPS/watt.

The “secret sauce” behind EnCharge’s technology is built on charge-based analog in-memory computing innovations, developed over six years of extensive research at Princeton University. This approach bypasses the limitations of traditional current-based analog computing approaches pursued by other companies by using stable, geometry-based capacitors integrated within standard CMOS technology for AI-centric computing operations. Building on this exclusive innovation, EnCharge has developed the necessary architecture and software to create a fully programmable solution that can deliver best-in-class performance across AI models and functions, from large language models to computer vision.

RAAAM Memory

RAAAM Memory Secures $4M Seed for On-Chip Memory

RAAAM Memory raised $4 million from Serpentine Ventures, J-Ventures, HackCapital, Silicon Catalyst Angels, and Claves Investments.

RAAAM Memory Technologies는 표준 CMOS 기술에서 사용할 수 있는 가장 고밀도의 온칩 메모리를 제공하는 기업입니다. 이 회사의 기술은 기존의 고밀도 SRAM에 비해 최대 50%의 면적 감소와 최대 10배의 전력 절감을 가능하게 합니다. RAAAM의 기술은 AR/VR, 머신러닝, 사물인터넷(IoT), 자동차 등의 산업에서 메모리 병목 현상을 해결하여 시스템 성능을 획기적으로 개선할 수 있도록 돕습니다. 이 기술은 표준 CMOS와 완전히 호환되며, 어떤 SoC에서도 SRAM의 대체재로 사용할 수 있습니다.

Analog

Extropic

Extropic Announces $14.1 Million Seed Round, Building ‘Entropy Computer’ For Generative AI

Extropic Announces $14.1 Million Seed Round, Building 'Entropy Computer' For Generative AI

Extropic closed Series Seed funding round, raising a total of $14.1 million. The round was led by Steve Jang of Kindred Ventures.

Extropic은 인공지능(AI) 응용 프로그램을 가속화하기 위해 고급 반도체 기술을 개발하는 회사로, 최근에 스텔스 모드에서 벗어나 새로운 기술을 선보였습니다. 이 회사는 물리 기반 컴퓨팅, 특히 초전도 프로세서를 사용하여 AI 성능을 크게 향상시키는 데 중점을 두고 있습니다.

Extropic의 혁신적인 기술은 열역학 컴퓨팅과 에너지 기반 모델(EBMs)을 활용하여 AI의 성능을 개선합니다. 이들의 초전도 칩은 저온에서 작동하며, 조셉슨 효과를 이용하여 비가우시안 확률 분포에 접근할 수 있습니다. 이 기술은 매우 에너지 효율적이며, 주로 정부나 대기업과 같은 고가치 저볼륨 고객을 대상으로 합니다.

회사의 접근 방식은 세포 내 화학 반응 네트워크의 본질적인 무작위성과 이산적 상호작용에서 번성하는 생물학적 시스템의 효율성에서 영감을 받았습니다. 이 방법은 하드웨어 스케일링을 전통적인 디지털 컴퓨팅의 제약을 넘어 확장시키며, 현재의 디지털 프로세서(CPU, GPU, TPU, FPGA)보다 수십 배 빠르고 에너지 효율적인 AI 가속기를 제공할 가능성을 약속합니다.

Semron

German Startup Semron Introduces Low-Cost, 3D-Scaled Chips for AI on Mobile Devices

Semron, a German startup founded by Dresden University alumni, pioneers 3D-scaled AI chips using memcapacitors, promising energy-efficient, cost-effective AI on mobile devices.

Semron은 혁신적인 반도체 스타트업으로, 3D AI 칩 기술을 개발하여 스마트 기기용 반도체를 혁신하고자 합니다. 이 회사는 전기장을 사용하여 계산을 수행하는 '메모캐퍼시터(Memcapacitor)'라는 독특한 칩을 개발하고 있습니다. 이 기술은 전자 대신 전기장을 이용하여 계산을 수행함으로써 에너지 효율을 대폭 향상시킬 수 있습니다.

Semron의 기술은 현재의 트랜지스터 기반 컴퓨팅 패러다임을 깨고 비용과 에너지 소모를 크게 줄일 수 있습니다. 이 회사의 칩은 AI 모델을 처리하는 데 필요한 계산 자원을 혁신적으로 확장하여 한 칩에 수백 개의 계산 레이어를 추가할 수 있는 능력을 갖추고 있습니다. 이는 AI 처리에 필요한 에너지 효율을 혁신적으로 개선할 가능성을 보여줍니다.