はてなブックマーク

はじめに Xの投稿にて、GroqのLLM Inferenceが超絶速いというのが流れてきます。 groq.com にアクセスすると、 Mixtral 8x7B-32K LIama 2 70B-4k が動きます。デフォルトは、Mixtral 8x7B-32K のようです。 とりあえず、質問してみました。 GroqのTSPがLLM推論で速い理由を2000文字程度で説明してください。 458.03 T/s 回答 Groq's Tensor Streaming Processor (TSP) is designed to accelerate machine learning workloads, including large language models (LLMs) like me, by providing a highly parallel and specialized archit

はじめに 昨日、お昼に、大宮公園の梅園にて、梅を見ながら、南インド料理を堪能しているときに、Xの投稿した下記の内容が久しぶりに盛り上がったので記録として残します。 1989年からお仕事で 半導体開発やってきて 35年経ちますが 今が一番盛り上がっている気がする が、 日本国内で半導体開発をやろうとすると論理設計者が居ない マジ居ない— Vengineer＠ (@Vengineer) 2024年2月17日 このブログを書いている時に、9.4万ぐらいでした。 補助金戦争 これを知ったのは、とあるYoutube(ReHacQ)で竹中平蔵氏がダボス会議にて、サマーズ氏からこれからは補助金戦争だ！と聞いた、というものです。 米国のCHIPS法に始まった大規模な半導体製造に対する補助金。金額は数千億円から数兆円レベル。。 その中で日本でも半導体関連に対して国が補助金を出しています。 AIバブルから生成

はじめに Windows 11がリリースされたのが 2021年10月5日。その前のWindows 10がリリースされたのが 2015年7月29日。Windows 10 => Windows 11 で約6年。 Windows 12が出るという話(2024年6月)になっていますが、まだ3年も経っていません。 Windows 12 のハードウェアに必要なスペックは？ Windows 12でのハードウェア側の最低限のスペックとして、 メモリは、16GB NPUの性能は、40 TOPS となっているようです。 下記のPC Watchの記事の中に、現在のPCのNPU単体性能が載っています。 pc.watch.impress.co.jp Intel Core Ultra (Meteor Lake) : 11 TOPS、NPU+CPU+GPU = 34TOPS AMD Ryzen 7040 : 10TOP

はじめに このブログで5月に書いた以下の内容についての更新。 vengineer.hatenablog.com いつものように、AMD/Xilinx の github を散歩していたら、mlir-aie の説明の中に Ryzen AI でも FPGA(Versal) の AI Engine が使えるっぽいです。 詳細は、ここ にUbuntu で使えるということが書いてあります。 また、Windows の WSL Ubuntu でも使えるようです。 Windows + Ryzen AI の使い方 このドキュメントによると、 MLIR-AIE tools: WSL Ubuntu 22.04 にあるように、Windows の WSL Ubuntu 22.04 で MLIR-AIE をビルドします。 また、Microsoft Visual Studio 17 2022 Community Edit

はじめに このブログで7月10日、下記のように、「LLMで勝負するには、1000億円必要か？」と書きました。 vengineer.hatenablog.com また、昨日のブログで、MosaicMLがDatabricksに$1.3Bで買収されたということも書きました。 Google、AWS、Microsoftの投資額 Google : Anthropic に最大$2B投資 (2023.10.28) AWS : 最大$4B (2023.09.25) Microsoft : OpenAI $1B (2019 => 複数年で $10B) この他では、 Intel : Stability AI (4000 Gaudi2) Apple : アップル、“Apple GPT”開発に年間数十億ドルものAIサーバーを購入予定か (2023.1024) 2023年には約6億2000万ドル、2024年には47億

はじめに Raspberry Pi 5 にはメインとなるSoCである BCM2712 の他に I/O chip である RP1 なるものも載っています。 今回は、RP1 について調べてみました。 RP1 arch/arm/boot/dts/rp1.dtsi の中を覗いてみたら、下記のような機能が入っていました。 raspberrypi,rp1-clocks pl011-axi : rp1_uart0, 1, 2, 3, 4, 5 snps,dw-apb-ssi" : rp1_spi0, 1, 2, 3, 4(target/slave), 5, (6), 7, 8 snps,designware-i2c : rp1_i2c0, 1, 2, 3, 4, 5, 6 raspberrypi,rp1-pwm : rp1_pwm0, 1 snps,designware-i2s : rp1_i2s0,

はじめに Raspberry Pi 5 については、今週の日曜部のブログに書きました。 vengineer.hatenablog.com その後も継続して Raspberry Pi 5 に関して、色々と調べています。ソースは、Raspberry Pi 用の linux kernel です。 今回は、PSCI についてです。 PSCI とは？ PSCI はARMが定義した省エネインターフェースです。 64ビットLinuxでは、PSCIをDevice Tree Sourceファイル内のCPUノードのenable-methodパラメータに設定するものとしています。 Raspberry Pi 4 では、arch/arm/boot/dts/bcm2711.dtsi に cpu のところを見てみると、enable-method = "spin-table" でした。 cpu0: cpu@0 { dev

はじめに XのTLに、Occamyが上がってきたという投稿が流れてきました。下記の投稿を説明のために引用します。 Live from PULP, you are witnessing the unboxing of Occamy by @LucaBeniniZhFe. Our 432-core Multi-TFLOPs RISC-V-Based 2.5D Chiplet System for Ultra-Efficient (Mini-)Floating-Point Computation came back from assembly at Fraunhofer IZM https://t.co/GMps7YYIcB! More news coming soon. pic.twitter.com/yu01QN7v0q— PULP Platform (@pulp_platform) 202

はじめに XのTLに流れてきた、Tier IVの Kato -san の投稿 当時の仲間たちとチームを再結成し、新しく開発したチップがこちらです。試作ですが、これから5年間かけて量産していきます。https://t.co/gXvrEh0n5R https://t.co/fM3Wx8cr50 pic.twitter.com/wDKuTdOPEH— Shinpei KATO (加藤真平) (@ShinpeiKato) 2023年8月16日 の Real-Time Many-Core Processors 部分 について、掘ってみました。 Google君に聞いてみる "Tier IV Real-Time Many-Core Processor" にて検索してみて、見つけたのが下記のスライド Advanced Operating Systems #8 2019年11月なので、約4年前のスライドです

はじめに なんだか、半導体がブームですが、個人で半導体を作るのにはそれなりの壁があります。 HDLにて回路を記述して、シミュレーションして動くようになったら、FPGAに実装して動くことを確認することができます。 しかし、俺様半導体、そう、自分だけの半導体を作るにはそれなりのお金が必要です。 そのお金が無償というのが、Google、GlobalFoundries、SkyWater Technology、Efabless のOpenPWMです。 developers.google.com OpenMPW OpenMPW では、オープンなPDKとOpenLaneを使って、GDSを作成します。このGDSからGlobalFoundries 180nmまたはSkyWater Technologyの130nmで俺様半導体を作るわけです。 GDSから俺様半導体と俺様半導体が載った子ボードを作ってくれる仲介

はじめに 学習用AIチップをTSMC 7nmで開発するには、100億円必要だよね。とお話したのが2017年頃 TensorFlow XLAの可能性, Deep Learning Acceleration 勉強会(2017.09.03 TensorFlow XLA とハードウェア, 2017年9月30日(土)のChainer Meetup #6 ざっと、6年前。この頃はまだ 7nm でチップが出てきてない時です。 その後、AI Cloud学習用スタートアップが何社立ち上がります。AI Cloud学習用スタットアップでは、7nmではなく、16nmで最初のチップ(Graphcore、Cerebras)を開発していきます。その後、チップが出来上がり、システムとして組み上げ、量産し、販売するまでに200-300億円ぐらい必要になることがわかりました。 TSMC 7nmを使って、NVIDIAのA100

はじめに 昨年の9月に vengineer.hatenablog.com というブログを書きました。 SambaNova Systems, Graphcore, Cerebras Ssytems は、TSMC 7nmで半導体を開発していて、次は 5nm/4nm ではなく、3nm に移行するか？という点を考えました。 ( GroqとTenstorrentは、TSMCではなく、Global Foundries の 12nm/14nm) この時点ではまだChatGPTが出ていなかったです。 AIバブルが生成AIバブルへ ChatGPTが出て、期待以上の成果が出ているということで、世界中が生成AIにフルベットするような流れになりました。 その為、NVIDIAのGPU (A100, H100) への需要が高まり、オーダーしてもいつ納品されるかもわからない状況のようです。 下記のツイートでは、Clou

はじめに 今週の「半導体チップ雑談」では、GPUの電源についてお話しました。 来週日曜日の11:00-12:00に半導体チップに関する雑談をやっています 来週日曜日(3/19) GPU Boardの電源回路 についてです。 Google Meetの会議コードはhttps://t.co/lisN6firt9 です— Vengineer＠ (@Vengineer) 2023年3月12日 上記のツイートのスレッドに貼った、下記の記事をベースにGPUの電源がどうなっているのかを説明しました。 www.igorslab.de この記事のPage.3の下図が非常にわかりやすいと思います。説明のために引用します。 Driver MOSFETが3個(High側に1個、Low側に2個)、Driver MOSFETのGateにPWM ControllerからのPhase信号が来ます。入力の12VをこのDriv

はじめに 調べ物をしていたら、AMDのGPUボードにはUSB Type-C Portが付いているに気が付きました。 今回は、AMDのGPUのUSB Type-C Portについて、調べてみました。 AMD GPUのUSB Type-C Port 2019年のRadeon Pro W5700シリーズから付いているようです。 そこで広報に仕様を確認してみたところ、なんとGPU自体にUSBコントローラの機能が内蔵されており、それを使用していることが明らかになった。 pc.watch.impress.co.jp この記事によると、NVIDIAのGeForceにも付いていると。 Radeon RX 6800 XT/6800については、下記の記事に書いてありました。 Radeon RX 6000シリーズのUSB Type-CはGPU側にUSBコントローラーを内蔵しているため、普通のUSBポートとしても

@Vengineerの戯言 : Twitter SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった はじめに 2019年4月24日にツイートしたこれ。このツイートがきっかけで下記のブログ => Design Solution Forum 2019 での講演に繋がりました。 vengineer.hatenablog.com 8月7日から9日まで限定公開 Design Solution Forum 2019 での講演資料を 8月7日から9日まで限定公開しています。 40年間エンジニアをやるために、真剣に考える7つのこと のスライドを この週末公開します。 1)、技術 2)、コミュニティ 3)、伝える 4)、時間 5)、お金 6)、お仕事 7)、ライフスタイルhttps://t.co/lgbHQTzilH— Vengineer＠ (@Vengineer

はじめに Twitterを眺めていたら、Tier IVがアクセルと共同開発していたチップが上げってきた模様です。 説明のために各ツイートを引用します。 弊社、プロセッサも作ってます。アクセルさんと共同開発中。テープアウトも済んでチップあがってきた。 https://t.co/jXihnwwa9h— Shinpei KATO (加藤真平) (@ShinpeiKato) 2022年9月8日 Tier IV が開発しているチップとは？ ちょっと気になったので調べてみました。 HORNETといアーキテクチャのものを作っている。 ティアフォーさんでは，HORNET という RISC-V ベースの自動運転向けアクセラレータ（SIMT プロセッサ）の話があります． pic.twitter.com/dtu4UD59gx— R. Shioya (@r_shioya) 2021年9月27日 Tier IV で

@Vengineerの戯言 : Twitter SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった はじめに、 今日のブログは、今週、Apple M1 (Mac mini)で native な Linux (Ubuntu) が動くようになったという下記のサイトの情報からgithubに公開されたLinuxのソースコードを追っていくという作業やっていきます。 www.omgubuntu.co.uk Apple M1 で native な Linux (Ubuntu)は、どんな感じなのか？ このツイートによると、USB経由で full Ubuntu desktop で立ち上がり、USB dongle でネットワークが動きます。USB、I2C、DART (DARTってなんだろう)が動くようです。 Linux is now completely usabl

@Vengineerの戯言 : Twitter SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった はじめに 昨日のブログ、「Apple M1でLinuxがnativeに動くようになってきた眺めてみた」では、Apple M1 で Linux が native で動くようになったのをソースコードを眺めてみました。ポイントとなる2点、1)、CPU の enable_methodと2)、割り込みコントローラ(AIC)、について深堀しました。P.S として、macOS (iOS/iPadOS)では、Page sizeが16KBだったので、Linuxではどのようになっているかを調べてみたら、iommu では Page size が 16KB になっているのを確認できました。このことにより、Apple M1 で Linux がまともに動くようになったら、In

@Vengineerの戯言 : Twitter SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった はじめに このブログで RISV-V を取り上げたのは 2014年8月20日のこちら vengineer.hatenablog.com この時のブログでは、「ARMがCPUの世界の主流になろうとしている」と書いている。 ARMはこの後、SoftBankに買収され、それをNVIDIAに転売した。 6年半の歳月が流れ、やっと、RasPiに対抗できそうなRISC-Vボードが「BeagleV」が出ます。 Beagle Boardは、ガジェット用ボードとして、一時期ブームになりましたが、 その後、RasPiに持っていかれてしまいました。 BeagleV BeagleV は、StarFiveのSoC(StarFive JH7100)を搭載したボード。 公式サイ

@Vengineerの戯言 : Twitter SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった このツイートで知りました。 くら寿司のCoral Edge TPU事例が出ました!!全国数百店舗で大規模に運用、お皿の画像認識部分でEdge TPUを使っています。僕も微力ながら記事化に協力させていただきました〜https://t.co/BITHt8tYkc pic.twitter.com/dlY94tpOx6 — Hayato Y (@hayatoy82) 2020年10月29日 こちらのツイート 5月23日)では、既に店舗での導入されていたっぽい。 くら寿司の席の注文用端末、いつの間にかiPadからラズパイ4(Raspberry Pi 4)になってるみたい。(USB3.0の色的に)#くら寿司 pic.twitter.com/2eDjCPP7YN

@Vengineerの戯言 : Twitter SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった 昨日のDesign Solution Forumでは、 「40年間エンジニアをやるために、真剣に考える7つのこと」 ということで、次の7つのことについてお話しました。 1)、技術 2)、コミュニティ 3)、伝える 4)、時間 5)、お金 6)、お仕事 7)、ライフスタイル 発表資料(プレゼンテーション資料)は公開しませんが、このプレゼンテーション資料を作るためのメモ(Google Document)は下記のURLで公開しています。 docs.google.com この資料の公開期間は、どのくらいかは決めていませんが、1週間ぐらいは公開しておきたいと思います。=> 今は、非公開にしています。 みなさんのエンジニア人生に、何らかのヒントを得ていただけれ