2024-11-01から1ヶ月間の記事一覧 - 学も衒うし、奇も衒う

2024-11-01から1ヶ月間の記事一覧

Not All Language Model Features Are Linearを読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 とくに断りがない限り,図表は論文より引用. 基本情報 概要 語の定義 基本情報 著者 Joshua Engels and Eric J. Michaud and Isaac Liao and Wes Gurn…

The Shape of Learning: Anisotropy and Intrinsic Dimensions in Transformer-Based Modelsを読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 とくに断りがない限り,図表は論文より引用. 基本情報 概要 known fact 実験方法 結果 基本情報 著者 Anton Razzhigaev and Matvey Mikhalchuk and El…

Intrinsic dimension of data representations in deep neural networksを読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 とくに断りがない限り,図表は論文より引用. 基本情報 概要 提案手法:2近傍法(Two-NN) 実験結果 基本情報 著者 Alessio Ansuini and Alessandro La…

Geometrically Enriched Latent Spacesを読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 とくに断りがない限り,図表は論文より引用. 基本情報 どんなもの? 先行研究と比べてどこがすごい? 技術や手法のキモはどこ? どうやって有効だと示…

Geodesic Clustering in Deep Generative Modelsを読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 とくに断りがない限り,図表は論文より引用. 基本情報 基本情報 次の図はイメージ.自然なデータ多様体からランダムサンプリングした点群を考えると,…

Zipfian Whiteningを読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 とくに断りがない限り,図表は論文より引用. 基本情報 Section1 Section2 Section3 Section4 Section5 Section6&Limitation 付録 感想 基本情報 著者…

言語の固有次元を測る、を読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 とくに断りがない限り,図表は論文より引用. https://www.anlp.jp/proceedings/annual_meeting/2024/pdf_dir/E6-1.pdf 基本情報 どんなもの? 先行研…

Discovering Universal Geometry in Embeddings with ICAを読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 とくに断りがない限り,図表は論文より引用. 基本情報 どんなもの? 先行研究と比べてどこがすごい? 技術や手法のきもはどこ? どうやって有効だと示…

Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problemを読んで

基本情報 どんなもの? 先行研究と比べてどこがすごい? 技術や手法のきもはどこ? どうやって有効だと示した? 議論はある? 個人的なメモ aclanthology.org 本人による解説スライド. www.slideshare.net 基本情報 著者 Sato Ryoma BibTeX @inproceedings{…

Latent Space Oddity : On The Curvature Of Deep Generative Modelsを読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 基本情報 一言で 数学的定式化 基本情報 著者 Georgios Arvanitidis, Lars Kai Hansen, Søren Hauberg URL openreview.net BibTeX @inproceedings{ arv…

Task Arithmetic in the Tangent Space: Improved Editing of Pre-Trained Modelsを読んで

本記事は執筆中ですが,先んじて公開します. 都度編集されますが,ご了承のほどよろしくお願いします。 基本情報 研究背景/前提知識 技術や手法のきもはどこ? どうやって有効だと示した? 次に読むべき論文は? 基本情報 著者 Guillermo Ortiz-Jimenez and…