LLM自作入門を読んだので章ごとにメモ。

1章

知っている内容なのでさっと流した。

2章

そもそもエンコーダーとしての出力は次トークンのみの確率分布だと思っていたので入力と同じ長さなのは知らなかった。考えてみればそうか。
相対位置埋め込みの方がよさそうに見えるがgpt-2の頃だとおそらくBERT的な世界観に近くてある程度以下の入力しか想定していないとしたら確かにそちらの方が安定しそうでによさそう。今のLLMは相対位置埋め込みが主流っぽい。

3章

Multi-head Attentionについて数式は追ったことはあったが実際に実装してみるとやっぱり実感を持って理解というか把握できるのでよいなと思った。
Attentionの発想自体は納得感があるがQ,K,Vにわけてコンテキストベクトルを得るみたいな流れは感覚的に必然感に欠けるというか普通にもっとよいアーキテクチャが存在するのではという気持ちになる。が実際そうだとしても現状うまくいっているしあえてリスクをとって冒険するほどでもないということなのかも。

4章

ざっと流した。せっかくなのであとで自分で手を動かしたい。

5章

そういえばデコード戦略についてはtemperture, top-k, top-pなどあれど基本的には貪欲法だと認識しているがビームサーチなどの方が直感的によさそうかもとは思った。ただそのためには学習のやりも変えないといけないだろうしわざわざやるほどでもないのか。
ちゃんと4章で作成したモデルに既存の重みを読み込めば動くというのはすごい。

6章

出力層を分類層に置き換えるだけで基本的な機械学習の話だったので流した。6.1の練習でこのレベルのモデルだとパディングを広げると予測性能が大分落ちるというのはへーと思った。

7章

システムプロンプトはチューニング時のプロンプトスタイルによるものだったのだなと納得した。ただシステムプロンプトという概念が定着した理由は気になる。
思っていたよりもインストラクションチューニングが軽い割に効果が大きくて驚いた。もっと大規模にやる必要があるものだと思っていたので。
読んだだけだが手を動かすという意味では7-3練習のAlpacaのファインチューニングと7-4練習のLoRAによるファインチューニングは課題としてちょうどよさそうなので手元のGPUでいつか試してみたい。

ショッピングモールでワイモバイルへの乗り換えの勧誘を受けてそのままその場で乗り換えた。
ちなみに前回は1年半ほど前に楽天からUQへの乗り換えでPixel6aを1円、返却なしで手に入れた。

キャッシュバックとしては計64000円で内訳は

• 今の番号のMNPで24000円
• 2回線目の新規契約20000円
• 上記2回線のお互いの紹介ボーナスで5000円x2
• ソフトバンク系の電気に乗り換えで10000円

追加費用が

• 事務手数料3850円x2
• 2回線目の半年分の月額が約2000x6
• 7月分の重複利用料約2000円

で利益はだいたい40000円くらい。
今の番号のMNPについては現場の裁量で本来20000円のところ+4000円してもらった。

2回線目を新規契約して1回線目との紹介料を2重取りするとか、2回線目の解約は半年後が安全とか、2回線目の使用者は自分と名前を変えた方がよいとか一見危うそうにみえるところまで完全にマニュアル化されていて感動した。

手続きについてはかなり手厚くて何も考えずにことが進み勝手に終わっていた
同じショッピングモール内のすぐ近くにUQのキャンペーンもやっておりその場でワイモバイルのスタッフに連れられMNP番号の発行まで同行までしてくれたりする。
ここのスタッフは通じているらしくて半年ごとにUQとワイモバイルを往復する人が多くいるのだとか。

また初月で解約すべきオプションについても手厚くて当日はシステムの都合上できないので後日またくれば解約手続きもやってもらえるっぽい。これは自分で対応したが。

以前クレカではこの手の勧誘で失敗したこともあって話を聞きはじめたところでは半信半疑だったが、条件も悪くない気がするしここまでを自分で考えて実行までやるのは相当面倒なので今後もこういう機会は積極的に利用してもよいなと思った。

「新版 お金持ちになれる黄金の羽根の拾い方」を読んだ。

読んだ理由

フリーランスの手取り的なことを調べているうちに中学生のころくらいになぜか読んだこの本をふと思い出してKindle Unlimitedで無料だったこともあり。

雑記

本書の基本的なスタンスは、「社会の仕組みを理解し、経済合理的に人生を設計してキャッシュフローを最大化すべし」というもの。 その自己啓発的な側面と、具体的な事例として賃貸 vs 持ち家論やマイクロ法人による節税が詳細に解説される。

マイクロ法人の細かいところは軽く読み飛ばした。 多分参考になるのは法人成りを検討するフリーランスが主で内容としてはかなりニッチだと思う。 にもかかわらず本書がこれほど売れたというのはやはり自己啓発的な部分、そして著者の露悪的な雰囲気も含めた文章の面白さが大きいだろう。 実際に自分も年金やら税金やら税務署やらの話の中で国の構造的な問題というのを改めて痛感した。

「長期投資が成功するとは限らない」ということばなど節々に時代を感じた。 今の時代の当たり前も一歩引いて考える必要はあるだろうと感じた。

「ナヴァル・ラヴィカント」を読んだ。

読んだ理由

Xで見かけて、無料だったので何となく。

雑記

本人のことは知らなかった。 シリコンバレーのスタートアップ界隈の有名人らしい。

彼のXでの発言などをもとにした自己啓発本という感じ。 「金儲けのために書かれた本は信用できない」という彼の信条から日本語版もPDFで無料公開されている。 シリコンバレー最重要思想家ナヴァル・ラヴィカント

中身は独立しろ、熱中しろ、読書しろ、食事に気を遣え、瞑想しろって話で新鮮味はない。 ただこの手の本としては珍しくかなり共感できる内容だった。

あと最後のブックリストはよかった。 いくつか読みたいリストに入れた。

最近iPadを買ったこともあり久しぶりに電子書籍で本を読んだけどこういう感想を書くのにパラパラ見直すというのがやり辛くてやっぱり不便に感じてしまう。

それとこの本の影響で最近サボってた瞑想を久しぶりにやったのだが意識が3呼吸も持たなくてだいぶ下手になってしまってた。 こういうのってスポーツとかと同じ類の技術だよなと改めて感じた。

アニメ「チ。―地球の運動について―」をみた

説教パートが退屈で評価の割に正直あんまりかなという印象。

チにまつわる地動説周り時代考証的なところは以下のブログ記事が詳しい。 かなり長文の記事だが面白かった。
「チ。―地球の運動について―」感想。〜歪で不誠実で不愉快なこの傑作漫画について〜

天動説と地動説の対立を宗教と科学という対立とみなす通俗的誤解をあえて踏襲することによってエンタメ化しているというのが肝っぽい。 この記事を読んで改めて過度に単純化された科学の描き方が個人的にあまりノリきれなかった理由かなとも思った。

記事では地動説に対する弾圧は史実では限定的だったという指摘があるが、作中でノヴァクが使えていた教皇のみが地動説に対して強硬的な姿勢であったという描かれ方は、そのツッコミに対する作者なりのアンサーだったのかもしれないとは思った。

あと個人的には歴史を繋ぐというテーマにしては1章から2章以外はその必要性が薄いなと感じられてしまった。

2章で伝記の部分を未来に託す地動説という概念が既に存在し、観測記録や理論の核心こそが最も重要であるはずなのに、なぜ伝記の継承がそれほど決定的な意味を持つのか、正直よくわからなかった。
これは、オクジーに物語上の役割を持たせるための展開だったのかもしれないが。 地動説という「知」そのものが、個人の物語とは独立して、あるいはそれ以上に重要なはずなのに、個人の物語に回収されてしまうような描き方には少し疑問。

エピローグ？も結局すれ違いざま聞く「地球の運動について」という言葉だけが後の地動説の繋ぎになっていたわけで。

ラファウの再登場も必要性をあまり感じなかったがこれは自分が気づけてない要素があるのかも。 とはいえこういうのは意味がなくとも物議をかもせた時点で勝ちなのかもしれないが。

「22世紀の民主主義」を読んだ。

読んだ理由

Pluralityをじっくり読む前に軽く読めそうなこれをサクッと目を通しておこうかなという感じ。 22世紀の資本主義も読んだことだし。
新しいジャンルに手を出すときには初手に過激寄りの本をキメておくことでその個人的な賛否に寄らずその後が捗るという経験則。

雑記

個人的な今の政治に対する問題意識は、間接民主主義によって解像度の低い意思決定しかできないこと、老人が多数派なせいで政治が近視眼的になりがちなことだと考えてたがここは本書でも同様のものを共有している。
実際にコロナ禍において民市主義国家ほど死者が多くGDP成長率も低かったというデータは知らなかった。

その対策として既に挙げられているのが政策ごとの

• 液体民主主義
• 分人民主主義
• 二次投票

などなわけだがそもそも個人が政策ごとに投票をするというは意思決定のコストが高すぎるという問題がある。

この処方箋として

1. データによる価値判断: 各論点・イシューごとに価値判断の基準や目的関数を民意データから算出

2. データによる政策立案: 価値判断・目的関数に従って最適な政策的意思決定を行う

からなる「無意識民主主義」が本書の趣旨となる提案。

実際に技術的に可能か？今の民主主義から導入が可能か？というとウーンとなるが22世紀、おそらくASI達成後の未来ではワンチャンありうる話なのだろうか？

「オンラインデートで学ぶ経済学」を読んだ。

読んだ理由

最近マッチングアプリの推薦システムに興味がありその中で見たタップルの動画で紹介されいたので。
経済学の知見を活かしたユーザに行動変容を促す仕掛け - タップルでの共同研究プロジェクトを例として【CADC2023】

感想

経済学の知識を生かしてマッチングアプリや恋愛において新たな知見を得るというような方向性を期待していたが解説にもあるように「オンラインデートを題材として経済学の考え方を丁寧に解説している」本であまり得るものはなかった。

「ウォーリー」をみた。

全編を通して2001年宇宙の旅のオマージュを強く感じる。
オートのビジュアルは明らかにHALだし。

特に印象的なのは船長が暴走したオートを停止するために立ち上がるシーン。
そこでは「2001年宇宙の旅」の冒頭、類人猿が道具を使い始め直立歩行を行う人類へと進化するシーンで流れる「ツァラトゥストラはかく語りき」が使われている。
人類が発明した道具の支配によるある種の退化から、再び主体性を取り戻し直立歩行へ戻るというその対比が象徴的。

大統領？からの船長へのビデオメッセージが実写であるところでなんでだろうと思ったが後に歴代船長が実写から徐々にメタボなCGキャラに変貌していくシーンで納得。笑った。
CGアニメならではのメタ的な演出でおもしろい。

ユートピアを捨てる選択に皆が無邪気に受け入れる潔さが清々しい。
船長がこのままでええやん的ななスタンスでグダるシナリオを想定していたのでいい意味で裏切られた。

村上隆の「芸術起業論」を読んだ。
村上隆がかなり戦略的にアートに取り組んでいるというのは知っていたがその詳細が知りたかったというのがそのモチベ。

以前現代アートを軽く学んだ際はアートの発展には批評が必要でありそのためにはそれがベストではないにせよ値段をつけることで市場化されている必要があるよなと思っていたが割と現在アートの中心地であるNYではそういう雰囲気っぽい。

本書ではアートにおける"自発性"（マイケルフリードの自立性と同じ？）への信仰は歴史的にみても例外的なルールなのだが未だ日本はその感覚であり、それゆえ不健全。今世界でウケるには「作品を通して世界美術史における文脈を作り上げること」が必要であるというのがメインの主張でそれが繰り返し説かれる。
またいまはこうだけどゲームのルールが変わればそれに適応する必要があるというスタンスなのもすごいなと思った。

あと彼の会社カイカイキキはYouTubeがあった。まあ大変そう。
https://www.youtube.com/@kaikaikiki_daily

「幸福な監視国家・中国」を読んだ。

本書では1984的な冷戦期の社会主義国家における監視社会のイメージで語られがちな中国の監視社会はミスリードとして、それによるメリットを含め良くも悪くも的なスタンスな書かれ方。

前半と後半で著者が異なり、前半では中国の監視社会に纏わる信用スコアなどのテクノロジーとその社会実装の現状、後半ではその背後にある思想的あれこれについて論じられている。

メインの主張としては中国の監視社会化は独裁体制によるものではなくプライバシーを犠牲にしても利便性や安全性が向上するならよしという功利主義的な態度故であり、その論理で言えば社会実装へのスピード感は異なるにしろ監視社会化は日本含む西側諸国も他人事ではないというところ。これはなるほど。

アルゴリズムを実装していくうえで実際的にトロッコ問題などの価値判断をどうするべきかは悩ましいと思った。
このような価値判断こそ本書でいう"市民的公共性"が求められる場なのだろうなと思いつつ実際にこれらの個別的な事柄についてそれらの意見を集約し実装まで至ることができるようになるとは思えないので結局恣意的なアルゴリズムに多くをを委ねざるおえないよなという気はする。

この前読んだ成田悠輔の新刊22世紀の資本主義でも全てはデータ化されるというような話でこれには意図的なものかアルゴリズムによる規範を逸脱した場合のペナルティのようなネガティブな話はあまり出てこなかったが、世界観やモチベとしてはかなり近いように思う。この辺りはやっぱり印象論で語られがちで前者は受け入れられるものの"監視社会"ということばを使うと受け入れられないという人は多そうだなと思った。