Reply to the post by Пробковый шлем:

Когда-то я писал про Ганди и степень государственного контроля в дивном старом мире. А теперь расскажу ещё одну похожую историю. Дело было в 1893 году, Свами Вивекананда, один из творцов современного индуизма, отправился на странное мероприятие под названием «Конгресс религий», которое должно было состояться на полях Всемирной выставки в Чикаго. До США надо было добираться через полмира и Вивекананда, выходец из образованной калькуттской семьи, подробно писал о путевых впечатлениях своему мадрасскому другу Аласинге Перумалу.

1. Total Cost of Ownership

   ↩

#llm #ml #ai #transformers
To my understanding, TypeSafe's Jev might be a clever repackaging of an ordinary transformer — an encoder with a classification head instead of a decoder (without the quadratic compute cost associated with decode), sold differently. Of course, it is just a hypothesis.

Encoder-only classifiers are a known thing. They can be treated as an LLM reading out at a single position, with logits over the option set - and without the need to feed it back.

Processing input tokens is roughly O(N²) for large enough N, but highly parallel - given unlimited compute, the wall clock is theoretically just O(log N), and N is capped at 32k.

Lasers are regulated.
Nuclear is regulated.
Explosives are regulated.
Chemicals are regulated.
Drones are regulated.
But, the most powerful technology in the
history of technology is not regulated?