https://open.substack.com/pub/machinelearningatscale/p/doing-rl-without-the-costly-training
Timeline
It figured, that when LLM distillation is done (student model is trained on teacher model outputs), some of teacher model preferences are passed to a student model, even if no examples where these preferences are related to were in training set.
That is, if a trainer model prefers owls, and teaches the student model to generate number sequences continuations, it somehow passes also the preference for owls.
Subliminal Learning: Language Models Transmit Behavioral Traits via Hidden …
ALIGNMENT.ANTHROPIC.COM
😮👍2
git remote add horses https://github.com/you/stable.git
git push horses --force
😀👍3
По поводу CEO и Head of HR одной компании, которых видели на концерте Coldplay.
Вот это зашквар! Как можно так не думать о репутации компании? Если два высокопоставленных менеджера совершают такие личные выборы, то что можно сказать о культуре компании и управленческих решениях? Должно же быть какое-то чувство меры, вкус в конце концов? Сходили бы на Диаманду Галас или хотя бы на Мановар.
😀3
(жінка писала, що зараз усі почали перейматися демографічною ситуацією, і казати свої думки, скільки кожна жінка повинна народжувати, а от їй не нарахували пенсійні нарахування за пару місяців, коли вона була в декреті)
Ну ви ж не державі народжуєте, а собі з чоловіком. Принаймні так на мою думку повинно бути.
На жаль, ніякими виплатами і нарахуваннями демографічну сітуацію докорінно не змінити. На такі стимули реагують переважно не ті верстви населення, які б хотілося бачити навколо себе.
Корені низької народжуваності в індустріалізації:
- є попит на професії, де не потрібний "чоловічий" фізичний розвиток - тому жінки роблять кар'єру і відкладають народження першої дитини
👍1
Як ми помітили, в ЕС дуже потужні регулятори, які піклуються насамперед про добробут громадян, етічне ставлення до людей, більше, ніж про економічне зростання, iнновації i обороноздатність. Взяти хоча б такі шедеври регулятотворчого мистецтва, як GDPR і AI Act.
Так от, може вони відрегулюють когнітивну складність документів, які людям доводиться заповнювати. Наприклад, підписуєш договір, а там 10 сторінок, та ще посилання на кілька законів. Хай міряють когнітивну складність проблеми, яку людині треба вирішити, коли вона підписує договір оренди або замовляє встановлення інтернету. І щоб та складність писалася на першій сторінці договору. Тобто щоб з порогу можна було послати такого контрагента, котрий пропонує тобі якусь халепу. І тоді може бізнеси не будуть перекладати цю складність на клієнтів, а будуть тиснути на уряди, щоб зробили дерегулювання, бо основна частина складності у умовах для користувачів йде від складності законодавства.
👍💯3
#llm #programming
TL;DR LLMs code well, because they were trained on lots of human code. Once a lot of LLM-generated, not so well human reviewed code will show up, that will dilute the training data and they may start to code worse.
My addition: economically, this can be described as a potential bubble on a market of code / human attention derivatives.
P.S.: This bubble problem concerns all of LLM generated content, the code at least can be compiled / run to see how it works.
My unpopular opinion on LLMs and code: | Echo Yin
My unpopular opinion on LLMs and code:
The current effectiveness of LLMs in programming isn't magic, it's a dir…
WWW.LINKEDIN.COM
👍2
Если предположить, что будет когда-то сильный ИИ и он будет воевать с людьми, то это будет примерно как завоевание Кортесом Мексики - в союзе с местными племенами.
👍1
У поті свойого лиця ти їстимеш хліб, аж поки не вернешся в землю, бо з неї ти взятий. Бо ти порох, і до пороху вернешся. ©
-- Біблійні історії з DOU
👍1
Χρηματειχομαχία (Chremateichomachia)
χρῆμα (chrēma) – money, wealth, payment
τεῖχος (teichos) – wall
-μαχία (-machia) – battle
Короче, бывает, что значительную часть статьи за пейволом можно реконструировать с помощью LLM, хотя и с риском заполнения лакун галлюцинациями.
https://www.digitaldigging.org/p/how-ai-bots-quietly-dismantle-paywalls?triedRedirect=true
How AI bots quietly dismantle paywalls via web search
ChatGPT and other AI chatbots have figured out how to get around paywalls in “live” web search —and they're doing it sys…
WWW.DIGITALDIGGING.ORG
👍😮2
Interesting workflow
https://www.stacking.dev/
The stacking workflow
Stacked PRs. Stacked diffs. Stacked changes. A better workflow to manage pull requests.
WWW.STACKING.DEV
