Обсуждаем развитие искусственного интеллекта с более технической стороны, чем обычно. Ищем замену надоевшим трансформерам и диффузии, пилим AGI в гараже на риге из под майнинга и игнорируем горький урок.
[b]Я ничего не понимаю, что делать?[/b]
Без петросянства: смотри программу стэнфорда CS229, CS231n https://see.stanford.edu/Course/CS229 (классика) и http://cs231n.stanford.edu (введение в нейроночки) и изучай, если не понятно - смотри курсы prerequisites и изучай их. Как именно ты изучишь конкретные пункты, типа линейной алгебры - дело твое, есть книги, курсы, видосики, ссылки смотри ниже.
[b]Где узнать последние новости?[/b]
https://www.reddit.com/r/MachineLearning
https://datatau.net
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся.
[b]Какая математика используется?[/b]
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus.
[b]Как работает градиентный спуск?[/b]
https://cs231n.github.io/optimization-2
[b]Почему python?[/b]
Исторически сложилось. Поэтому давай, иди и перечитывай Dive into Python.
[b]Можно не python?[/b]
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет.
[b]Что почитать для вкатывания?[/b]
http://www.deeplearningbook.org
https://d2l.ai/index.html
Николенко "Глубокое обучение" — на русском, есть примеры, но меньше охват материала
Франсуа Шолле — Глубокое обучение на Python
Все книги и статьи фактически устаревают за год.
[b]В чем практиковаться нубу?[/b]
http://deeplearning.stanford.edu/tutorial
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
[b]Где набрать первый самостоятельный опыт?[/b]
https://www.kaggle.com
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
[b]Где работать?[/b]
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
[b]Есть ли фриланс в машобе?[/b]
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой
[b]Где посмотреть последние статьи?[/b]
http://www.arxiv-sanity.com
https://paperswithcode.com
https://openreview.net
Версии для зумеров (Килхер): https://www.youtube.com/channel/UCZHmQk67mSJgfCCTn7xBfew
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
[b]Где посмотреть must read статьи?[/b]
https://github.com/ChristosChristofidis/awesome-deep-learning#papers
https://huggingface.co/transformers/index.html
То, что обозревает Килхер тоже зачастую must read
[b]Где ещё можно поговорить про анализ данных?[/b]
http://ods.ai
[b]Нужно ли покупать видеокарту/дорогой пека?[/b]
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Google Colab дает бесплатно аналог GPU среднего ценового уровня на несколько часов с возможностью продления, при чем этот "средний уровень" постоянно растет. Некоторым достается даже V100.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning заодно в майнкрафт на топовых настройках погоняешь.
[b]Когда уже изобретут AI и он нас всех поработит?[/b]
На текущем железе — никогда, тред не об этом
[b]Кто-нибудь использовал машоб для трейдинга?[/b]
Огромное количество ордеров как в крипте так и на фонде выставляются ботами: оценщиками-игральщиками, перекупщиками, срезальщиками, арбитражниками. Часть из них оснащена тем или иным ML. Даже на швабре есть пара статей об угадывании цены. Тащем-то пруф оф ворк для фонды показывали ещё 15 лет назад.
Так-что бери Tensorflow + Reinforcement Learning и иди делать очередного бота: не забудь про стоп-лоссы и прочий риск-менеджмент, братишка
[b]Список дедовских книг для серьёзных людей[/b]
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: https://www.libgen.is
[b]Напоминание ньюфагам:[/b] немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
[b]Disclaimer:[/b] Шапка сгенерирована нейросетью и нуждается в чистке. Исходник шапки: https://rentry.co/research-2ch
[b]Предыдущий тред:[/b]