Size: a a a

Data science [ru]

2021 May 09
Data science [ru]
Сбер приглашает на свою первую масштабную технологическую конференцию - SmartDev. Сбер представит свои новые возможности для разработчиков, презентует новые условия и возможности сервиса SberCloud.Advanced.

⏱ 20 мая
👨‍💻 Онлайн и бесплатно
🎯 Регистрация

Шесть параллельных стримов от шести технологических стеков Сбера. 50+ спикеров, которые поделятся опытом и представят новые решения для разработчиков, аналитиков и специалистов по Data Science.

Один из стримов будет посвящен облачной платформе от Сбера - SberCloud. Команда представит новые возможности SberCloud.Advanced — самой широкой линейки платформенных сервисов в России. Теперь все они доступны для физических лиц, через быстрый и удобный self-service.

Вы узнаете, как создавать различные компоненты приложения с помощью всех необходимых платформ облака. Поговорим про работу Apache Spark c Big Data в кластере SberCloud и про создание инфраструктуры с помощью Terraform по принципу Infrastructure-as-Code.

Зарегистрируйтесь, чтобы принять участие.
источник
Data science [ru]
5 лучших библиотек Python для визуализации данных
[ Статья ]
источник
2021 May 10
Data science [ru]
Лучшие языки программирования для Data Science
[ Статья ]
источник
2021 May 11
Data science [ru]
Python vs. R: что выбрать для Data Science начинающему специалисту?
[ Статья ]
источник
2021 May 12
Data science [ru]
Будущее рядом — освой профессию Data Scientist

Год обучения Бесплатно!!!

Раньше мы с интересом смотрели фильмы про искусственный интеллект и гадали, как же это пришло в голову сценаристам и режиссёрам.
Но в реалиях настоящей жизни искусственный интеллект — это реальность, которая стремительно врывается в нашу жизнь. Незаменимый помощник Data Scientist — специалист по машинному обучению, который выбирает архитектуру и обучающие алгоритмы, для работы с этими данными.

И у тебя как раз есть шанс стать тем самым незаменимым специалистом благодаря курсу от Skillbox «Профессия Data Scientist».

На курсе тебе предстоит научиться очень многим интересным вещам: от программирования на Python и визуализации данных до программирования на R и применения нейронных сетей для решения реальных задач.

После прохождения курса не стоит переживать о том, где найти работу. Эти заботы берут на себя опытные HR-специалисты.
Открой мир будущего — переходи по ссылке ▶️ https://clc.am/ZJA5LQ
источник
Data science [ru]
🔥Большой гайд по библиотеке pandas: анализ данных на Python
[ Статья ]
источник
2021 May 13
Data science [ru]
​​Потоки и многопоточность / для начинающих
Многопоточность очень ценится в кругу дата сайентистов, т.к. позволяет анализировать и обрабатывать огромные объёмы данных используя все возможные ресурсы вычислительной машины , тем самым сокарщая время обработки данных.
Про многопототчность есть прекрасная статья, где разъясняется эта тема на примере ЯП Python.
[ Статья ]
источник
2021 May 14
Data science [ru]
Влияние искусственного интеллекта в современном трейдинге

Профессиональные трейдеры периодически вынуждены модернизировать свои наработки, так как прогресс делает трейдинг сложнее. В 2000–2015 гг. им пришлось конкурировать с торговыми ботами, а потом научиться настраивать их, чтобы силы уравнялись. Примерно с 2015 года трейдерам и их ботам приходится конкурировать уже с искусственным интеллектом.
[ Статья ]
источник
Data science [ru]
20 мая состоится технологическая онлайн-конференция - SmartDev

Это первая масштабная конференция от Сбера, на которой соберутся топовые спикеры из IT-компаний, чтобы за один день рассказать все о новых сервисах и инструментах разработки в формате dev to dev.

Вас ждут прикладные выступления на темы:

💥 Десятки новых APIs, SDKs, AR/VR, инструменты разработки приложений для виртуальных ассистентов Салют и их монетизация.
💥 Сервисы Platform V полноценный PaaS от Сбера
💥 50+ сервисов для разработки от SberCloud
💥 Machine Learning на единственной в мире облачной платформе с распределенным обучением на 1000+ GPU
💥 Использование средств разработки Intel OneAPI в Sbercloud ML Space

Участники, которые будут в числе первых семи тысяч зарегистрированных на конференцию SmartDev и на платформе SmartMarket - получат промокод на заказ еды от Delivery Club на 500 руб в день конференции.

Участие бесплатное, регистрация по ссылке.

Присоединяйтесь!
источник
2021 May 15
Data science [ru]
Вытаскиваем данные из Instagram
Давайте разберемся, как с помощью достаточно простого кода на python можно вытащить из инстаграмма разные данные, находящиеся в открытом доступе.
[ Статья ]
источник
2021 May 16
Data science [ru]
​​⚠️Переобучение нейросетей: в чем проблема и как ее решить

'''С момента описания первого искусственного нейрона Уорреном Мак-Каллоком и Уолтером Питтсом прошло более пятидесяти лет. С тех пор многое изменилось, и сегодня нейросетевые алгоритмы применяются повсеместно. И хотя нейронные сети способны на многое, исследователи при работе с ними сталкиваются с рядом трудностей: от переобучения до проблемы «черного ящика»'''.


Главная проблема нейросетей — переобучение. Оно заключается в том, что сеть «запоминает» ответы вместо того, чтобы улавливать закономерности в данных. Наука поспособствовала появлению на свет нескольких методов борьбы с переобучением: сюда относятся, например, регуляризация, нормализация батчей, наращивание данных и другие. Иногда переобученная модель характеризуется большими абсолютными значениями весов.

Механизм этого явления примерно такой: исходные данные нередко сильно многомерны (одна точка из обучающей выборки изображается большим набором чисел), и вероятность того, что наугад взятая точка окажется неотличимой от выброса, будет тем больше, чем больше размерность. Вместо того, чтобы «вписывать» новую точку в имеющуюся модель, корректируя веса, нейросеть как будто придумывает сама себе исключение: эту точку мы классифицируем по одним правилам, а другие — по другим. И таких точек обычно много.

📌Очевидный способ борьбы с такого рода переобучением – регуляризация весов. Она состоит либо в искусственном ограничении на значения весов, либо в добавлении штрафа в меру ошибки на этапе обучения. Такой подход не решает проблему полностью, но чаще всего улучшает результат.

📌Второй способ основан на ограничении выходного сигнала, а не значений весов, — речь о нормализации батчей. На этапе обучения данные подаются нейросети пачками — батчами. Выходные значения для них могут быть какими угодно, и тем их абсолютные значения больше, чем выше значения весов. Если из каждого из них мы вычтем какое-то одно значение и поделим результат на другое, одинаково для всего батча, то мы сохраним качественные соотношения (максимальное, например, все равно останется максимальным), но выход будет более удобным для обработки его следующим слоем.

📌Третий подход работает не всегда. Как уже говорилось, переобученная нейросеть воспринимает многие точки как аномальные, которые хочется обрабатывать отдельно. Идея состоит в наращивании обучающей выборки, чтобы точки были как будто той же природы, что и исходная выборка, но сгенерированы искусственно. Однако тут сразу рождается большое число сопутствующих проблем: подбор параметров для наращивания выборки, критическое увеличение времени обучения и прочие.
источник
2021 May 17
Data science [ru]
От дружелюбного ИИ к монетизации и одержимости имиджем: почему бывший стартап Илона Маска OpenAI предал свои идеалы
[ Статья ]
источник
2021 May 18
Data science [ru]
Получи ультрасовременное образование из любой точки мира! Четырехлетняя программа бакалавриата по аналитике данных и машинному обучению это:
→ дистанционное образование за 4 года;
→ портфолио, стажировки и трудоустройство;
→ возможность получить 2 диплома;
→ отсрочка от армии.

Специалисты Data Science & Machine Learning находят закономерности в данных и делают выводы. Например, какой способ производства на предприятии тратит меньше энергии, какие товары компании самые популярные или когда в экономике может случиться дефолт. А также создают алгоритмы обучаемого искусственного интеллекта для нейросетей, голосовых помощников, программ распознавания лиц и чат-ботов.

Вот, в каких сферах ты сможешь работать после окончания вуза:
→ Разработка игр.
→ Информационные технологии.
→ Медицина.
→ Финансы.

Получи больше информации, переходи по ссылке: https://clc.am/cJraRQ
источник
Data science [ru]
Разбор реальной data science задачи
В этом ролике автор разбирает реальную задачу, в котором нужно отфильтровать негативные комментарии и вычислить их кол-во с помощью нейросети обученный на сэмпл-данных.
[ Видео Материал ]
источник
2021 May 19
Data science [ru]
Почему машинному обучению с трудом дается причинно-следственная связь?
[ Статья ]
источник
Data science [ru]
Бесплатный сервис Битрикс24 мощно обновился.

В продукт добавили более 50 новинок и обновлений, которые помогут бизнесу расти и развиваться в сложных условиях.
Во-первых, появились совершенно новые продукты и инструменты: онлайн-редактор для совместной работы с документами в режиме реального времени, официальная интеграция CRM и WhatsApp (чтобы принимать оплату прямо в переписке), организация доставки товаров прямо из CRM, новая улучшенная работа с большим количеством проектов сразу, смарт-процессы для автоматизации работы департаментов.

Во-вторых, ВСЕ обновления уже выпущены и доступны предпринимателям прямо сейчас.

Кликайте на ссылку и смотрите, какие обновления вас ждут: https://www.bitrix24.ru/~meCPI
источник
2021 May 20
Data science [ru]
Аналитик в автоматизации — кто он и чем занимается
Жизнь, работодатели и процессы придумали много мест, где может быть полезен человек-аналитик. То есть такой человек, который углубится в проблему и подумает, как надо. Однако областей аналитики много, что понять, кто есть кто и кем хочется быть, может быть сложно. Как и понять, куда развиваться. 
Как главный аналитик в ADV/web-engineering co, я регулярно отвечаю на подобные вопросы коллег и соискателей на собеседованиях. Надеюсь, что эта статья поможет сформировать представление о возможном развитии и ожидания от работы аналитиком в той или иной компании.
[ Статья ]
источник
Data science [ru]
Мониторить рынок IT-вакансий проще, когда интересные вакансии сами приходят к тебе.
@GetMeIT_bot подбирает вакансии по твоим предпочтениям: просто настрой фильтры и проверяй входящие.
источник
2021 May 21
Data science [ru]
Всё вокруг автоматизируется и на смену ручному труду приходят машины и алгоритмы. Почти в каждом магазине — кассы самообслуживания, вместо курьеров — роботы, даже новости теперь пишет AI. Кажется, вакансий для простых работяг скоро не будет. Но зато появится еще больший спрос на людей, которые будут разрабатывать и обучать нейросети.  

Поэтому, если вы хотите научиться профессии, которая создает будущее — обратите внимание на курс «Дата-сайентист» от SkillFactory. Вы получите сильную теоретическую базу, а затем будете очень много практиковаться. На курсе вы создадите искусственный интеллект, обучите нейронную сеть, будете анализировать данные и строить прогнозные модели.

В SkillFactory можно учиться когда удобно, скорректировать нагрузку или заморозить курс на время, если, например, уезжаете в отпуск. Курс заточен под то, чтобы создать у вас мотивацию не забросить через пару месяцев. Ментор поможет в трудную минуту и ответит на все вопросы. А после окончания курса карьерный центр помогает студентам с трудоустройством. 

Все еще сомневаетесь? Почитайте отзывы о Skillfactory на независимых сайтах, там их много и с отличными оценками!

Все подробности по ссылке https://clc.am/qSVd9Q
До 24 мая по промокоду ДАТА на курс можно записаться со скидкой в 45%
источник
Data science [ru]
Линейная алгебра для Data Science и Machine Learning

Линейная алгебра в Data Science и Machine Learning является основополагающей. Новички, начинающие свой путь обучения в области Data Science, а также признанные практики должны развить хорошее понимание основных понятий линейной алгебры.
Специально к новому старту курса математика и Machine Learning для Data Science делимся переводом статьи Бенджамина Оби Тайо — физика, кандидата наук и преподавателя Data Science — о том, что нужно знать, чтобы лучше понимать Data Science и Machine Learning

[ Статья ]
источник