Size: a a a

Data science [ru]

2020 June 07
Data science [ru]
Топ 5 лучших IT компаний для работы программистом в Москве
5-ое место. Лаборатория Касперского
Крутой работодатель известный всем, особенно тем, кому близка тема компьютерной безопасности. Лучшие студенты университетов России пытаются получить здесь работу. А посмотрите какой у них крутой офис - https://www.the-village.ru/village/business/office/175125-kak-rabotayut-v-kasperskom. Компания растет, появляется много вакансий, зарплаты платят в соответствии с рынком.
источник
Data science [ru]
to_csv
Опять-таки, это команда, которую используют все. Отметим пару полезных приемов. Первый:

print(df[:5].to_csv())
Вы можете использовать эту команду, чтобы напечатать первые пять строк того, что будет записано непосредственно в файл.
 
Еще один прием касается смешанных вместе целых чисел и пропущенных значений. Если столбец содержит как пропущенные значения, так и целые числа, тип данных по-прежнему будет float, а не int. Когда вы экспортируете таблицу, вы можете добавить float_format = '%. 0f', чтобы округлить все числа типа float до целых чисел. Используйте этот прием, если вам нужны только целочисленные выходные данные для всех столбцов – так вы избавитесь от всех назойливых нулей ‘.0’.
источник
2020 June 08
Data science [ru]
Выяснилось, как работает мозг программистов

Профессор Свен Апель из Университета Саара вместе с командой нейробиологов и специалистов по информатике исследовал работу отделов мозга программистов во время осуществления ими профессиональной деятельности.
источник
Data science [ru]
Достойных  вакансий на удалёнку в IT & Digital много, если знать, где их искать!

Всё еще в поисках работы мечты? Уверены, информация на нашем канале вас заинтересует. У вас мечты – у нас возможности!

Каждый день мы публикуем самые свежие вакансии на удалёнку в сфере IT & Digital на нашем канале @hiddengurus. С опытом и без. Работа найдётся для каждого!

Хочешь удалённо работать в крутых проектах из CША, Европы, РФ и Латинской Америки?

Тогда рекомендуем подписаться на @hiddengurus
источник
2020 June 09
Data science [ru]
Создан инвестиционный алгоритм
Один из крупнейших финансовых конгломератов в мире HSBC совместно с сервисом для инвесторов EquBot и IBM создал ИИ-алгоритм и индекс AiPEX для поиска оптимальных возможностей вложения среди публичных американских компаний, пишет TechHQ.
Новый алгоритм способен обрабатывать миллионы единиц вводных данных о тысяче крупнейших компаний США, акции которых торгуются на бирже. Для расчётов используются мощности суперкомпьютера IBM Watson.
ИИ автоматически отбирает компании, чьи акции, по его прогнозу, в ближайшие месяцы будут показывать рост.
Примерно 250 таких компаний формируют индекс AiPEX. Он пересматривается каждый месяц и с учётом волатильности рынка корректируется ежедневно.
Алгоритм HSBC способен проанализировать и соотнести несравнимо больший объём информации за считанные часы: в человеческом эквиваленте это команда из тысяч экспертов, которой пришлось бы работать круглосуточно, утверждает разработчик.
источник
Data science [ru]
Будущее рядом — освой профессию Data Scientist

Раньше мы с огромным интересом смотрели фильмы про искусственный интеллект и гадали, как же это пришло в голову сценаристам и режиссёрам, ведь так не бывает. Зачастую в этих увлекательных блокбастерах человек становился не нужен —  роль «главной скрипки» приходилась именно носителю искусственного интеллекта. В кинематографе это были и роботы, и специальные компьютеры либо устройства, похожие на пылесос (кстати, последние очень даже неплохо убирают).

Но в реалиях настоящей жизни искусственный интеллект — это не фантазии американских сценаристов-выдумщиков. Это реальность, которая стремительно врывается в нашу жизнь. Но с одной поправкой. Незаменимый помощник Data Scientist — специалист по машинному обучению, который выбирает архитектуру и обучающие алгоритмы, для работы с этими данными.

И у тебя как раз есть шанс стать тем самым незаменимым специалистом благодаря курсу от Skillbox «Профессия Data Scientist».

На курсе тебе предстоит научиться очень многим интересным вещам: от программирования на Python и визуализации данных до программирования на R и применения нейронных сетей для решения реальных задач.
Skillbox даёт возможность сначала уделить время обучению, а заботы с оплатой можно отложить на полгода. Также доступна рассрочка — и никакой переплаты по процентам!

После прохождения курса не стоит переживать о том, где найти работу. Эти заботы берут на себя опытные HR-специалисты.

Открой мир будущего — переходи по ссылке ▶️ https://clc.to/njhvUg и бронируй место на курсе со скидкой 40%.
источник
2020 June 10
Data science [ru]
IBM отказалась разрабатывать технологии распознавания лиц
Американская технологическая компания IBM заявила об отказе от дальнейших разработок программного обеспечения для распознавания лиц. Сделать шаг назад IBM решила из-за обострения ситуации с протестами против полицейского произвола.
Об изменении стратегии сообщил генеральный директор компании Арвинд Кришна. По его словам, в IBM отказались работать с любыми технологиями, которые используются «для массового наблюдения и нарушения базовых прав и свобод человека», а также продавать продукты на их основе. Это противоречит ценностям и принципам компании, подчеркнул Кришна.
IBM также призвала начать международный диалог о том, как именно можно применять современные технологии распознавания лиц в работе правоохранительных органов. Ранее о прекращении инвестиций в такие системы объявила компания Microsoft.
источник
Data science [ru]
5 лучших веб-сайтов для изучения языка программирования Python
Python — это высокоуровневый и объектно-ориентированный язык сценариев, популярность которого постоянно растет. Вам точно стоит попробовать Python, если вы никогда не писали код, но хотите получить первую работающую программу как можно быстрее.
источник
2020 June 11
Data science [ru]
Инженеры MIT разработали чип, который не уступает нейронам человеческого мозга.
Самый перспективный искусственный синапс на сегодняшний день.
Для тех, кто работает на передовой в области искусственного интеллекта, компьютер для имитации мозговой деятельности — большая задача. Некоторые ученые смекнули, что дело не сдвинется с места, если не сделать этот компьютер максимально похожим на мозг, поэтому они изобрели нейроморфные вычисления.
И теперь инженеры MIT, возможно, преодолели значительную ступень — разработку чипа с искусственными синапсами.
источник
Data science [ru]
Израильский ИИ-стартап Sightbit помогает спасать тонущих людей
Спасатели делают все возможное для обеспечения безопасности, но они могут контролировать только ограниченное пространство. Особенно сложно следить за ситуацией на больших пляжах, где ежедневно собирается более 10 тысяч человек. Решение этой проблемы придумал израильский ИИ-стартап Sightbit.
источник
2020 June 12
Data science [ru]
Сколтех открывает кафедру искусственного интеллекта
В сентябре 2020 года по инициативе Института Сколтех открывается кафедра Искусственного интеллекта. Миссия новой кафедры — интеграция в современное общество знаний и технологий ИИ, разработка этических норм и технических стандартов для обеспечения всеобщего доступа к знаниям и технологиям на основе принципов равенства.
Университет подал заявку в штаб-квартиру ЮНЕСКО на открытие данной кафедры. В независимости от результата, активность будет развиваться либо под международным брендом, либо самостоятельно, сообщает пресс-служба университета. 
На базе университета планируется создать think tank по проблемам искусственного интеллекта. Это синхронизирует все активности в этой области на глобальном уровне.
источник
Data science [ru]
Новая технология, как отмечают её создатели, является доступной и может использоваться в бизнес-процессах.
Российская компания «Сателлит Инновация», входящая в число резидентов инновационного центра «Сколково», анонсировала софт с возможностью распознавания лиц. Отличительной особенностью российской разработки Macroscop является возможность внедрения нового программного обеспечения в массовое использование.
источник
2020 June 13
Data science [ru]
Аналоги switch в Python
Используйте то, что предлагает язык: конструкция if / else.
 Ну, если вы хотите switch / case конструкции, самый простой путь заключается в использовании старых добрых , if / else построить:

def switch(value):
   if value == 1:
       return "one"
   if value == 2:
       return "two"
   if value == 42:
       return "the answer to the question about life, the universe and everything"
   raise Exception("No case found!")

это может выглядеть избыточно, и не всегда красиво, но это самый эффективный способ, и он выполняет свою работу:
источник
Data science [ru]
Математика в Python: Матрицы в NumPy
Списки - встроенный тип Python, могут содержать любые элементы: целые, дробные числа, строки, объекты. Это великая сила Python, но в то же время и слабость — в отношении скорости работы.
В стандартные дистрибутивы Python входит модуль array, реализующий аналог массивов C/C++, он может пригодиться для простейших расчётов с многомерными массивами, матрицами.
источник
2020 June 14
Data science [ru]
Facebook заявил, что их разработка TransCoder может конвертировать код из одного языка программирования высокого уровня в другой.
Система, которую исследователи Facebook описывают как «нейронный транскомпилятор», использует неконтролируемый подход к обучению для перевода между такими языками, как C ++, Java и Python.
Исследователи обучили TransCoder в общедоступном корпусе GitHub с более чем 2,8 миллионами репозиториев с открытым исходным кодом.
Чтобы оценить его возможности, исследователи извлекли 852 параллельных функции в C ++, Java и Python из онлайновой платформы GeeksforGeeks и разработали новый показатель точности вычислений, который проверяет, генерируют ли функции гипотезы те же выходные данные, что и эталонные, при наличии тех же входных данных.
Как писали исследователи, «TransCoder легко обобщается на любой язык программирования, не требует специальных знаний и значительно превосходит коммерческие предложения».
источник
Data science [ru]
Хайп вокруг Big Data утихает, но идеальное хранилище под большие данные — всегда актуальная тема: чтобы легко масштабировалось под любой объем и предоставляло расширенные возможности по обработке данных.

Современные базы бывают именно такими. Мы расскажем, почему DWH лучше строить в облаке и какие есть Best Practice для архитектуры.

👉 Регистрируйтесь на наш вебинар про управляемую СУБД на основе Greenplum, разработанную специально для решения аналитических задач — от BI до AI.

Встретимся в четверг 18 июня, онлайн. Начало в 17:00 по Москве, регистрация обязательна: https://events.webinar.ru/mcs/arenadatadb
Webinar.ru
Вебинар «Современные базы данных для аналитики: почему DWH лучше строить в облаке?»
Хайп вокруг Big Data давно прошёл. Но потребность компаний в отказоустойчивой инфраструктуре для хранения и обработки больших данных стала даже острее.

Чтобы вы могли концентрироваться на аналитике и решении бизнес-задач, хранилище данных должно быть надежным, легко масштабируемым под любой объем и предоставлять расширенные возможности по обработке данных.

Что представляет собой современное хранилище? Зачастую оно состоит из множества слоев, и за каждый слой может отвечать своя система. Мы видим тенденцию переноса части холодных данных в S3 как альтернативу HDFS. Горячие данные всё чаще размещают в In Memory-решениях.

Кроме того, многие компании уже переходят на парадигму Cloud Native и хотят узнать, как жить в этой новой, облачной реальности. Почему DWH лучше строить в облаке? Какие есть Best Practice для архитектуры?

На вебинаре мы ответим на эти вопросы и расскажем про возможности аналитической СУБД Arenadata DB на основе Greenplum — которая теперь доступна в облаке Mail.ru Cloud Solutions.

Вы узнаете:…
источник
2020 June 15
Data science [ru]
Не редко возникает задача убрать лишние пробелы с начала/конца строки. Например
a = 'Доброе утро, Иван'
message, name = a.split(',')
print(name)
> ' Иван' # (лишний пробел сначала строки)
Что получить имя пользователя в чистом виде - хорошо бы убрать лишние символы (если они там есть). Лишними символами чаще всего являются - \r \n пробелы - и все это в большом количестве Для этого в Python есть метод striprstriplstrip
new_str = name.strip() # Удалит пробелы в начале и в конце строки
new_str = name.rstrip() # Удалит только в начале
new_str = name.lstrip() # Удалит только в конце
источник
Data science [ru]
Facebook выплатит инженеру Mapbox $500 тысяч за алгоритм распознавания фейков
Facebook опубликовал результаты конкурса по созданию алгоритмов распознавания поддельных видео. Победителем стал Селим Сефербеков — компьютерный видео-инженер в компании Mapbox с центром разработки в Минске, пишет  ndelo.ru
источник
2020 June 16
Data science [ru]
Прорыв в среду IT без учёной степени. Джейсон Ванг
Джейсон Ванг — из семьи иммигрантов, прибывших в Америку на поиски лучшей жизни. Он поступил в университет на сестринское дело, затем переквалифицировался в международный бизнес, после чего на третьем году обучения решил бросить учёбу. Переехав в Сиэтл, он несколько лет перебивался случайными заработками и размышлял о решительном переходе в индустрию IT. Благодаря поддержке родителей и воодушевлению со стороны друзей, летом 2018 он принял решение “всё или ничего”.
Посвятив себя самообучению и пройдя курсы, он прошел путь от новичка до стажёра, а затем и до инженера-разработчика всего за один год.
Как ему это удалось?
Он отлично освоил алгоритмы и структуры данных, не переставал писать код, изучал сетевые ресурсы, старался всё делать профессионально, проводил время на форуме программистов и никогда не утрачивал веру в себя.
источник
Data science [ru]
Полезные библиотеки: swig - запускаем C-код из Python
Для работы с С-библиотеками есть несколько способов: - Писать программу на С/C++ и подключать DLL (.so) файлы - Попытаться напрямую запустить C код из нужного языка.
Перед тем как продолжить - зачем нужно запускать C/C++ код? Все просто - например, работаем с железом, а значит и с драйверами (а их пишут на C). Вот здесь и появляется необходимость взаимодействовать с С кодом.
В Python есть несколько вариантов запуска С/C++ кода (без модификации исходного кода) - ctypes, cliff или даже swig.
источник