Size: a a a

Data science [ru]

2020 August 03
Data science [ru]
__slots__

Python обладает широкими динамическими возможностями. Строгая динамическая неявная типизация позволяет не указывать типы, но при этом не бояться что в коде просуммируем строку и число. Однако за динамичность приходиться платить - памятью и скоростью.
Но что если хочется максимально уменьшить размер объектов (а в python все объекты) и при этом не потерять в функциональности? Для примера возьмем плоскость. На плоскости, пускай, надо разместить миллион точек (что не так много). При этом надо иметь возможность красить точку в разные цвета, расстояния подсчитывать и прочие действия.
Иными словами:
источник
2020 August 04
Data science [ru]
Алгоритмы в программировании: основные понятия

Алгоритмы описывают точную и понятную последовательность вычислительных действий на языке программирования.
Каждый алгоритм обладает следующими свойствами:
Пошаговость (Дискретность)
Алгоритм состоит из последовательности пошаговых команд. В самом начале вводится набор исходных данные (входные данные), на основе которых выполняется следующий шаг. Каждая последовательность команд выполняется лишь после того, как закончится выполнение предыдущего шага.
Определенность (Однозначность)
На каждом шаге алгоритма команда производит выполнение строго определенного действия. Однозначность полностью определяет перечень действий, которые необходимо выполнить.
источник
Data science [ru]
Go в LiteIDE
#GO
Использование интегрированных сред разработки (IDE) в ряде случаев упрощает упроавление проектом и создание приложения. Для языка Go одной из популярных сред разработки является LiteIDE. Это бесплатная кроссплатформенная среда, которую можно свободно загрузить себе на рабочий компьютер. Официальный сайт IDE - http://liteide.org/en/.
Непосредственно загрузить все файлы данной IDE можно по
источник
2020 August 05
Data science [ru]
Пакетная обработка данных: как ускорить работу с big data в десятки раз
Data science [ru]
Разбираем одну мощнейшую методику обработки данных, позволяющую быстрее работать с большими данными. Это в несколько раз ускоряет бизнес-аналитику, получение отчетности и другие задачи, связанные с обработкой множества файлов.
источник
Data science [ru]
Что читать про IT и Digital, чтобы не отстать от трендов.

Например, образовательный канал от GeekBrains. У ребят много полезных статей и кейсов, которые сделают вас лучше.

Маркетологам и эсэмэмщикам будет интересно почитать, как строить сторителлинг в SMM, настраивать рекламу в Тик Токе, увеличить онлайн-продажи (несколько неочевидных техник!).

Для тех, кто давно хотел научиться программировать - пошаговые гайды, с чего начать учить Python или Java. 

Дизайнеры, копирайтеры, верстальщики - для вас тоже есть годный контент. 

Держите: @geekbrains_ru
источник
2020 August 06
Data science [ru]
Когда данные слишком большие: Data Platform aaS как тренд

Большие данные (big data) возникают тогда, когда хранить информацию дешевле, чем ее выбросить. Так что люди склонны к накоплению данных. Аналитики Gartner прогнозируют, что в 2020 году мы будем хранить 40 зеттабайт неструктурированной информации. 90% этого объема образовалось за последние 2 года, и объем данных продолжает расти по экспоненте. В 2020 году каждый человек будет генерировать 1,7 МБ данных ежесекундно.
источник
Data science [ru]
pathlib: удобное формирование путей в файловой системе

В python 3 есть полезный модуль pathlib для формирование путей в файловой системе.
Сравните пример
источник
2020 August 07
Data science [ru]
​​Обмануть систему распознавания лиц — легко

Новый инструмент конфиденциальности Fawkes сделает ваши фотографии менее узнаваемыми системами искусственного интеллекта, но вы даже не заметите разницы.
Повсеместное внедрение систем распознавания лиц начало приводить к появлению программ, обманывающих искусственные интеллекты. Это закон равенства действия и противодействия — третий закон Ньютона, который вполне применим и к социальной сфере.
Мысль о том, что фотографии, которыми мы делимся, собираются компаниями для обучения алгоритмов ИИ — не самая приятная. Но все мы так или иначе попадаем в базы. Сегодня можно купить доступ к одной из них, сфотографировать незнакомого человека и узнать все о нем за считанные секунды.
Например, фирма Clearview AI, занимающаяся распознаванием лиц, заверяет, что собрала около трех миллиардов снимков лиц с таких сайтов, как Facebook, YouTube и Venmo, которые используются для идентификации незнакомцев. Как не бороться с таким безобразием?
Поэтому был разработан специальный инструмент под названием Fawkes, созданный учеными из лаборатории SAND Sands университета Чикаго. В ней тоже используется искусственный интеллект, но он на нашей стороне. Тонко и почти неуловимо ИИ вносит коррективы в снимки, обманывая тем самым системы распознавания лиц.
Метод работы программного обеспечения нельзя назвать простым. Использование инструмента не сделает вас невидимым для систем распознавания лиц. Но программное обеспечение внесет незначительные изменения в ваши снимки, благодаря чему алгоритм сканирования изображений будет определять вас как совершенно другого человека. Это словно добавление невидимой маски.
По словам разработчиков Fawkes, эффективность программы составляет 100% и она легко обманывает современные сервисы распознавания лиц от Microsoft (Azure Face), Amazon (Rekognition) и Face ++ от китайской Megvii.
Попробуйте рассмотреть изменения сами. Слева представлены фото до обработки, а справа — после:
источник
Data science [ru]
Машинное обучение в промышленности: управление производством, минимизация простоев и аварий

Минимизация простоев на производстве. Простои из-за поломок, сбоев или нехватки сырья могут стоить заводу миллионы долларов. Машинное обучение помогает их предотвратить. Для этого с датчиков на оборудовании собирают данные, а потом смотрят, при каких показателях возникают сбои. В будущем с помощью этой информации можно предсказать, когда и почему случится простой, как его избежать.
источник
2020 August 08
Data science [ru]
Что программисты ценят больше денег. 9 пунктов

Есть факторы, которые важнее денег. И они сильно влияют на мотивацию. Если работодатель их не обеспечивает, может возникнут ложное ощущение об ошибочно-выбранной профессии. А на самом деле надо просто поменять условия труда. Расскажем о них подробнее.
источник
Data science [ru]
​​Машинное обучение в финансах: оценка рисков и борьба с мошенничеством
Оценка кредитоспособности. Обычно в банках кредитоспособность клиента оценивают менеджеры. Сотрудники тратят на оценку много времени и часто ошибаются — отклоняют кредиты тем, кто мог бы их платить, и выдают неплатежеспособным.
Алгоритм можно научить оценивать кредитоспособность клиентов банка. Для этого в него загружают информацию о ранее выданных кредитах: выплачены они или нет, были ли просрочки или досрочное погашение. Все это помогает банку автоматизировать выдачу кредитов.
Например, Сбербанк создал «Кредитную фабрику» — систему, которая позволяет принимать решения о кредитоспособности клиента за несколько минут. В 2020 году банк запустил такую фабрику и для юридических лиц — она помогает принимать решения по кредитам для бизнеса за 7 минут. Сейчас 98% кредитов физлицам и 20% кредитов малому и среднему бизнесу выдают автоматически, что экономит миллиарды долларов.
Борьба с мошенничеством. Банки и их клиенты регулярно теряют деньги из-за мошеннических операций. Распознавать такие операции помогает машинное обучение — специальные алгоритмы учатся выявлять признаки мошеннических операций и вовремя их блокировать.
Примеры машинного обучения для предотвращения мошенничества есть у многих банков. Например, Сбербанк использует ИИ для блокировки подозрительных операций, а недавно поймал с его помощью мошенника. Зарубежный Danske Bank снизил процент ложных обвинений в мошенничестве на 60%.
источник
2020 August 09
Data science [ru]
Объявление цикла ForClause и циклов с условием
#GO
Чтобы учесть самые разные случаи использования, существует три разных способа создания циклов for в Go, каждый из которых имеет свои возможности. Вы можете создать цикл for с условием, ForClause и RangeClause. В этом разделе мы расскажем, как объявлять и использовать ForClause и цикл с условием.
Давайте посмотрим, как мы можем использовать цикл for с ForClause.
Цикл ForClause определяется как цикл с инициирующим оператором, за которым следует условие и пост-оператор. Они имеют следующий синтаксис:
источник
Data science [ru]
Прохождение циклом по последовательным типам данных с помощью RangeClause
#GO#GO
В Go часто используются циклы for для прохождения по элементам последовательных типов данных или коллекций, например, срезов, массивов и строк. Чтобы облегчить этот процесс, мы можем использовать цикл for с синтаксисом RangeClause. Хотя вы можете пройтись по последовательным типам данных с помощью синтаксиса ForClause, RangeClause понятнее и его удобнее читать.
Прежде чем переходить к использованию RangeClause, давайте рассмотрим, как мы можем пройтись по элементам среза с помощью синтаксиса ForClause:
источник
2020 August 10
Data science [ru]
Примеры машинного обучения в медицине: диагностика и роботизированные операции

Улучшение клиентского сервиса. Чем быстрее в клинике проходит процесс регистрации на прием, тем меньше очереди, удобнее работать врачам и лояльнее пациенты.
источник
Data science [ru]
​​Робот Эрика сыграет главную роль в фильме c бюджетом $70 млн
Пока актеры во время пандемии были вынуждены находиться по домам их место в кинобизнесе заняли роботы с искусственным интеллектом. В Японии главную роль в научно-фантастическом боевике получила гуманоид Эрика. По сюжету картины, ученый, который работал над улучшением ДНК человека, решил, что проект будет опасен для людей и решил сбежать из тайной лаборатории вместе с Эрикой.  
Снимать картину намерены с голливудским размахом. Ее бюджет составит порядка 70 миллионов долларов. Сейчас идут поиски режиссера и человека-актера. Продюсеры уже сняли несколько сцен фильма еще в прошлом году и теперь намерены продолжить съемочный процесс в Европе. Завершить работу на лентой планируется к июню 2021 года.  
Изначально об актерской карьере Эрики даже речи не было. Задачей ученых было просто создать автономного говорящего робота. Было это в 2015 году. “Родители” Эрики – инженеры Хироси Исигуро и Кохей Огава – научили свою “дочь” поддерживать беседу с людьми, считывать их эмоции и менять выражение лица в ответ. После этого робота заметили на телевидении и в театре. Эрика уже исполнила несколько ролей в постановках японских режиссеров и попробовала себя в качестве ведущей новостей.
источник
2020 August 11
Data science [ru]
Вложенные циклы
#GO
В Go циклы можно вкладывать друг в друга, как и в других языках программирования. Вложенность — это размещение одного конструкта внутри другого. В данном случае вложенный цикл — это цикл, который работает внутри другого цикла. Это может быть полезно, когда вы хотите выполнять цикличное действие для каждого элемента набора данных.
Вложенные циклы структурно похожи на вложенные операторы if. Они построены следующим образом:
источник
Data science [ru]
Написание комментариев в Go
#GO
Комментарии — это строки компьютерных программ, которые игнорируются компиляторами и интерпретаторами. Добавление комментариев в программы делает код более удобным для чтения людьми, поскольку комментарии обычно содержат информацию или разъяснение того, что делает каждая часть программы.
В зависимости от назначения программы, комментарии можно использовать в качестве заметок или напоминаний или составлять их для других программистов, чтобы они могли понять, что делает ваш код.
Комментарии полезно использовать во время написания или обновления программы, поскольку вы можете легко забыть, о чем думали в определенный момент, а написанные впоследствии комментарии могут упускать что-то из виду.
источник
2020 August 12
Data science [ru]
​​Через пять лет операторов колл-центров заменят роботы

Большинство сотрудников российских колл-центров готовы к тому, что через несколько лет их заменит искусственный интеллект, однако эксперты считают, что с некоторыми задачами под силу справиться только человеку.
Исследование IT-проекта в области машинного обучения Neuro.net показало, что 63% специалистов колл-центров считают, что искусственный интеллект (ИИ) сможет выполнять их профессиональные обязанности хотя бы частично. Еще 13% уверены, что автоматическая голосовая система сможет заменить их полностью. И произойдет это уже в ближайшие 5–10 лет.
«Подобные события [опыт карантина в период пандемии] лишний раз доказывают, что многие рабочие процессы могут и должны быть переданы искусственному интеллекту. Мы надеемся, что рутинные задачи скоро полностью перейдут к ИИ», — рассказал «Известиям» сооснователь Neuro.net Александр Кузнецов.
При этом заведующий лабораторией машинного интеллекта МФТИ, профессор РАН Константин Воронцов подчеркнул в беседе с изданием, что роботизация не случится в один момент.

«Будет постепенное внедрение технологий в разные сферы бизнеса и производства. Также шаг за шагом специалисты станут осознавать, какие задачи стоит автоматизировать, а какие — оставить людям», — добавил он.
По словам Воронцова, есть масса областей, где необходимо живое человеческое общение и эмпатия, например, медицина, образование, сфера услуг и ряд других.
источник
Data science [ru]
Будущее рядом — освой профессию Data Scientist

Раньше мы с огромным интересом смотрели фильмы про искусственный интеллект и гадали, как же это пришло в голову сценаристам и режиссёрам, ведь так не бывает.
Но в реалиях настоящей жизни искусственный интеллект — это не фантазии американских сценаристов-выдумщиков. Это реальность, которая стремительно врывается в нашу жизнь. Но с одной поправкой. Незаменимый помощник Data Scientist — специалист по машинному обучению, который выбирает архитектуру и обучающие алгоритмы, для работы с этими данными.

И у тебя как раз есть шанс стать тем самым незаменимым специалистом благодаря курсу от Skillbox «Профессия Data Scientist».

На курсе тебе предстоит научиться очень многим интересным вещам: от программирования на Python и визуализации данных до программирования на R и применения нейронных сетей для решения реальных задач.
Skillbox даёт возможность сначала уделить время обучению, а заботы с оплатой можно отложить на полгода.

После прохождения курса не стоит переживать о том, где найти работу. Эти заботы берут на себя опытные HR-специалисты.

Открой мир будущего — переходи по ссылке ▶️ https://clc.am/YCvnbA и бронируй место на курсе со скидкой 40%.
источник
2020 August 13
Data science [ru]
​​ИИ-система для судна сильно сократит его выбросы CO2
Исследователи из Университета Саутгемптона в Великобритании разработали новую цифровую ИИ-систему для морских судов. Как сообщает новостной портал университета, она позволяет сэкономить более 250 тыс тонн выбросов CO2.
Приложение создано на базе алгоритмов искусственного интеллекта (ИИ) и встраивается в приборную панель. Система получила название Just Add Water (JAWS). JAWS способна анализировать и интерпретировать информацию для оптимизации количества необходимого топлива и энергии в каждой конкретной ситуации.
Система собирает и обрабатывает большой массив данных о текущем угле наклона, глубине просадки судна, уровне загрязненности и прочих характеристиках, от которых зависит уровень энергопотребления.
“Благодаря алгоритмам машинного обучения теперь можно анализировать исторические данные как о текущих, так и о предыдущих рейсах морских судов и с высокой точностью прогнозировать будущий уровень потребления энергии”, – рассказывает автор методологии аспирант Эми Паркс.
“Как только технология получит дальнейшее развитие, мы планируем автоматизировать процесс адаптации работы судна к текущим условиям для автономного повышения энергоэффективности”, – пояснила Паркс.
ИИ-система уже работает на нескольких судах
Первый запуск JAWS был произведен на флоте, состоящем из более чем дюжины 300-метровых судов. Они перевозили сжиженный природный газ в течение 12 месяцев.
Благодаря ИИ-системе удалось предотвратить выбросы углекислого газа в объеме 250 тыс тонн. Это эквивалентно экономии топлива в 90 млн долларов.
источник