Size: a a a

Data science [ru]

2021 January 16
Data science [ru]
Какой оператор SQL используется для обновления данных в базе данных?
#SQL

COPY
▫️ 0%
SAVE AS - 1
👍 1%
UPDATE - 129
👍👍👍👍👍👍👍👍 95%
SAVE - 1
👍 1%
MODIFY - 5
👍 4%
👥 136 человек уже проголосовало.
источник
Data science [ru]
⬆️ Правильный ответ ⬆️
            UPDATE
источник
2021 January 17
Data science [ru]
Технологии будущего: как они преобразят жизнь человека в следующие несколко лет

Ни один сколько-нибудь долгосрочный прогноз развития конкретных технологий не будет точным, и подтверждение тому — ежегодные Gartner Hype Cycle и другие аналитические отчеты. Мы давно ждем беспилотники, умные города, квантовые компьютеры и туристические полеты в космос. Они активно развиваются, но все еще не вошли в жизнь так, как предсказывали аналитики. 2020 год показал, что даже в самые точные прогнозы могут быть внесены неожиданные изменения неучтенными факторами.
источник
Data science [ru]
Функциональное программирование - лучшая парадигма кодирования будущего
Функциональное программирование существует последние шесть десятилетий. В связи со взрывным ростом машинного обучения и больших данных популярность функционального программирования растет из-за простоты параллелизации чистых функций. Код для задач анализа данных и рабочих процессов также легче отслеживать, тестировать и поддерживать, используя функциональную парадигму, которая будет способствовать его растущему использованию в будущем.
источник
2021 January 18
Data science [ru]
Нейросеть Microsoft превзошла человека в понимании естественного языка
Система искусственного интеллекта, разработанная в компании Microsoft, оказалась способнее человека в тесте SuperGLUE на понимание естественного языка. Нейросетевая модель DeBERTa получила 90,3 балла, в то время как средний результат человека в этом бенчмарке составляет 89,8 балла.
SuperGLUE был создан в 2019 году при участии научно-исследовательского подразделения Facebook AI Research, принадлежащей Google ИИ-лаборатории DeepMind, а также ученых Вашингтонского и Нью-Йоркского университетов. В тест входят восемь задач, по результатам которых оценивается способность компьютерного алгоритма понимать контекст и структуру текста, распознавать причинно-следственные связи, давать правильный ответ на вопрос на базе прочитанного абзаца и так далее.
DeBERTa удалось понять логику текста лучше, чем человеку. При этом еще полтора года назад, когда был выпущен SuperGLUE, разрыв между самой эффективной нейросетью и людьми составлял почти 20 баллов.
Недавно алгоритм Microsoft был значительно переработан: теперь архитектура DeBERTa состоит из 48 слоев и имеет 1,5 миллиарда параметров. Система учитывает не только значения слов, но и их позиции и роли, а также умеет определять зависимость слов друг от друга.
"Например, DeBERTa понимает, что зависимость между словами 'deep' и 'learning' гораздо сильнее, когда они стоят рядом (термин 'глубокое обучение'), чем когда они встречаются в разных предложениях".
Инженеры Microsoft планируют сделать нейросетевую модель публичной, а также опубликовать её исходный код. Кроме того, DeBERTa будет интегрирована в такие продукты компании, как Bing, Office, Dynamics и Azure Cognitive Services. ИИ поможет улучшить взаимодействие пользователей с чат-ботами, а также позволит давать более точные рекомендации, ответы на вопросы и результаты поиска.
источник
Data science [ru]
Что вернет запрос "select 1 from USERS" ? Если таблица USERS существует.
#SQL

Ошибка выполнения запроса - 5
👍👍 5%
Запрос выведет количества строк в таблице USERS
▫️ 0%
Запрос выведет "1" - 13
👍👍👍 13%
Запрос выведет первую строчку таблицы USERS - 35
👍👍👍👍👍👍 36%
Запрос выведет "1" столько раз, сколько строк в таблице USERS - 45
👍👍👍👍👍👍👍👍 46%
👥 98 человек уже проголосовало.
источник
Data science [ru]
⬆️ Правильный ответ ⬆️
Запрос выведет "1" столько раз, сколько строк в таблице USERS
источник
2021 January 19
Data science [ru]
Структуры данных и алгоритмы в Java.

Второе издание одной из самых авторитетных книг по программированию посвящено использованию структур данных и алгоритмов. Алгоритмы — это основа программирования, определяющая, каким образом разрабатываемое программное обеспечение будет использовать структуры данных.
источник
Data science [ru]
Разработан проект национального стандарта о структуре и применении архитектуры больших данных
Технический комитет по стандартизации «Искусственный интеллект» (ТК 164) на базе РВК вынес на публичное обсуждение первую редакцию стандарта «Информационные технологии. Эталонная архитектура больших данных. Часть 1: Структура и процесс применения».
Проект стандарта разработан Национальным центром цифровой экономики МГУ и Институтом развития информационного общества. Координацию работ по согласованию и утверждению документа осуществляет ПК 02 «Данные» на базе МГУ, действующий в составе ТК 164 «Искусственный интеллект».
Документ входит в серию из пяти стандартов по эталонной архитектуре больших данных и представляет собой русскоязычную адаптацию международного технического отчета ISO/IEC TR 20547-1:2020 Information technology — Big data reference architecture — Part 1: Framework and application process.
Национальный стандарт (проект):
• содержит описание структуры эталонной архитектуры системы для работы с большими данными;
• обеспечивает решение задачи отображения в эталонной архитектуре возможных вариантов использования больших данных.
• может применяться организациями для описания архитектуры конкретных систем для работы с большими данными и реализации этих систем с учетом используемых технологий, а также ролей/исполнителей и их потребностей.
В документе дано концептуальное представление эталонной архитектуры больших данных, а также базовых понятий:
• эталонная архитектура;
• интерес;
• заинтересованная сторона;
• область применения;
• структура архитектуры;
• пользовательское и функциональное представление;
• процесс применения;
• идентификация заинтересованных сторон и др.
Представленный проект национального стандарта наряду с другими частями серии стандартов 20547-Х будет способствовать эффективному использованию сквозной цифровой технологии «большие данные» для решения экономических и социальных задач при реализации национальной программы «Цифровая экономика Российской Федерации».
«Формирование национальной экосистемы больших данных невозможно без соблюдения общих требований работы в распределенной среде, и серия международных стандартов ИСО/МЭК 20547-Х, последовательно адаптируемая в качестве национальных стандартов, служит этой цели», — отметил Юрий Хохлов, председатель подкомитета «Данные» (ПК 02) в составе ТК 164.
Первая редакция стандарта доступна: bigdata-msu.ru/standards
источник
2021 January 20
Data science [ru]
Быть программистом на JavaScript - прекрасное время. Веб-технологии развиваются все более быстрыми темпами, и поставщики браузеров больше не стесняются сразу же внедрять новые и инновационные функции. Этот сдвиг в развитии означает, что программистам необходимо постоянно обновлять свой набор навыков, чтобы оставаться конкурентоспособными на своей должности.
В этой статье мы рассмотрим шесть функций ES2020 и ES2021, которые недавно были реализованы в современных браузерах, и увидим, как они помогают разработчикам JavaScript писать менее подверженный ошибкам и более эффективный код.
источник
Data science [ru]
Какие из следующих ключевых слов используются в конструкции order by (выберите все подходящие варианты)?
#SQL#SQL
Ответ предусматривает несколько вариантов

abs - 1
👍 1%
having - 8
👍👍 9%
desk - 19
👍👍👍 22%
dask - 1
👍 1%
asc - 59
👍👍👍👍👍👍👍👍 67%
👥 88 человек уже проголосовало.
источник
Data science [ru]
⬆️ Правильный ответ ⬆️
                 desk
                 asc
источник
2021 January 21
Data science [ru]
В России случайно создали универсальную нейросеть для улучшения "зрения" беспилотников
Первоначально разработчики планировали создать приложение для распознавания документов
ТАСС, 12 февраля. Разрабатывая приложение для распознавания документов с помощью смартфонов, российские математики и программисты создали универсальную нейросеть, которая может улучшить системы компьютерного зрения на беспилотниках. Об этом пишет пресс-служба компании Smart Engines.

"Если говорить простым языком, в новую архитектуру в виде математических ограничений заложены законы перспективы. Этот новый подход ведет к интуитивному пониманию нейросетью геометрических законов физического трехмерного мира, законов перспективы и динамики изменения изображения сцены при движении", - пишет пресс-служба.
За последние годы ученые разработали десятки нейросетей, которые могут распознавать препятствия и вычислять оптимальную траекторию движения для автономных автомобилей, беспилотников и прочих приборов и устройств, которым нужно "видеть" окружающий мир и разбивать его на разные категории.
К примеру, подобные системы сейчас активно применяют для автоматического распознавания документов, при подсчете посетителей в ресторанах или проверки качества изготовления различных деталей на заводах. Как правило, каждая подобная система приспособлена для решения конкретной задачи, из-за чего они достаточно плохо справляются с другими проблемами, не похожими на исходную.
Коллектив российских ученых под руководством Дмитрия Николаева и Владимира Арлазарова, сотрудников Института проблем передачи информации РАН и ФИЦ "Информатика и управление" РАН, случайно создали универсальную нейросеть, которая умеет одинаково хорошо решать все эти задачи. Первоначально исследователи разрабатывали приложение для распознавания документов.
"Глаза" нейросети
Как отмечают исследователи, главная сложность при создании подобной программы заключается в том, что ее пользователи фотографируют документы не идеально ровно, а под некоторым углом. В результате этого алгоритм или человек видит не плоскую картинку, а трехмерное изображение с некоторой перспективой.
Для последних это обычно не представляет проблемы. Однако для того, чтобы создать системы искусственного интеллекта, которые смогли бы решить эту обыденную задачу, обычно нужно включить несколько десятков или даже сотни дополнительных слоев нейронов. Это значительно повышает энергетические аппетиты подобных систем, делает их непригодными для автономной работы на мобильных устройствах и не позволяет создавать универсальные нейросети.
Арлазаров, Николаев и их коллеги решили эту проблему, используя несколько новых математических принципов, в том числе так называемое "преобразование Хафа". Первую версию этого алгоритма еще в середине прошлого века создал американский математик Поль Хаф для анализа данных из пузырьковых детекторов частиц.
Этот набор формул позволяет искать прямые линии и определенные типы геометрических фигур на изображении с камеры смартфона или беспилотника. Встроив его в один из слоев нейросети, российские ученые получили универсальную систему, которая одинаково хорошо подходит для решения всех важнейших задач, которые связаны с компьютерным зрением. Как показали первые проверки, нейросеть оказалась примерно в сто раз более эффективной, чем классическая система U-net.
По словам исследователей, этот алгоритм можно применять не только для распознавания документов или улучшения работы автопилотов дронов и автомобилей, но и для анализа медицинских фотографий с томографов, а также в других областях науки и техники, где компьютерное зрение пока не применяется.

Источник: nauka.tass.ru
источник
Data science [ru]
Какие из определений таблицы гарантируют, что в колонку с1 нельзя поместить значения NULL (укажите все подходящие варианты)?
#SQL
Ответ предусматривает несколько вариантов

CREATE TABLE z1 (c1 INT PRIMARY KEY) - 13
👍👍👍 22%
CREATE TABLE z1 (C1 INT)
▫️ 0%
CREATE TABLE z1 (c1 INT NOT NULL) - 42
👍👍👍👍👍👍👍👍 71%
CREATE TABLE z1 (c1 INT DEFAULT 0) - 4
👍👍 7%
👥 59 человек уже проголосовало.
источник
Data science [ru]
⬆️ Правильный ответ ⬆️
CREATE TABLE z1 (c1 INT NOT NULL)
CREATE TABLE z1 (c1 INT PRIMARY KEY)
источник
2021 January 22
Data science [ru]
​​Как ИИ обыграл сильнейших чемпионов мира по Dota 2?
Игры всегда являлись испытательным полем для нейросетевых разработок.
Dota 2 — это многопользовательская командная игра в жанре multiplayer online battle arena, разработанная Valve. Она изображает сражение на симметричной карте: в каждом матче участвуют две команды по пять игроков, управляющих персонажами с различными наборами способностей. Для победы команда должна уничтожить крепость, принадлежащую вражеской стороне, и защитить от уничтожения собственную.
Противником людей на поле Dota 2 должен был стать искусственный интеллект от OpenAI. Исследовательская компания OpenAI была запущена в конце 2015 года Сэмом Альтманом и Илоном Маском с целью создать открытую компанию, работающую на благо общества, а не государства или корпораций. На данный момент она широко известна благодаря невероятно реалистичному алгоритму GPT-3, но впервые мир узнал об успехах только в 2017 году, когда OpenAI выступил на киберспортивном чемпионате The International 2017 и обыграл одного из самых известных игроков мира в матче 1 на 1 — Данила «Dendi» Ишутина.
Работа над ИИ велась 6 месяцев. В начале его научили базовым механикам — передвижению по карте и реакции на приближение противника, а затем перешли к более сложным задачам – анализу матчей и играм против слабых соперников. Для обучения были выделены 256 графических процессоров и 128 000 процессорных ядер. Всего через полгода тренировок ИИ смог победить игроков профессиональной сцены — Sumail и Arteezy. Однако перед алгоритмом стояла более комплексная задача. В июне 2018-го разработчики объявили, что хотят выставить нейросеть против человеческой команды.
Каждый день на протяжении года боты OpenAI играли друг против друга по 180 лет игрового времени. Несмотря на титанические усилия при подготовке, условия игры все равно пришлось упростить: для равного противостояния с людьми количество героев сократили до 18. Киберспортсменам запретили использовать артефакты, призывать иллюзии или существ. Ботам же уменьшили скорость реакции до человеческого уровня. Несмотря на то, что ИИ с легкостью обыгрывал любителей, профессиональная сцена в 2018 году поддаваться отказалась: игры OpenAI с paiN Gaming и сборной китайских киберспортсменов закончились поражением нейронной сети.
Реванш состоялся год спустя в рамках финала OpenAI Five. Против ИИ выступили пять профессиональных игроков из команды OG, чемпионов мира 2019 и 2018 года. За десять месяцев OpenAI провел 45 000 лет внутриигровых матчей Dota 2. Во время матчей ИИ использовал весьма агрессивную тактику: система отдала предпочтение быстрым боям и краткосрочной выгоде из-за проблем с прогнозированием перспективы, однако это все же сработало. Первый матч длился всего полчаса — ИИ победил людей без особого труда. Второй был еще короче: алгоритм атаковал людей практически не уходя в защиту, а киберспортсмены буквально «топтались на месте» в попытках отразить удар. OpenAI Five одержал победу со счетом 2:0.
Турнир показал, что методика обучения с подкреплением даёт свои плоды. И хотя до полноценного искусственного разума пока далеко, ИИ получил ещё одно очко в свою пользу.
источник
Data science [ru]
GraphTransformer: расширение языковой модели для графов
Зачем это нужно
Оригинальный трансформер разрабатывали для обработки естественного языка. Стандартная модель работает с полносвязными графами, которые представляют связи между словами (токенами) в последовательности. Такая архитектура не масштабируется на задачи обработки графов и плохо справляется с задачами, где важна топология графа. Исследователи предлагают расширение традиционного трансформера с четырьмя отличительными характеристиками.
источник
2021 January 23
Data science [ru]
Машинное обучение, классификация изображений

https://arxiv.org/abs/1911.04252
Когда речь заходит о deep learning’e в целом и о задачи классификации изображений в частности, общепринятой точкой зрения является, что чем больше размеченных данных, тем лучше качество модели.
Получить качественный размеченный датасет может быть долго и дорого, поэтому вместе с небольшим количеством размеченных данных можно использовать неразмеченные данные, которые имеются в избытке.
источник
Data science [ru]
Разбираем XLNet
XLNet – новейшая и самая крупная модель, появившаяся в активно развивающейся сфере обработки естественного языка (Natural Language Processing, NLP). Статья о XLNet объединяет современные достижения в NLP и инновационный подход к решению задачи языкового моделирования. Обученная на огромном корпусе, модель достигает выдающихся результатов в NLP-задачах бенчмарка GLUE.
XLNet представляет собой авторегрессионную языковую модель, которая выдает на выходе вероятность совместной встречаемости последовательности токенов на основе архитектуры рекуррентного Трансформера. Задачей обучения модели является подсчет вероятности для заданного слова (токена), при условии наличия всех других слов в предложении (а не только слов слева или справа от заданного).
Если вам все понятно в описании выше, то этот пост не для вас. Если же нет, то продолжайте читать о том, как работает XLNet и почему он стал стандартом для многих NLP задач.
источник
2021 January 24
Data science [ru]
Язык метафор недоступен искусственному интеллекту
#Мнение#Мнение
Между человеческим разумом и искусственным интеллектом существует фундаментальное различие, заявил философ, лидер движения «Суть времени» Сергей Кургинян 6 декабря в эфире программы «Воскресный вечер с Владимиром Соловьёвым» на телеканале «Россия 1».
«Формула существования искусственного интеллекта — она от тех отцов, которые только начинали им заниматься: Джон фон Нейман, Норберт Винер и дальше: „это очень быстрый и очень точный дурак“», — отметил политолог.
Кургинян привел базовое положение, на которое опирались создатели искусственного интеллекта, назвав его «грубоватым», но при этом очень верным.
Фундаментальное отличие искусственного интеллекта от человеческого, по мнению Кургиняна, находится «на уровне того скромного понятия, которое называется метафора и научное творчество».
Искусственный интеллект не способен создавать метафоры и творчески их осмысливать.
«Все языки, на которых машины говорят и будут говорить когда бы то ни было — формализованные языки, даже со стохастическими вариантами. Это языки, лишенные метафоричности», — подчеркнул он. Философ предложил порассуждать, каким образом искусственный интеллект будет анализировать поэму Маяковского «Хорошо!»
И я,
как весну человечества,
рожденную в трудах и в бою,
пою мое отечество,
республику мою!
«Машина смотрит: весна, человечество; весна — это время года, человечество — это совершенно другое, у него не может быть времени года. Она растеряна», — пояснил политолог.
По мнению Сергея Кургиняна, такие фундаментальные понятия как язык, логос, метафора позволяют человечеству развивать в себе творческое начало, быть свободным от избытка рациональности.
«Человеческий язык не имеет никакого отношения к машинам и не будет никогда к ним сводиться. Потому, что вся сфера неформальности, свободы и всего остального находится в этом [человеческом] языке. Значит, как только мы начинаем обоготворять машину, мы переходим в так называемое царство количества — царство цифры», — заявил аналитик, подчеркнув, что альтернативой цифре всегда было слово.
«Отказ от человечества слова и переход к человечеству цифры — смертелен», — уверен Кургинян. «Никакой моралью вы его не сдержите! Либо смерть человечества, либо антропоцентрическое развитие, в котором, конечно, будут использоваться и такие машины, и следующие, и другие», — резюмировал он.

Источник: rossaprimavera.ru
источник