👍

Я думал Докер в основном решение для переноса приложений на сервера... И что для разных версий Питона будет достаточно виртуальных окружений, и что Докером.. это как из пушки по воробьям (он же очень тяжеловесный)

*хотя медленно и со скрипом он работает в макоси и винде, в линуксе-то виртуализация не нужна

После того, как я очень долго раскуривала, как поставить два окружения анаконды, ставила кучу пакетов, и все это потом сломалось нахрен из-за одного неверного движения, я решила, что второй раз я не готова через это пройти. Не знаю про тяжеловесность, но для меня это оказалось намного проще, просто запустить контейнер по специальному образу jupyter с примонтированной папкой. И все, теперь просто работаю в этом контейнере, вообще не парюсь о версионности питона и анаконде

У меня винда, никаких скрипов не заметила, если честно. Но у меня ноут вполне приличный

Это тома Войны и мира. Я написал программу, которая из всех цветов, встречающихся в тексте, делает подобную визуализацию типа штрихкод.

какое-то слишком неоновое как для толстого

пришлось перечитать Толстого, не книгу, конечно, а wiki. Не хватает меток - где сражение при Аустерлице, где первый бал Наташи Ростовой, где сожжение Москвы, где Бородино?

Ребят, привет. Прохожу обучение на размеченных данных, неделю 2.
В лекции «Сравнение алгоритмов и выбор гиперпараметров» лектор объясняет необходимость введения тестовой (контрольной) выборки помимо отложенной в условиях, когда мы выбираем алгоритм из множества разных. Я никак не понимаю его аргумент, мол нужно ввести контрольную выборку, т. к. под валидацию мы подгоняемся. Кто-то может объяснить каким образом мы под нее подгоняемся?

Разве ситуация, при которой мы обучаем один и тот же алгоритм k раз с разными гиперпараметрами, чтобы подобрать их, условно, не эквивалентен ситуации с выбором 1 из k различных алгоритмов? Интуитивно понятно, что дополнительный этап валидирования результатов — это в любом случае хорошо — мы как бы подвтерждаем, что не способ формирования отложенной выборки привел к хорошим результатам, а именно сам алгоритм. Но тогда при чем тут пример с кучей алгоритмов? Короче говоря, хотелось бы какого-то чуть более подробного обоснования этой схемы...

Ну можно вот такое объяснение:

Ваш датасет всегда - это выборка из генеральной совокупности.
То есть вещь из случайного распределения.

Далее вы учите на этом свою модель, она себе какие-то параметры подбирает. Эти параметры высчитываются на основе случайных величин - они тоже штуки случайные.
Дальше вы валидируете свои результаты на каком-то датасете - качество на нем тоже величина случайная.
Пусть ваши модели - гадость редкостная, дающие в среднем качество 0.5. Однако есть у качества ими показываемого и дисперсия.

Пусть вероятность получить качество больше условных 0.5 - 0.20
Вы тестируете 100 моделей. Сколько-то моделей потому покажут результат больше 0.5.

100 моделей вы эти можете получать любым образом - брать один тип модели и разные гиперпараметры, брать просто много моделей с дефолтными гиперпараметрами. Факт лишь в том, что чем больше вы моделей наберете, тем больше по случайным причинам у вас будет моделей, показавших хороший результат на валидации, хотя, разумеется, в реальной жизни они себя покажут отстойно.
То есть наблюдаем то самое переобучение.

Потому, по-хорошему, мы на валидации выбираем и модель и гиперпараметры. А на тесте мы используем только итоговую модель.

Спасибо, появился инсайтик по поводу статистического обоснования

Вторая неделя математика и питон, тест
Матрицы и NumPy

Вопрос 6

Какие из нижеприведенных команд корректно отработают и создадут двумерный массив?


Дано только два правильных ответа если их выбрать говорится что выбрал не все правильные ответы

Или есть ещё один правильный ответ?

Хых, вопрос есть, а ответов нет. Чтобы можно было бы ответить, лучше привести эти ответы в виде текста или скрина)

Вопрос 6
Какие из нижеприведенных команд корректно отработают и создадут двумерный массив?

0 / 1 балл

d = np.ones((10, 10))


a = np.array([4, 3, 2], [2, 9, 1], [3, 1, 9])


c = np.eye((4, 5))


b = np.eye(2, 3)

Правильно
Команда корректно отработает и будет создан массив размера (2, 3) с единицами на главной диагонали.


e = np.arange(1, 13, 2).reshape((3, 2))

Правильно
Команда корректно отработает и будет создан массив размера (3, 2)

Вы выбрали не все правильные ответы

а чем тебя 1 вариант не устроили?

d создаст двумерный массив с единицами. Первый аргумент - размерность в виде массива или числа
a выдаст ошибку, так как в первый аргумент кладется массив или массив массивов
c выдаст ошибку, так как размерность задается двумя целочисленными параметрами, а не массивом в первом параметре
b создаст единичную матрицу

Читаем доку:
- https://numpy.org/doc/stable/reference/generated/numpy.array.html
- https://numpy.org/doc/stable/reference/generated/numpy.ones.html
- https://numpy.org/doc/stable/reference/generated/numpy.eye.html

А, да, туплю, спасибо )

Спасибо

Организаторам  c2w2 "Задание, оцениваемое сокурсниками: Линейная регрессия: переобучение и регуляризация" Массив LassoCV.mse_path_ в Python 2 идет в прямом порядке alphas, в Python 3 в обратном порядке. Поэтому у всех кто сдавал на Питон 3 последние два пункта (минимумы и графики) неправильные (и у меня тоже - неделю голову ломал). А тут попалось на проверку задание на питон 2 и пришло просветление. np.flipud() решает все проблемы но это ооочень неочевидно. Поправьте. пожалуйста ноутбук - не пугайте людей.