Size: a a a

Архитектура ИТ-решений

2019 October 01

S

Sergey in Архитектура ИТ-решений
Alexey Pryanishnikov
ой, а давайте лучше холивар про "да как можно кодить на языке, где код структурируется отступами от начала строки?!" )

Имхо - сменилось поколение. Мне вот раньше, ставя задачи программистам, не приходило в голову, что программист может "не помнить про память" или, как многие вполне успешные программисты сейчас, вообще про неё ничего толком не знать. Потом привык
потому каждый патч Винды и вызывает непредсказуемые проблемы. Падения уровня качества софта видно везде
источник

S

Sergey in Архитектура ИТ-решений
бесконечные апдейты с багфиксами для почти любого софта говорят о том, что в консерватории надо что-то начинать править
источник

SB

Sergei Beilin in Архитектура ИТ-решений
Sergey
потому каждый патч Винды и вызывает непредсказуемые проблемы. Падения уровня качества софта видно везде
Да, конечно, обновление с NT 3.5 на 3.51 всегда же проходило без проблем. Или NetWare с 3.11 на 3.12
источник

SB

Sergei Beilin in Архитектура ИТ-решений
Sergey
бесконечные апдейты с багфиксами для почти любого софта говорят о том, что в консерватории надо что-то начинать править
да, перестать выпускать по 100 фич в месяц, только пять - в год.
источник

MB

Maxim Bendin in Архитектура ИТ-решений
Sergei Beilin
Я, как человек в Python достаточно опытый, и женатый на датасатанистке, буду, конечно, рекомендовать Python.
- jupyter kernel можно запустить на удалённой, мощной машине, подключаться через веб хоть с телефона;
- юпитерный код можно вполне быстро адаптировать для промышленного исполниения
- невероятное количество библиотек, в частности, сильно оптимизированных, и не только "просто обёртка для Си или фортрана", а иногда и с прозрачным распараллеливанием
- коммюнити!
и прожорливость в выч.ресурсха питона не смущает? :) у меня один товарищ на питоне только отрабатывает модели, гипотезы. а в продакшн (и из-за прожора, и из-за недостаточной для него скорости исполнения) выводит, переписывая порой чуть ли не на голую яву (до крестов и раста с голангом пока не хочет скатываться)
источник

VD

Vitaly Derbin in Архитектура ИТ-решений
Alexey Pryanishnikov
ой, а давайте лучше холивар про "да как можно кодить на языке, где код структурируется отступами от начала строки?!" )

Имхо - сменилось поколение. Мне вот раньше, ставя задачи программистам, не приходило в голову, что программист может "не помнить про память" или, как многие вполне успешные программисты сейчас, вообще про неё ничего толком не знать. Потом привык
это немного другая история. Программисту действительно грешно не помнить про память, но студенты —совсем другая история
источник

S

Sergey in Архитектура ИТ-решений
Sergei Beilin
да, перестать выпускать по 100 фич в месяц, только пять - в год.
важно качество фич, лучше меньше да лучше :)
источник

KG

Kirill Gorin in Архитектура ИТ-решений
Alexey Pryanishnikov
ой, а давайте лучше холивар про "да как можно кодить на языке, где код структурируется отступами от начала строки?!" )

Имхо - сменилось поколение. Мне вот раньше, ставя задачи программистам, не приходило в голову, что программист может "не помнить про память" или, как многие вполне успешные программисты сейчас, вообще про неё ничего толком не знать. Потом привык
это вы про что? в С++ если нормально писать про память уже не надо знать
источник

MB

Maxim Bendin in Архитектура ИТ-решений
Alexey Pryanishnikov
ой, а давайте лучше холивар про "да как можно кодить на языке, где код структурируется отступами от начала строки?!" )

Имхо - сменилось поколение. Мне вот раньше, ставя задачи программистам, не приходило в голову, что программист может "не помнить про память" или, как многие вполне успешные программисты сейчас, вообще про неё ничего толком не знать. Потом привык
не помнят. да. но я своим периодически напоминаю.
источник

SB

Sergei Beilin in Архитектура ИТ-решений
Maxim Bendin
и прожорливость в выч.ресурсха питона не смущает? :) у меня один товарищ на питоне только отрабатывает модели, гипотезы. а в продакшн (и из-за прожора, и из-за недостаточной для него скорости исполнения) выводит, переписывая порой чуть ли не на голую яву (до крестов и раста с голангом пока не хочет скатываться)
Нет, не смущает:
- память сравнительно дешёвая нынче,
- не всегда такой уж ужасный оверхед,
- многие серьезные либы - питоновые обертки вокруг C/C++/Fortran,
- не всегда надо всё сразу грузить в оперативку, иногда после экспериментов рождается какое-то стримовое решение
источник

VD

Vitaly Derbin in Архитектура ИТ-решений
Edward Galiaskarov
Хороший кейс. А что за задачу решали
чего там только не было... и конечные автоматы те же и теорвоз и распознавание всех сортов и расцветок) Мы с шефом сильнозашумленные сигналы по форме спектра распознавали и георазведку решали
источник

MB

Maxim Bendin in Архитектура ИТ-решений
Sergei Beilin
Нет, не смущает:
- память сравнительно дешёвая нынче,
- не всегда такой уж ужасный оверхед,
- многие серьезные либы - питоновые обертки вокруг C/C++/Fortran,
- не всегда надо всё сразу грузить в оперативку, иногда после экспериментов рождается какое-то стримовое решение
ок, ок)) я просто к тому, что дата-сайентологи часто дальше экспериментов не идут. отработали гипотезу, выкатили отчет, потушили ресы. соответственно на короткое время можно и пренебречь стоимостью памяти. а когда у вас молотилка 24*7 экономия будет вовсе не на спичках.
но - все, конечно, будет от задачи зависеть.
источник

SB

Sergei Beilin in Архитектура ИТ-решений
Maxim Bendin
ок, ок)) я просто к тому, что дата-сайентологи часто дальше экспериментов не идут. отработали гипотезу, выкатили отчет, потушили ресы. соответственно на короткое время можно и пренебречь стоимостью памяти. а когда у вас молотилка 24*7 экономия будет вовсе не на спичках.
но - все, конечно, будет от задачи зависеть.
Очень часто в прод это не попадает потому, что помочь выкатить это в прод некому. Недавно жене сказали "давай это в прод, будем в авс-лямбде запускать по крону". А в том пайплайне JDBC-драйвер тащит в R огромный датасет, потом только минут 30 строится отчёт, и потом он при помощи pdfLaTeX (и хитрого пакета для интеграции его с R) генерится отчёт. Для эффективной работы датасатаниста, в команде как правило должен быть ещё и дата-инженер, и бэкендщик. У всех своя специализация, не может человек быть специалистом во всём одновременно.
источник

SB

Sergei Beilin in Архитектура ИТ-решений
Что касается костов, "молотилка 24х7" для большинства прикладных задач того же е-коммёрса меньше зарплаты программистов, способных её оптимизировать.
источник

YS

Yury Sverdlov in Архитектура ИТ-решений
Sergei Beilin
Очень часто в прод это не попадает потому, что помочь выкатить это в прод некому. Недавно жене сказали "давай это в прод, будем в авс-лямбде запускать по крону". А в том пайплайне JDBC-драйвер тащит в R огромный датасет, потом только минут 30 строится отчёт, и потом он при помощи pdfLaTeX (и хитрого пакета для интеграции его с R) генерится отчёт. Для эффективной работы датасатаниста, в команде как правило должен быть ещё и дата-инженер, и бэкендщик. У всех своя специализация, не может человек быть специалистом во всём одновременно.
Угу. Мне тут дата-сатанист знакомый плакался, что на собственно дата-сатанизм остается только 25% времени. Вся работа - кодить и тестировать пайплайны
источник

MB

Maxim Bendin in Архитектура ИТ-решений
Sergei Beilin
Очень часто в прод это не попадает потому, что помочь выкатить это в прод некому. Недавно жене сказали "давай это в прод, будем в авс-лямбде запускать по крону". А в том пайплайне JDBC-драйвер тащит в R огромный датасет, потом только минут 30 строится отчёт, и потом он при помощи pdfLaTeX (и хитрого пакета для интеграции его с R) генерится отчёт. Для эффективной работы датасатаниста, в команде как правило должен быть ещё и дата-инженер, и бэкендщик. У всех своя специализация, не может человек быть специалистом во всём одновременно.
отличный кейс))).  в моем случае моему товарищу проще: он и по дата-саенсу, и ява-разраб хороший (причем пришлось помаяться в одном общем с ним проекте как раз в части оптимизаций).
источник

SB

Sergei Beilin in Архитектура ИТ-решений
Maxim Bendin
отличный кейс))).  в моем случае моему товарищу проще: он и по дата-саенсу, и ява-разраб хороший (причем пришлось помаяться в одном общем с ним проекте как раз в части оптимизаций).
Кейс аналогичный какой-то прям вот каждую неделю. А моя жена пришла в датасайенс из чистой математики. Но, на заметку, с другой стороны от датасатаниста - бизнес: надо же обхъяснить, что за тренды мы тут увидели и какие рекомендации.
источник

YS

Yury Sverdlov in Архитектура ИТ-решений
Вот "чистые математики" и демотивируются после полугода такой работы
источник

EG

Edward Galiaskarov in Архитектура ИТ-решений
Vitaly Derbin
чего там только не было... и конечные автоматы те же и теорвоз и распознавание всех сортов и расцветок) Мы с шефом сильнозашумленные сигналы по форме спектра распознавали и георазведку решали
Если я не ошибаюсь, а я могу ошибаться КлА не совсем моя научная область (или честнее сказать совсем не моя), но КлА - это не конечные автоматы, хотя и много общего.
источник

VD

Vitaly Derbin in Архитектура ИТ-решений
Edward Galiaskarov
Если я не ошибаюсь, а я могу ошибаться КлА не совсем моя научная область (или честнее сказать совсем не моя), но КлА - это не конечные автоматы, хотя и много общего.
прошу прощения, клеточные, конечно же. Заработался))
источник