D
tpu?
GPT-2 туда ещё не портировали
Size: a a a
2020 July 15
AI
GPT-2 туда ещё не портировали
портировали https://github.com/ConnorJL/GPT2
D
I
добавить слои к gpt2 вы можете и так, используя предобученные веса.
хочется метафорически предположить, что добавить слоев к гпт2, чтобы получить гпт3 — это по масштабам как добавить 99 этажей к двухэтажному дачному домику, чтобы получить небоскреб.
t
хочется метафорически предположить, что добавить слоев к гпт2, чтобы получить гпт3 — это по масштабам как добавить 99 этажей к двухэтажному дачному домику, чтобы получить небоскреб.
не могу не согласиться, но коли человеку хочется чем-то заняться
t
и ответ "не выйдет никак" не принимается категорически
v
AI
а в transformers его нет
D
не могу не согласиться, но коли человеку хочется чем-то заняться
у человека необходимость, ему надо модель для инструмента которая не тупит так сильно как ванильный gpt-2
t
"тупит" в значении времени инференса или в значении перплексити?
t
если время инференса, то больше слоев будет считаться еще дольше
t
если перплексити, то вы не дообучите gpt2 на большем количестве слоев до хорошего результата
I
не могу не согласиться, но коли человеку хочется чем-то заняться
выглядит, что человек хочется доказать свою позицию. при этом еще издалека: "я-ничего-не-понимаю-в-дс". но это классно, что ты видишь нечто большее. я что-то быстро сдался. утро видимо)))
D
"тупит" в значении времени инференса или в значении перплексити?
не знаю как точно размаппить моё объяснение выше по этим терминам, однако я использую GPT-2 XL предобученный
t
выглядит, что человек хочется доказать свою позицию. при этом еще издалека: "я-ничего-не-понимаю-в-дс". но это классно, что ты видишь нечто большее. я что-то быстро сдался. утро видимо)))
меня порадовал пассаж про "зачем мне загружать большую модель в gpu, если файл ipynb такой маленький и чудесно помещается в колаб"
D
меня порадовал пассаж про "зачем мне загружать большую модель в gpu, если файл ipynb такой маленький и чудесно помещается в колаб"
я уже этот момент объяснил
D
D
такие дела