Niektóre rzeczy mogą jeszcze nie działaćIT.Community jest w becie: niektóre rzeczy mogą nie działać tak, jak powinny. Widzisz problem? Napisz do nas, a szybko go naprawimy.
Reducing model weight precision to cut memory and speed up inference. Covers GGUF and GPTQ formats, 4-bit and 8-bit methods, and trade-offs against output quality.
1oferta pracy
0nadchodzących wydarzeń
0profili
0firm
0wiadomości
GenAI Algorithms Intern – Model Optimization for Inference
NVIDIA
Warsaw, Poland26 760 - 46 390EUR / Rocznie
Generative AILarge Language ModelsModel QuantizationDeep LearningGPU ProgrammingKnowledge DistillationNVIDIA CUDAPythonPyTorchvLLM
Używamy tylko plików cookies, których strona potrzebuje do działania: żeby utrzymać twoje logowanie i zapamiętać twoje wybory. Bez reklam, bez trackerów. Dowiedz się więcej
