杭州做美妆的网站计算机专业做网站的开题报告

杭州做美妆的网站,计算机专业做网站的开题报告,鞍山百度网站怎么制作,哪些网站是动态文章是Stanford CS336课程的系统学习笔记#xff0c;详细介绍了大语言模型(LLM)的全栈知识#xff0c;包括Tokenizer设计、计算复杂度分析、网络结构优化、超参数选择、训练技巧、MoE架构、GPU优化、分布式并行、推理加速、Scaling Law、模型评估和数据处理等关键技术。内容全…文章是Stanford CS336课程的系统学习笔记详细介绍了大语言模型(LLM)的全栈知识包括Tokenizer设计、计算复杂度分析、网络结构优化、超参数选择、训练技巧、MoE架构、GPU优化、分布式并行、推理加速、Scaling Law、模型评估和数据处理等关键技术。内容全面且系统适合LLM开发者深入学习。01BPE Tokenizer自底向上合并字节的分词器Byte-Pair Encoding。通过不断合并高频字节对逐步形成稳定的子词单元。02FLOPs 计算与显存估算计算量估算矩阵乘法中平均每个参数大约需要 2 FLOPs/token。例如7B 模型 ≈ 14B FLOPs/token。常用操作tensorstride实现、einops、einsum、jaxtyping。浮点数精度表示fp32tf3219bitfp16、bf16fp8低精度 动态范围限制低精度 → 计算更快但数值稳定性下降前向/反向计算复杂度backward ≈ forward 的 2 倍因为要对参数和激活都做运算。显存估算参数 激活 梯度 优化器状态。推理阶段可量化节省显存但训练阶段通常不能量化。03网络结构选择归一化LayerNorm → RMSNorm无 bias减少内存移动和显存占用同时保持可学习性。位置选择PostNorm → PreNorm → PreAfter但不是 Post优点无 warmup、不易梯度爆炸/消失更易训练。FFN 设计去掉 bias减少显存占用避免低精度下 bias 溢出。激活函数GELU → SwiGLU门控激活效果更好。输出维度缩放d_out 2/3 * d_model参数量不变。位置编码三角函数 → RoPE设计原则保留相对位置信息 f(x,i) * f(y,j) g(x,y,i-j)。04超参数选择FFN 宽度普通激活d_hidden_ffn 4 * d_model门控激活d_hidden_ffn 8/3 * d_model总参数保持一致。注意力头head * head_dim d_model若 head * head_dim d_model → 部分头会退化为低秩注意力。宽深比d_model / layer_num ≈ 100太宽 → T5太深 → GPT-2都不好。词表规模单语言30K–50K多语言100K训练策略数据只过一遍epoch1。Pretrain 阶段一般加 dropout0.1部分工作不加。学习率调度训练后期学习率降到初始值的 1/10 以下如 1e-5进入微调阶段。Weight Decay后期正则化作用增强强制参数收缩至零提升泛化能力。05训练技巧稳定性监控同时观察 loss 和梯度 L2避免 spike。不追求 loss 越低越好而是追求稳定。spike 来源Attention softmax 溢出Output softmax 溢出解决方法Output softmax增加 z-loss (logZ - 0)²Attention softmaxQK NormalizationSoft-cap 技术效果一般不如 QKNorm。推理显存优化KV Cache 优化MQA → KV 共享多头 QKV 复用。Sparse AttentionSliding Window、RoPE Window。06Mixture of ExpertsMoE问题多机环境才有成本优势路由策略不可微依赖启发式。MoE vs Dense LayerHash Expert / Switch Layer / Dynamic Routing → 不同策略。基本思想每个 token 选择 top-K expertsK≥2 更利于探索。DeepSeek V3 MoESigmoid gate reweight防溢出Softmax gate 可不 reweight后续层自适应调整 scale采用 8 专用 1 Shared expert降低 FFN hidden dim。负载均衡Gate 加噪声训练前期探索后期逐渐消失。Switch Transformer / DeepSeek V1V2 → 加辅助 loss 控制专家使用比例。DeepSeek V3 → online bias 调整推理阶段加 sequence-wise imbalance loss。额外问题推理时专家设备过载 → 随机 drop token导致不确定性。Gate softmax 必须用 fp32。小数据集易过拟合 → 交替 MoE Dense 层SFT 时只调 Dense。Upcycling 技术从 dense 模型复制 FFN形成 MoE 结构增加专家负载均衡 loss。MLA 优化减少 RoPE 影响分解 Q/K 计算。DeepseekV3 MTP 优化多 token 并行预测。07GPU 硬件与优化基本概念一个 SM block warp32 threads。同 warp 内必须执行相同指令。性能瓶颈FLOPs 增长快于显存带宽 → 显存更宝贵。优化技巧避免分支if 会造成线程空转。混合精度fp32/bf16 → 聚合操作fp16/bf16 → 矩阵乘法。Kernel Fusion减少读写显存次数。重计算用计算换内存 IO。Memory Coalescing寻址对齐充分利用 DRAM burst。Tilingtile 级别并行减少残余块保证高效并发。Flash AttentionOnline Softmax Tiling Kernel Fusion。性能分析工具PyTorch profiler粗NVTX profiler细CPUGPU 协同算子优化方案优先级PyTorch 内置算子最快Triton 手写函数Torch.compile 优化函数CUDA Kernel麻烦Python 手写函数最慢08分布式并行数据并行ZeROZeRO-1和 DDP 通信量相同all reduce reduce scatter all gather显存节省2212/N。ZeRO-2梯度计算与reduce scatter 通信异步。ZeRO-3FSDP参数切分显存更省通信 2all gather1reduce scatter1.5 倍 costZeRO 要求激活函数仍需全部保留能扩展系统接受更大的 batchsize缺点超大网络超多节点因通信量导致性能下降模型并行Pipeline ParallelPP通信激活值节省显存适合大模型。Tensor ParallelTP依赖allreduce矩阵乘法可并行LayerNorm 不行。组合策略优先 DPZeRO再单机内部 TP≤8最后 PP。DeepSeek V316路 PP Expert Parallel ZeRO-1 DP。GPU 数量公式gpu_num dp × pp × tp09推理InferencePrefill 阶段Compute-limitedbatchsize 增大更高效。Generate 阶段Memory-limited效率1。加速方法KV Cache 优化GQAMLACLAGlobalLocal Attention。Attention 结构优化Mamba、Linear Attention、Diffusion 解码。量化int8。蒸馏大模型指导小模型Draft Check。动态 batching支持新增 request。Page Attention减少显存碎片。10Scaling LawData Scaling Law小规模实验 → 确定 scaling region → 扩展至大规模。用于预测数据组成占比的需求network架构选择优化器选择超参选择Model Scaling Law不同 flops 下的最优模型范围。学习率是例外不符合 scaling law。Critical Batch Size小 batch → 噪声大大 batch → 噪声比例恒定可用梯度累积扩展 batch。学习率与 batch 协同扩大 batch → 必须线性增大学习率保持更新幅度不变。Scaling Prediction多次实验拟合最优点预测最优模型参数。muPMaximal Update Parametrization针对 LLM 超参数跨尺度迁移。通过重新参数化 → 保持训练动态稳定。小模型调参 → 可迁移到大模型。11模型评估Perplexity LevelTask Level12数据处理工具kenLMngramfastText 分类器Importance Sampling应用语种识别数据质量过滤有害文本过滤去重方法BloomFilter、MinHash重复文档统计次数 → log 采样训练13Reasoning推理能力RLHFReinforcement Learning with Human FeedbackPPOProximal Policy OptimizationDPODirect Preference OptimizationGRPOGeneralized Reinforcement Preference Optimization​最后我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我整理出这套 AI 大模型突围资料包✅AI大模型学习路线图✅Agent行业报告✅100集大模型视频教程✅大模型书籍PDF✅DeepSeek教程✅AI产品经理入门资料完整的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】​​为什么说现在普通人就业/升职加薪的首选是AI大模型人工智能技术的爆发式增长正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议到全国两会关于AI产业发展的政策聚焦再到招聘会上排起的长队AI的热度已从技术领域渗透到就业市场的每一个角落。智联招聘的最新数据给出了最直观的印证2025年2月AI领域求职人数同比增幅突破200%远超其他行业平均水平整个人工智能行业的求职增速达到33.4%位居各行业榜首其中人工智能工程师岗位的求职热度更是飙升69.6%。AI产业的快速扩张也让人才供需矛盾愈发突出。麦肯锡报告明确预测到2030年中国AI专业人才需求将达600万人人才缺口可能高达400万人这一缺口不仅存在于核心技术领域更蔓延至产业应用的各个环节。​​资料包有什么①从入门到精通的全套视频教程⑤⑥包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图还有视频解说全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤ 这些资料真的有用吗?这份资料由我和鲁为民博士共同整理鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。所有的视频教程由智泊AI老师录制且资料与智泊AI共享相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌构建起前沿课程智能实训精准就业的高效培养体系。课堂上不光教理论还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作把课本知识变成真本事‌​​​​如果说你是以下人群中的其中一类都可以来智泊AI学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生‌无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型‌非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界‌。业务赋能 ‌突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型‌。获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】**​