Open Source Models with Hugging Face
Natural Language Processing (NLP)
安装依赖库
pip install transformers
Conversational
vLLM 部署 Qwen1.5 LLM
# (Optional) Create a new conda environment.
conda create -n vllm python=3.9 -y
conda activate vllm
# Install vLLM with CUDA 12.1.
pip install vllm
vLLM 帮助 vLLM 兼容 OpenAI 的 RESTful API 服务器。 可选参数： -h, --help 显示此帮助信息并退出 --host HOST 主机名 --port PORT 端口号 --allow-credentials 允许凭证 --allowed-origins ALLOWED_ORIGINS 允许的来源 --allowed-methods ALLOWED_METHODS 允许的方法 --allowed-headers ALLOWED_HEADERS 允许的头部 --api-key API_KEY 如果提供，服务器将要求在头部中呈现此密钥。 --served-model-name SERVED_MODEL_NAME 在API中使用的模型名称。如果没有指定，模型名称将与huggingface名称相同。 --lora-modules LORA_MODULES [LORA_MODULES ...] LoRA模块配置，格式为名称=路径。可以指定多个模块。
MLX: An array framework for Apple silicon
MLX 介绍
MLX 是一个为 Apple Silicon 芯片上的机器学习研究设计的 array 框架，由 Apple 机器学习研究团队提供。
- 熟悉的 API：MLX 拥有一个与 NumPy 紧密对应的 Python API。MLX 还拥有功能齐全的 C++、C 和 Swift API，这些 API 也紧密地反映了 Python API。MLX 拥有更高级别的包，如 mlx.nn 和 mlx.optimizers，它们的 API 紧密跟随 PyTorch，以简化构建更复杂模型的过程。
- 统一内存：MLX 与其他框架的一个显著区别在于其统一内存模型。MLX 中的数组存在于共享内存中。可以在任何支持的设备类型上执行 MLX 数组的操作，无需数据传输。
- MLX 的设计受到了像 NumPy、PyTorch、Jax 和 ArrayFire 这样的框架的启发。
安装
- pip
pip install mlx
pip install mlx-lm
- conda
conda install -c conda-forge mlx
conda install -c conda-forge mlx-lm
Candle
克隆
git clone https://github.com/huggingface/candle
cd candle
Phi-2
- CPU
生成式AI
机器学习的方法
监督学习（Supervised Learning）
监督学习使用带有标签的训练数据来训练模型。这些标签是预先定义的输出，模型通过学习输入数据与这些输出之间的关系来进行预测。监督学习的任务通常分为两类：分类（预测离散的标签）和回归（预测连续的数值）。常见的监督学习算法包括决策树、逻辑回归、支持向量机（SVM）、神经网络等。监督学习广泛应用于图像识别、语音识别、医疗诊断等领域。
无监督学习（Unsupervised Learning）
无监督学习不依赖于标签数据，而是试图在没有明确指导的情况下发现数据中的结构和模式。它的主要任务包括聚类（将数据分组到不同的簇中）和降维（减少数据的复杂性，同时保留其主要特征）。无监督学习常用于市场细分、社交网络分析、异常检测等场景。算法示例包括K-means聚类、主成分分析（PCA）等。
自监督学习（Self-Supervised Learning）
自监督学习是一种无监督学习的形式，它通过从数据本身生成伪标签来创建监督信号。这种方法通常涉及到设计任务，使得模型能够从数据中学习有用的特征表示，而不需要人工标注。自监督学习在计算机视觉和自然语言处理中尤其流行，例如，通过预测图像的旋转角度或文本的下一个字来训练模型。这种方法有助于减少对大量标注数据的依赖，同时为下游任务提供预训练的模型。
生成式AI（Generative AI） 生成式AI的目标是
Rust 入门
Rust 安装
macOS
- 安装
rustup，它是 Rust 的版本管理工具。
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sudo sh
这里加了
sudo是因为修改配置文件需要权限。
Rustup 元数据和工具链将安装到 Rustup 的主目录，位于：~/.rustup，这可以使用 RUSTUP_HOME 环境变量进行修改。
Cargo 主目录位于：~/.cargo，这可以使用 CARGO_HOME 环境变量进行修改。
cargo、rustc、rustup 等命令安装到 Cargo 的 bin 目录，位于：~/.cargo/bin。
- 更新 Rust
sudo rustup update
- 卸载 Rust
sudo rustup self uninstall
- 查看版本
$ cargo --version
cargo 1.76.0 (c84b36747 2024-01-18)
$ rust rustc --version
rustc 1.76.0 (07dca489a 2024-02-04)
$ rust rustdoc --version
rustdoc 1.76.0 (07dca489a 2024-02-04)
cargo 是 Rust 的构建工具，类似于 npm、pip、go 等。
Kimi（月之暗面）简历的探索
这里使用了 Kimi 月之暗面 对简历这个场景进行了探索，Kimi 支持 128k 的长上下文，超过20万个汉字。
通过简历评估一下这位算法工程师的能力。
上传简历
根据李秀宁的简历，我们可以对她的技能和经验进行以下评估：
1. 编程技能：
她掌握多种编程语言，包括MATLAB、C、C++、Python，这些都是算法开发中常用的语言。
熟练使用多个开发平台，如MATLAB、Visual Studio、Eclipse、Qt、CCS、Pycharm，这表明她具备跨平台开发的能力。
熟悉OpenCV、yolov 5等图像处理库，这些是计算机视觉领域的重要工具。
2. 专业知识：
她掌握了多种信号处理方法，如快速傅里叶变换、短时傅里叶变换、数字滤波器设计等，这些都是信号处理和图像处理领域的基础。
熟悉深度学习框架，如tensorflow、keras、Pytorch，这些是当前人工智能和机器学习领域的主流工具。
3. 工作经验：
// ...
我们需要一位NLP工程师，专注能大模型的应用，她能够胜任？ 根据李秀宁的简历，她在图像处理和信号处理方面有丰富的经验和专业知识，但在自然语言处理（NLP）和大模型应用方面的经验并不明显。简历中没有提到她有直接从事NLP项目或使用大模型（如BERT、GPT等）的经验。 NLP工程师通常需要具备以下技能和经验： 1.
没有找到匹配的文章