5 篇文章带有标签 “datasets”

Hugging Face 快速入门

Hugging Face

Hugging Face 是所有机器学习任务的大本营。 您可以在这里找到开始一项任务所需的内容：演示、用例、模型、数据集等等！

Models

Datasets

Spaces

创建和托管很棒的机器学习演示

Documentations

Solutions

Expert Acceleration Program（专家加速计划）- 加速您的 ML 路线图

从我们屡获殊荣的机器学习专家那里获得指导。我们组建了一个世界一流的团队，帮助客户更快地构建更好的 ML 解决方案。

机器学习的成功取决于为用例找到最佳架构、微调模型并将它们部署到生产环境中。 所有这些都需要经验和技能的正确结合。 我们的专家加速计划提供必要的技术专长，以实施最先进的技术、做出更好的决策并更快地进入市场。

  • 如何为我的用例微调（fine-tune）模型？ 哪些基础架构（base architectures）？多少训练数据？
  • 如何优化我的模型以获得最小延迟（latency）？ 蒸馏（Distillation）。汇编（Compilation）。量化（Quantization）。修剪（Pruning）。 我们可以指导您完成每一步。
  • 如何优化我的生产环境？ 调整您的 CPU、GPU 或 AI 加速器配置以获得最大性能。
  • 如何在 SageMaker 中使用 Transformers？ 模型并行性（model parallelism）、数据并行性（data parallelism）、部署（deployment）等。
hugging-facetransformersmodel-deploymentdatasetscomputer-visionnlpaudiomachine-learningai

Roboflow 快速入门

创建工作区

在 Workspaces 侧边栏单击 ”Add Workspace“。

工作区是团队可以协作创建、管理和标记数据集以及训练和部署模型的地方。

创建项目

单击 “Create New Project”

项目的菜单项

Upload（上传数据集）

支持直接上传标注好的数据集。

Annotate（标注）

Dataset（数据集）

Generate（生成新版本数据集）

1️⃣ Source Images

2️⃣ Train/Test Split

3️⃣ Preprocessing

4️⃣ Augmentation

5️⃣ Generate

Versions（数据集版本）

单击“Export”，可以导出不同格式的数据集。

单击“Start Training”，可以进行训练，能够进行3次免费训练。

Deploy（预测或部署）

基于 Python 的推理示例

pip install roboflow
roboflowobject-detectioncomputer-visiondatasetsannotationmodel-trainingdeploymentpythonyolov8quickstart

Deep Learning Accuracy Validation Framework

深度学习准确性验证框架

例子

进入 accuracy_checker 目录

cd open_model_zoo/tools/accuracy_checker

下载数据集

wget https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz
tar xvf cifar-10-python.tar.gz -C sample

配置文件结构

models:
  - name: model_name

    launchers:
      - framework: openvino
        adapter: adapter_name

    datasets:
      - name: dataset_name

评估 accuracy_check -c sample/sample_config.yml -m data/test_models/ -s sample/ 2022-05-18 11:18:38.663810: I tensorflow/stream_executor/platform/default/dso_loader.cc:53] Successfully opened dynamic library libcudart.so.11.

openvinoaccuracy-checkervalidationdeep-learningtensorflowpythondatasets

AI 数据集打包发布

数据集打包目录结构

ai-project/
├── labelimg
│   ├── 1.jpg
│   ├── 1.xml
│   ├── 2.jpg
│   ├── 2.xml
│   ├── 3.jpg
│   ├── 3.xml
│   ├── 4.jpg
│   └── 4.xml
├── classes.txt
├── data.yaml
├── images
│   ├── train
│   │   ├── 1.jpg
│   │   └── 2.jpg
│   └── val
│       ├── 3.jpg
│       └── 4.jpg
└── labels
    ├── train
    │   ├── 1.txt
    │   └── 2.txt
    └── val
        ├── 3.txt
        └── 4.txt

打包

DATE=$(date '+%Y-%m-%d')
tar cvf sign-yolo-$DATE.tar labelimg/ classes.txt images/ labels data.yaml

上传数据集服务器

DATASET_SERVER_PATH=username@ip:/data/datasets
scp sign-yolo-$DATE.tar $DATASET_SERVER_PATH
aimachine-learningdatasetsdatasetshelltarsshfile-transfer