php - PHP-ML 内存不足

Question

我正在尝试使用 PHP-ML 实现情感分析。我有大约 15000 个条目的训练数据集。我的代码可以正常工作，但是，我必须将数据集减少到 100 个条目才能正常工作。当我尝试运行完整数据集时，出现此错误:

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 917504 bytes) in C:\Users\<username>\Documents\Github\phpml\vendor\php-ai\php-ml\src\Phpml\FeatureExtraction\TokenCountVectorizer.php on line 95

我有两个文件是index.php:

<?php 

declare(strict_types=1);
namespace PhpmlExercise;

include 'vendor/autoload.php';

include 'SentimentAnalysis.php';

use PhpmlExercise\Classification\SentimentAnalysis;
use Phpml\Dataset\CsvDataset;
use Phpml\Dataset\ArrayDataset;
use Phpml\FeatureExtraction\TokenCountVectorizer;
use Phpml\Tokenization\WordTokenizer;
use Phpml\CrossValidation\StratifiedRandomSplit;
use Phpml\FeatureExtraction\TfIdfTransformer;
use Phpml\Metric\Accuracy;
use Phpml\Classification\SVC;
use Phpml\SupportVectorMachine\Kernel;

$dataset = new CsvDataset('clean_tweets2.csv', 1, true);
$vectorizer = new TokenCountVectorizer(new WordTokenizer());
$tfIdfTransformer = new TfIdfTransformer();
$samples = [];
foreach ($dataset->getSamples() as $sample) {
    $samples[] = $sample[0];
}
$vectorizer->fit($samples);
$vectorizer->transform($samples);
$tfIdfTransformer->fit($samples);
$tfIdfTransformer->transform($samples);
$dataset = new ArrayDataset($samples, $dataset->getTargets());
$randomSplit = new StratifiedRandomSplit($dataset, 0.1);

$trainingSamples = $randomSplit->getTrainSamples();
$trainingLabels     = $randomSplit->getTrainLabels();

$testSamples = $randomSplit->getTestSamples();
$testLabels      = $randomSplit->getTestLabels();

$classifier = new SentimentAnalysis();
$classifier->train($randomSplit->getTrainSamples(), $randomSplit->getTrainLabels());
$predictedLabels = $classifier->predict($randomSplit->getTestSamples());

echo 'Accuracy: '.Accuracy::score($randomSplit->getTestLabels(), $predictedLabels);

和 SentimentAnalysis.php:

<?php

namespace PhpmlExercise\Classification;
use Phpml\Classification\NaiveBayes;

class SentimentAnalysis
{
    protected $classifier;

    public function __construct()
    {
        $this->classifier = new NaiveBayes();
    }
    public function train($samples, $labels)
    {
        $this->classifier->train($samples, $labels);
    }

    public function predict($samples)
    {
        return $this->classifier->predict($samples);
    }
}

我对机器学习和 php-ml 很陌生，所以我不太确定如何推断问题出在哪里，或者是否有一种方法可以在没有大量内存的情况下解决这个问题。我最多能告诉的是，错误发生在索引文件第 22 行的 TokenCountVectorizer 中。有谁知道可能导致此问题的原因或以前遇到过此问题吗？

PHP-ML 的链接位于:http://php-ml.readthedocs.io/en/latest/

谢谢

Answer 1

此错误是由于加载到内存中的内容超出了 PHP 在一个进程中设置的处理内容。还有其他原因，但这些原因不太常见。

就您的情况而言，您的 PHP 实例似乎配置为最多允许使用 128MB 内存。在机器学习中，这并不是很多，如果您使用大型数据集，您肯定会达到该限制。

要将允许 PHP 使用的内存量更改为 1GB，您可以编辑 php.ini 文件并设置

memory_limit = 1024M

如果您无权访问 php.ini 文件，但仍然有权更改设置，您可以在运行时使用

<?php
    ini_set('memory_limit', '1024M');

或者，如果您运行 Apache，您可以尝试使用 .htaccess 文件指令设置内存限制

php_value memory_limit 1024M

请注意，大多数共享托管解决方案等对允许使用的内存量都有严格且通常较低的限制。

您可以提供帮助的其他事情包括

• 如果您从文件加载数据，请查看 fgets 和 SplFileObject::fgets 来逐行加载读取的文件，而不是立即将整个文件读入内存.
• 确保您运行的是尽可能最新版本的 PHP
• 确保 PHP 扩展是最新的
• 禁用您不使用的 PHP 扩展
• 取消设置您已经使用完毕并且不再需要在内存中的数据或大型对象。请注意，PHP 的垃圾收集器不一定会立即释放内存。相反，根据设计，当它认为存在所需的 CPU 周期或在脚本即将耗尽内存之前(无论先发生什么)，它就会执行此操作。
• 您可以使用诸如 echo memory_get_usage()/1024.0 之类的东西。 'kb'。 PHP_EOL; 打印程序中给定位置的内存使用情况，以尝试分析不同部分使用的内存量。