Статьи

Парсер на РНР - это возможно!


В данной коротенькой статье я хочу продемонстрировать, что РНР может очень хорошо справляться с функцией синтаксического разбора выражений. Для тех, кто никогда не касался данной тематики, я думаю, статья будет так же интересна, поскольку в ней мы рассмотрим метод программирования в виде конечных автоматов.

Начну с утверждения, что метод программирования с применением конечных автоматов очень прост, поскольку большая часть программы содержится внутри автомата, который вы готовите заранее в виде матрицы и используете в своей программе.

Что же такое автомат?
Представьте себе дискретную функцию от двух аргументов Ft(d, Ft-1). В качестве первого аргумента мы используем конечное счетное множество (массив данных), которое поступает извне. На каждом шаге в функцию поступает только одно число из данного массива. Вторым аргументом функции является значение функции на предыдущем шаге. Добавлю еще одно условие. Область значений данной функции представляет собой конечное счетное множество.

В чем прелесть такой функции? Вся прелесть заключается в том, то мы можем представить ее в виде матрицы, где номера строк будут задавать поступающие данные, а номера столбцов будут представлять область значений функции. Тогда, записав в ячейку (строка, столбец) число из множества значений функции, мы получим матрицу, которая описывает зависимость функции от входных данных и всего спектра значений. Будем называть число из множества значений СОСТОЯНИЕМ, а функцию АВТОМАТОМ.

Если вы не поняли предыдущего абзаца, то не пугайтесь, на практике все выглядит гораздо проще. Давайте рассмотрим простой пример. Допустим, нам надо построить разбор обычного арифметического выражения. Для этого нам придется создать два автомата. Первый будет выделять "слова" из буфера данных (т.е. сканировать его). Второй будет проверять грамматический порядок следования слов в выражении.

Начнем со сканера. Словами являются знаки операций +, -, *, / и последовательности символов, если они не содержат разделителей, такие как перевод строки, пробел и символ табуляции. Разделители мы будем просто игнорировать. Автомат для сканера, в этом случае, будет следующим.

Код
1
2
3
4
// состояния   0,  1,  2
     "0" => array( 0, -1, -1),//разделитель
     "1" => array( 2, -1, -1),//слово из одного символа
     "2" => array( 1,  1, -1),//символ

Номера строк задают тип символа, поскольку нам надо выделить знаки операций в отдельные слова. Состояния (номера столбцов) будут означать следующее.

-1 слово готово, пора возвращать
0 начало сканирования
1 получили символ, надо копить пока это символ
2 получили предопределенное слово из одного символа
в состоянии 1 мы будем копить символы, чтобы вернуть их как слово в состоянии -1. Наш сканер будет вызываться из парсера и завершать свою работу, когда он распознает хотя бы одно "слово", поэтому нет смысла вводить состояние -1 в таблицу автомата. Для парсера автомат будет такой.

Код
1
2
3
4
5
// состояния  0,  1,  2,  3,  4,  5
     "0" => array( 1, -1,  1,  1,  1,  1), // оператор
     "1" => array( 2,  4, -1,  2, -1, -1), // операнд
     "2" => array( 3,  3, -1,  3, -1, -1), // левая скобка
     "3" => array(-1, -1,  5, -1,  5,  5), // правая скобка

а состояния соответственно
-1 Ошибка
0 Начало разбора
1 Получили оператор, ожидаем правый операнд
или левую скобку
2 Получили левый операнд (надо проверить число ли это),
ждем оператор или правую скобку
3 Получили левую скобку,
ожидаем оператор или левую скобку
4 Получили правый операнд (надо проверить число ли это),
ожидаем оператор или правую скобку
5 Получили правую скобку, ожидаем оператор
Парсер завершит работу, когда сканер вернет FALSE или при возникновении ошибки - состояние -1. По той же причине, что и в сканере мы можем не вносить состояние -1 в таблицу автомата

Далее привожу код программы с подробными комментариями, которые заменят дальнейшие объяснения. Я не строю дерева операций в примере данного парсера. Вы можете сделать это сами, ведь в соответствующих состояниях автомата вы получите оператор и операнды.

Код
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
<?php
class ExpressionParser {
  var $pos,    // Позиция в буфере для разбора
      $length,    // Длина буфера
      $line,      // Текущий номер строки
      $column,    // Текущий номер колонки в строке
      $data,      // Буфер данных
      $brackets,  // Количество открытых скобок
      $state,     // Текущее состояние парсера
      $errorstr,  // Строка диагностики ошибки
      $instates,  // Код слова подаваемый на вход автомата
      $prevstate, // Предыдущее состояние парсера
      $automat;   // Таблица автомата парсера

/**********************************************************************
  *  Конструктор                      *
  **********************************************************************/
  function ExpressionParser($str) {
    $this->data=$str;
    $this->length=strlen($str);
    $this->pos=0;
    $this->line=1;
    $this->column=0;
    $this->brackets=0;
    
    // Коды слов, выданных сканером, подаваемых на вход парсера
    // Остальные слова имеют код 1
    $this->instates = array("+" => 0, "*" => 0, "-" => 0, "/" => 0, "(" => 2, ")" => 3);
    
    // Автомат парсера
    $this->automat=array(
    /*
    -1 Ошибка
     0 Начало разбора
     1 Получили оператор, ожидаем правый операнд или левую скобку
     2 Получили левый операнд (надо проверить число ли это), ждем оператор или правую скобку
     3 Получили левую скобку, ожидаем оператор или левую скобку
     4 Получили правый операнд (надо проверить на число), ожидаем оператор или правую скобку
     5 Получили правую скобку, ожидаем оператор
    */
     //состояния 0,  1,  2,  3,  4,  5
     "0"=>array( 1, -1,  1,  1,  1,  1),//оператор
     "1"=>array( 2,  4, -1,  2, -1, -1),//операнд
     "2"=>array( 3,  3, -1,  3, -1, -1),//левая скобка
     "3"=>array(-1, -1,  5, -1,  5,  5),//правая скобка
    );
    $this->state=$this->prevstate=0;
  }

/**********************************************************************
  *  Сканер                     *
  **********************************************************************/
  function Scan() {
    // Разделители, которые игнорируем
    $delimiters=array(" ","t","r","n");

    // Слова из одного символа
    $words=array("+","-","*","/","(",")");

    // автомат сканнера
    $automat=array(
    /*
    -1 слово готово, пора возвращать
     0 начало сканирования
     1 получили символ, надо копить пока это символ
     2 получили предопределенное слово из одного символа
    */
    //состояния  0,  1,  2
     "0"=>array( 0, -1, -1),//разделитель
     "1"=>array( 2, -1, -1),//слово из одного символа
     "2"=>array( 1,  1, -1),//символ
    );
    $state=0;
    $word="";
    
    // Цикл сканирования
    while ($this->pos<$this->length) {

      // Устанавливаем код подаваемого на вход автомата символа.
      if (in_array($this->data[$this->pos],$delimiters))
     $instate=0;
      elseif (in_array($this->data[$this->pos],$words))
     $instate=1;
      else
     $instate=2;
      
      // Получаем состояние автомата
      $state=$automat[$instate][$state];
      
      // Наши действия по состояниям автомата
      switch($state) {
     case 0: // начало сканирования
    if ($this->data[$this->pos]=="n") {
      $this->line++;
      $this->column=0;
    }
    $word="";
    break;
     case -1: // слово готово, пора возвращать
    if (strlen($word)) return $word;
    break;
     case 1: // получили символ, надо копить пока это символ
    $word.=$this->data[$this->pos];
    break;
     case 2: // получили предопределенное слово из одного символа
    $word=$this->data[$this->pos];
    break;
      }
      $this->pos++;
      $this->column++;
      if ($this->pos==$this->length && strlen($word)) return $word;
    }
    return false;
  }

/**********************************************************************
  *  Парсер                     *
  **********************************************************************/
  function Parse() {
    // Переменная $first равна нулю, если функция разбора была вызвана первый раз
    $first=$this->pos;

    // Цикл состояний
    while(1) {
      
      // Получаем слово от сканнера
      $word=$this->Scan();
      
      // Если слов больше нет, то прерываем цикл
      if ($word===false) break;
      
      // Устанавливаем код, подаваемого на вход автомата, слова
      $instate=isset($this->instates[$word]) ? $this->instates[$word] : 1;
      
      // Получаем состояние автомата парсера
      $this->state=$this->automat[$instate][$this->state];
      
      // Если ошибочное состояние, то прерываем цикл
      if ($this->state==-1) {
     $this->errorstr="Ошибка в строке: $this->line, колонка: $this->column<br>";
     break;
      }
      
      // Наши действия по состояниям автомата парсера
      switch($this->state) {

     case 1: // Получили оператор, ожидаем правый операнд или левую скобку
     
    // Если первое слово оператор, то это может быть только "+" или "-"
    if (($this->prevstate==3 || $this->prevstate==0) && $word!="-" && $word!="+") {
      $this->errorstr="Ошибка в строке: $this->line, колонка: $this->column<br>";
      return false;
    }
    break;

     case 2: // Получили левый операнд (надо проверить число ли это), ждем оператор
             //или правую скобку

    // Проверяем число ли это?
    if (!preg_match("/^[0-9]+(.[0-9]+)?$/",$word)) {
      $this->errorstr="Ошибка в строке: $this->line, колонка: $this->column<br>";
      return false;
    }
    break;

     case 3: // Получили левую скобку, ожидаем оператор или левую скобку

    // Увеличиваем кол-во открытых скобок на 1;
    $this->brackets++;
    
    // Удобно использовать рекурсию, т.к. данные в скобках
    // можно рассматривать как самоcтоятельные выражения.
    // Мы вернемся из функции в случае ошибки, конца данных или
    // после получения закрытой скобки
    if (!$this->Parse()) return false;
    break;

     case 4: // Получили правый операнд (надо проверить число ли это), ожидаем оператор
             //или правую скобку

    // Проверяем число ли это?
    if (!preg_match("/^[0-9]+(.[0-9]+)?$/",$word)) {
      $this->errorstr="Ошибка в строке: $this->line, колонка: $this->column<br>";
      return false;
    }
    break;

     case 5: // Получили правую скобку, ожидаем оператор
     
    // Уменьшаем кол-во открытых скобок на 1
    $this->brackets--;
    return true;

      } // end switch
      
      // Запоминаем текущее состояние для следующего шага цикла
      $this->prevstate=$this->state;

    } // end while

    // Так как у нас отсутствует состояние конца разбора, то надо
    // Проверить в каком состоянии мы завершили разбор
    // Это надо делать только один раз в самом первом вызове
    // функции разбора. Это первый вызов, если $first==0
    // Итак, мы должны вернуть ошибку, если у нас есть лишние скобки,
    // или если мы не получили правого операнда или правой скобки,
    // т.е. разбор завершился "на середине".
    
    if (!$first && ($this->brackets || $this->state!=4 && $this->state!=5)) return false;
    
    return true;
  }
  
}

$p=new ExpressionParser("-4.25*((2+3)*4+1)/5");
print $p->data."<br>";
if ($p->Parse())
  print "Выражение корректно.<br>";
else
  print $p->errorstr;
?>

Дата публикации: 2008-12-07
Прочитано: 2225 раз


[ Назад | Начало | Наверх ]
Нет комментариев. Почему бы Вам не оставить свой?
Вы не можете отправить комментарий анонимно, пожалуйста зарегистрируйтесь.