Forum.iFiction.Ru

Начну от частного к общему.

Eten написал:

размер буффера для хранения значения лексемы,

Я думал, что современные языки программирования (венцом которых, несомненно, является Си шарп ;) свободны от такой чепухи, как ручное выделение памяти под строки. Или я ошибался?

текущая позиция (строка и столбец) при чтении символа из вх. кода,

Текст (в частности и особенно, XML) для алгоритма разбора удобнее воспринимать линейным потоком символов, нежели двумерным массивом со стоками и колонками. Кстати, раньше ты говорил, что твоему анализатору всё равно откуда подают текст. Так вот, в цивилизованном мире давно уже пользуются потоками (stream) для этих целей, а не передают массивом в памяти.

Даже если ты пишешь абстрактный анализатор, он должен работать со словарём, а не с отдельными символами.

Сдаётся мне, что СТК начал буксовать и ты пытаешься спасти наработанное для будущих поколений. Скажи, что я не прав. %)

А теперь сам код базового класса на СИ шарпе.

using System;
using System.Collections.Generic;
using System.Text;

namespace EngineSTK1
{
    public class Analisator
    {
        #region Поля класса AnalisatorLexema
      /// <summary>
        /// Размер буфера для значения лексемы.
        /// </summary> 
        protected const int bufsize = 256;
       /// <summary>
        /// Тип ошибки
        /// </summary>
        protected ErrorCode er;
         /// <summary>
        /// Текущий читаемый символ.
        /// </summary>
        protected char symbol;
        /// <summary>
        /// Значение лексемы.
        /// </summary>
        protected StringBuilder lexvalue = new StringBuilder(bufsize);
        /// <summary>
        /// Начальная позиция при считывании лексемы.
        /// </summary>
        protected Position start_lx;
       /// <summary>
        /// Обозначает конец входной ленты
        /// </summary>
        protected bool Eof;
       /// <summary>
        /// Текущая позиция в входном коде СТК.
        /// </summary>
        protected Position current_pos;
       /// <summary>
        /// Кол-во пройденных строк и столбцов при чтении лексемы
        /// </summary>
        protected Position unset_pos;
        /// <summary>
        /// Входной код
        /// </summary>
        protected string[] ec;
        #endregion
        #region Свойства класса AnalisatorLexema
       /// <summary>
        /// Выдает тип, ошибки. Если выдано None, значит разбор прошел успешно.
        /// </summary>
        public ErrorCode ErrorType
        {
            get { return this.er; }
        }
        /// <summary>
        /// Входной код
        /// </summary>
        public string[] EntranceCode
        {
            get { return this.ec; }
            set
            {
                if (value == null)
                    throw new ArgumentNullException("EntranceCode", "Ошибка! Была попытка ввода пустого значения");
               //Загрузка входного кода
                this.ec = new string[value.Length];
                int i = 0;
                foreach (string s in value)
                {
                    this.ec[i] = s;
                    i++;
                }
            }
        }
        #endregion
        #region Методы
        /// <summary>
        /// Конструктор
        /// </summary>
        public Analisator()
        {
           //инициализация внутренних переменных
            this.er = ErrorCode.None;
            this.ec = null;
            this.symbol = ' ';
        }

        /// <summary>
        /// Обнуление отката
        /// </summary>
        protected void Unset_Clear()
        {
            this.unset_pos.Line = 0;
            this.unset_pos.Column = 0;
        }
        /// <summary>
        /// Считывает следующий символ во входном коде.
        /// </summary>
        protected void NetxtSymbol()
        {
            //проверка на конец входного кода
            if (this.current_pos.Line >= this.ec.Length)
            {
                this.Eof = true;
                this.symbol = ' ';
                return;
            }
            // Считывает символ в указанной позиции
            this.symbol = this.ec[this.current_pos.Line][++this.current_pos.Column];
            //кол-во считанных столбцов
            this.unset_pos.Column++;
            //если позиция столбца достигла конца строки, то переходим на следующую строку
            //и устанавливаем перо столбца на ноль
            if (this.current_pos.Column >= this.ec[this.current_pos.Line].Length - 1)
            {
                this.current_pos.Line++;
                this.unset_pos.Line++;
                this.current_pos.Column = -1;
            }
        }
        /// <summary>
        /// Производит откат на один символ
        /// </summary>
        protected void Unset_Odin()
        {
            if (!this.Eof)
            {
                //Чтобы последний не принятый за число символ не пропал при следующем формировании лексемы, нужно сдвинуть перо назад на 1
                if (this.current_pos.Column <= 0)
                {//если после прочтения перо перешло на новую строку, то вернуть обратно и отнять единицу от длины строки для след. прочтения искомого символа
                    this.current_pos.Line -= 1;
                    this.current_pos.Column = this.ec[this.current_pos.Line].Length - 2;
                }
                else //в противном случае сдвинуть перо только на 1 столбец влево
                    this.current_pos.Column -= 1;
                //для позиции отката
                if (this.unset_pos.Column <= 0)
                {
                    this.unset_pos.Line -= 1;
                    this.unset_pos.Column -= 1;
                }
                else
                    this.unset_pos.Column -= 1;
            }
        }
        /// <summary>
        /// Производит откат назад при неудачной попытке распознать символ.
        /// </summary>
        protected void Unset()
        {
            //возвращаем перо в положение перед чтением лексемы
            //если возврат произошел, когда перо перешло на новую строчку, то выполняем соответствующие действия
            if (this.current_pos.Column == -1)
            {
                this.current_pos.Line--;
                //в данном случае вычитываем не из длинны, а из позиции длину прочтенных символов
                this.current_pos.Column = (this.ec[this.current_pos.Line].Length - 1) - this.unset_pos.Column;
                //если условие истино, то значит сдвиг на несколько строк
                if (this.current_pos.Column < 0)
                {
                    this.current_pos.Column = Math.Abs(this.current_pos.Column);
                    while (this.unset_pos.Line > 0)
                    {
                        this.current_pos.Line--;
                        this.current_pos.Column = Math.Abs((this.ec[this.current_pos.Line].Length - 1) - this.current_pos.Column);
                        this.unset_pos.Line--;
                        if (this.current_pos.Column >= -1)
                            break;
                    }
                }
                //обнуляем откат, т.к. он уже больше не нужен
                this.Unset_Clear();
                return;
            }
            //Если откат столбца меньше длины позиции пера, значит не было перехода на другую строку и достаточно сделать откат по столбцам
            if (this.unset_pos.Column <= this.current_pos.Column + 1)
                this.current_pos.Column -= this.unset_pos.Column;
            else//если нет, значит нужно сделать откат столбцов учитывая столбцы во всех пройденных строках
            {
                //сначало отнимаем unset, в данном случае учитывается что current_pos.Column, что явлвяется позицией от 0 до длина - 1
                //получаем модуль разности для того, чтобы в последующих вычитаниях не получит сложение.
                this.current_pos.Column = Math.Abs(this.current_pos.Column - this.unset_pos.Column);
                while (this.unset_pos.Line > 0)
                {
                    this.current_pos.Line--;
                    this.current_pos.Column = Math.Abs(this.ec[this.current_pos.Line].Length - this.current_pos.Column);
                    this.unset_pos.Line--;                   
                }
                //если равен, то сдвигаем на следующую строку с позицией столбца -1
                if (this.current_pos.Column + 1 == this.ec[this.current_pos.Line].Length - 1 && this.current_pos.Line < this.ec.Length)
                {
                    this.current_pos.Line++;
                    this.current_pos.Column = -1;
                }
            }
            //обнуляем откат, т.к. он уже больше не нужен
            this.Unset_Clear();
        }
        #endregion
    }
}

Для полного понимания привожу код Position и перечисления ErrorCode:

    /// <summary>
    /// Задает позицию во входном коде СТК.
    /// </summary>
    public struct Position
    {
        /// <summary>
        /// Номер строки в входном коде.
        /// </summary>
        public int Line;
        /// <summary>
        /// Столбец строки во входном коде.
        /// </summary>
        public int Column;
    }

    /// <summary>
    /// Все типы встречаемых ошибок в СТК.
    /// </summary>
    public enum ErrorCode : int
    {
        /// <summary>
        /// Нет никакой ошибки
        /// </summary>
        None = 0,
        #region Во время выполнения AnalisatorLexema
        /// <summary>
        /// Не был закончен парный комментарий
        /// </summary>
        lexComment = 1,
        /// <summary>
        /// Нарушен формат записи десятичного числа
        /// </summary>
        lexNumber = 2,
        /// <summary>
        /// Нарушен формат записи строки символов
        /// </summary>
        lexStringConst = 3,
        /// <summary>
        /// Лексический анализатор не смог определить лексему, т.к такой нет в СТК.
        /// </summary>
        lexInvalid = 4,
        #endregion
    ...
   }

Коды ошибок можете вставлять полностью свои, кроме первого нулевого кода None.

Также, не забывайте об особенности в СИ шарп, в котором объекты не имеют функции уничтожения наряду с конструктором. Объект этого класса удалется из памяти, как только на него перестают ссылаться другие, проще говоря достатоно присвоить данному объекту null для очистки его из памяти.

В заключение скажу, что данный алгоритм анализатора имеет один существенный недостаток. А он заключается в том, что вы ограничены манипуляцией пера только данными в базовом классе методами, но это ограничение разумно и не доставляет сильных неудобств. Т.к. всегда можно придумать алгоритм вашего конечного анализатора на основе этого так, чтобы данные минусы теряли свою актуальность и не портили весь алгоритм.

Также, стоит заметить, что мною данный анализатор был использован для конечных анализаторов команд и тэгов, справился без ошибок и больших нагрузок на память, скорость приемлемого качества и сильно облегчил отладку и разработку конечных анализаторов. Так, что буду рад, если данный класс поможет и вам.

Eten написал:

Так, что смысл применения словаря в данном предложении совершенно не понятен.

У тебя нет механизмов поддержки словаря. Отдельные символы текста интереса для анализа не представляют. Интерес представляют слова и словосочетания. В нашем случае нужен именно анализатор слов.

класс Алфавита разрабтывался вовсе не для анализатора, что в принципе не мешает ему быть использованным здесь - это я и называю хорошим программированием и разработкой классов в одном флаконе, также делают и остальные.

Я называю программирование хорошим, если в результате программа отлично выполняет то, что от неё требуется. Если при этом ещё и в исходник не страшно заглянуть, то вообще замечательно.